S’il existe déjà d’autres techniques pour isoler un instrument sur une musique, l’IA développée par le Computer Science and Artificial Intelligence Laboratory du MIT est assez différente.
En effet, celle-ci est capable d’isoler des instruments de musique en n’analysant pas que la partie audio, mais également la partie vidéo.
Comme l’explique l’institut dans un billet, le système est « auto-supervisé », ce qui signifie qu’aucune annotation n’a été générée par des humains.
« Formé sur plus de 60 heures de vidéos, le système “PixelPlayer” permet de voir une performance musicale qu’il n’a jamais vue, d’identifier des instruments spécifiques au niveau du pixel et d’extraire les sons associés à ces instruments », explique le MIT.
Aucune annotation humaine, l’IA s’est entraînée avec le son et les images
D’ailleurs, les auteurs de cette découverte ne connaissent pas exactement la logique de ce système. D’après Hang Zhao, l’un de ces auteurs, le PixelPlayer établit des corrélations entre des fréquences harmoniques et des instruments visibles sur les vidéos.
« Nous avons été surpris de pouvoir localiser spatialement les instruments au niveau du pixel », raconte-t-il. « Être capable de faire cela ouvre beaucoup de possibilités, comme pouvoir éditer l’audio d’instruments individuels en un seul clic sur la vidéo ».
Avec seulement 60 heures de vidéos d’entraînement, PixelPlayer est capable de reconnaitre une vingtaine d’instruments. Mais avec plus de vidéos, cette IA pourrait être plus performante. Actuellement, le système ne fait par exemple pas la distinction entre des sous-catégories d’instruments.
Et pour le MIT, cette technologie pourrait avoir d’autres applications dans la robotique, comme une meilleure reconnaissance des « sons environnementaux que d’autres objets produisent, tels que des animaux ou des véhicules ».
📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.
