Des chercheurs du MIT développent une IA qui identifie et isole les instruments sur les vidéos YouTube

En entraînant un système avec 60 heures de vidéos, des chercheurs du MIT ont créé une IA capable d’isoler des instruments sur une vidéo YouTube en analysant le son et les pixels.

S’il existe déjà d’autres techniques pour isoler un instrument sur une musique, l’IA développée par le Computer Science and Artificial Intelligence Laboratory du MIT est assez différente.

En effet, celle-ci est capable d’isoler des instruments de musique en n’analysant pas que la partie audio, mais également la partie vidéo.

Comme l’explique l’institut dans un billet, le système est « auto-supervisé », ce qui signifie qu’aucune annotation n’a été générée par des humains.

« Formé sur plus de 60 heures de vidéos, le système « PixelPlayer » permet de voir une performance musicale qu’il n’a jamais vue, d’identifier des instruments spécifiques au niveau du pixel et d’extraire les sons associés à ces instruments », explique le MIT.

Aucune annotation humaine, l’IA s’est entraînée avec le son et les images

D’ailleurs, les auteurs de cette découverte ne connaissent pas exactement la logique de ce système. D’après Hang Zhao, l’un de ces auteurs, le PixelPlayer établit des corrélations entre des fréquences harmoniques et des instruments visibles sur les vidéos.

« Nous avons été surpris de pouvoir localiser spatialement les instruments au niveau du pixel », raconte-t-il. « Être capable de faire cela ouvre beaucoup de possibilités, comme pouvoir éditer l’audio d’instruments individuels en un seul clic sur la vidéo ».

Avec seulement 60 heures de vidéos d’entraînement, PixelPlayer est capable de reconnaitre une vingtaine d’instruments. Mais avec plus de vidéos, cette IA pourrait être plus performante. Actuellement, le système ne fait par exemple pas la distinction entre des sous-catégories d’instruments.

Et pour le MIT, cette technologie pourrait avoir d’autres applications dans la robotique, comme une meilleure reconnaissance des « sons environnementaux que d’autres objets produisent, tels que des animaux ou des véhicules ».

(Source)


Commenter

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Presse-Citron 2005 - 2018 | A propos | Contact | Site hébergé par Cognix Systems | Informations sur les cookies