- Google Research présente son IA SingSong dans une publication scientifique
- À partir de l’enregistrement d’un chanteur, elle génère la musique qui accompagne celui-ci
- Les démonstrations sont impressionnantes
Une intelligence artificielle qui compose de la musique automatiquement, ça existe déjà. Mais les chercheurs de Google Research sont allés encore plus loin, en créant une IA capable de générer cette musique pour accompagner une personne qui chante (sans musique) dans un enregistrement audio. Et un jour, un artiste en herbe pourra peut-être écrire sa chanson, s’enregistrer sur un smartphone, et obtenir grâce à l’IA une musique qui correspond à cette chanson. La technologie n’est en effet pas encore accessible pour le grand public. Mais des démonstrations complètement bluffantes sont déjà disponibles en ligne.
Transformers can map one mp3 to another mp3. But why do we want to do audio-space translation?
SingSong from @GoogleMagenta is a super clever application: singing voice -> instrument accompaniments, i.e. “Reverse Karaoke”!
Now everyone’s got their private, deluxe band 🎤
1/🧵 pic.twitter.com/FXlAaTsT7r
— Jim Fan (@DrJimFan) February 1, 2023
Google Research a récemment présenté cette nouvelle IA dans un article scientifique. Baptisée SingSong, celle-ci a été créée en utilisant un jeu de données de 1 million de morceaux. En utilisant une intelligence artificielle existante, les chercheurs ont séparé la musique et la voix sur ces morceaux. Et ce sont ces pistes séparées qui ont servi à entraîner leur création. Pour créer SingSong, ils se sont par ailleurs appuyé AudioLM, une autre IA qui génère de la musique.
Générer de l’audio avec de l’audio
Pour créer SingSong, AudioLM a été adapté afin qu’il puisse générer de l’audio à partir d’un fichier audio. Et comme évoqué plus haut, l’IA a par la suite été entraînée avec une importante banque de données sur laquelle la voix du chanteur et l’instrumental sont séparés. C’est, en substance, de cette manière que Google Research a réussi à créer une IA capable de composer de la musique pour un chanteur qui n’aurait pas de musiciens.
Et si vous vous demandez si ces compositions sont pertinentes par rapport à la piste de voix, Google Research estime que c’est le cas. En effet, après avoir créé la technologie, celui-ci a mené une étude. Et d’après la publication scientifique : “Dans une comparaison par paires avec les mêmes entrées vocales, les auditeurs ont exprimé une préférence significative pour les instrumentaux générés par SingSong par rapport à ceux d’une base de récupération solide.” De nombreux exemples sont disponibles sur la source de cet article.
Des questions d’ordre éthique
“Bien que la technologie de génération de musique présente une opportunité d’accroître l’accès à la participation créative à la musique, elle présente également des risques importants”, lit-on dans l’article de Google Research. Celui-ci est en effet conscient du fait que cette technologie pourrait apporter d’importants bouleversements dans l’industrie. D’autre part, les chercheurs évoquent aussi le fait qu’actuellement, l’utilisateur n’aurait aucun contrôle sur la musique générée. Mais ceux-ci pourraient améliorer la technologie en faisant en sorte que celle-ci tienne compte d’autres éléments, comme le genre, le style du chanteur, ou encore le texte.
Et si vous n’aspirez pas à devenir un chanteur professionnel, il y a quand même une chance pour que vous puissiez un jour utiliser cette technologie, pour que vous puissiez vous amuser. “Nous sommes également intéressés par le potentiel de SingSong pour accompagner et permettre à quiconque de faire de la musique avec sa voix. Nous explorons cela ici avec des exemples de chant de l’ensemble de données Vocadito qui contient des échantillons de chanteurs novices enregistrés sur l’électronique grand public”, peut-on en effet lire sur le site de Google.
📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.
