- Google montre dans un papier scientifique qu’il est possible de reconstruire de la musique à partir d’enregistrements de l’activité cérébrale
- Le modèle MusicLM de la firme est parvenu à reconstruire lors d’une expérience des extraits musicaux à partir de scans IRM de sujets exposés à des centaines d’extraits musicaux
- Une page mise en ligne par la firme permet même d’écouter cette musique recomposée à partir de l’activité cérébrale des sujets
L’expérience, dont vous pouvez écouter le résultat ici, est impressionnante. Google est parvenu lors d’une expérience à reconstruire de la musique écoutée par des sujets en donnant des enregistrements IRM de leur activité cérébrale à un modèle IA baptisé MusicLM.
Concrètement, plus de 500 extraits sonores de styles différents ont été diffusés au hasard à des participants placés dans un IRM. Les données, issues essentiellement de l’analyse de cubes de 2 mm3 de matière grise dans des zones différentes du cerveau, servaient ensuite à entraîner un modèle personnalisé.
Et si demain tout le monde pouvait s’improviser compositeur de musique ?
Une fois l’entraînement achevé, d’autres extraits étaient soumis aux participants, toujours sur IRM. MusicLM était alors capable de générer des morceaux de musique ressemblants “à un niveau sémantique” à ceux qu’ils entendaient. Nous les avons écoutés : le style ressemble le plus souvent au morceau d’origine, même si les paroles perdent tout sens au passage et que la mélodie elle-même peut sensiblement s’éloigner.
L’exploit n’en est pas moins incroyable, d’autant que les chercheurs ont identifié les points d’amélioration qui pourraient augmenter la fidélité de la musique en sortie de MusicLM. En outre, les chercheurs veulent maintenant analyser des portions plus significatives du cerveau, améliorer le système de marqueurs qui permet à MusicLM de deviner la musique.
Et au-delà, améliorer le modèle dans son ensemble pour lui permettre de produire des extraits avec une meilleure qualité audio, et plus fidèle à ses prompts internes lors de la phase de reconstruction. Avec cette démonstration, Google rend en tout cas crédible dans un avenir proche, la possibilité de faire de la musique pratiquement en live, juste par la pensée.
Et cela, même s’il y a encore des barrières à abattre. Par exemple, précisent les chercheurs, “il n’est pas possible de transférer un modèle créé pour une personne à une autre à cause des différences dans l’anatomie du cerveau d’un individu à l’autre”. Un défi qui pourrait être dépassé par diverses méthodes, même si cela signifie probablement un résultat un peu moins précis.
Autre problème, pour l’instant plus bloquant : cette technologie s’appuie sur des enregistrements IRM beaucoup plus précis que d’autres types d’enregistrement d’activité cérébrale non invasifs. Le développement d’une nouvelle technologie (comme les implants neuraux de Neuralink ?) ou des casques encéphalogrammes améliorés est donc nécessaire pour rendre ce type de modèles viables. Les chercheurs espèrent cependant, dans un avenir proche “pouvoir tenter la reconstruction de musique ou d’attributs musicaux tirés de l’imagination des personnes”.
📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.
