Google Research vient de dévoiler ce qui est sans doute l’un de ses projets IA les plus fous de ces derniers mois. Lumiere AI est une IA générative spécialisée dans la création ou la modification de vidéos. Le système est non seulement capable de générer une vidéo entière à partir d’un prompt textuel, mais aussi d’une image statique.
On peut animer des parties d’une image pour en faire un cinemagraph (une image statique dont seule une partie est animée, créant une ambiance cinématique) – ou encore utiliser le style général de l’image source pour définir le style de rendu d’une vidéo, qu’il s’agisse d’un fichier existant à modifier, ou d’une vidéo décrite par un prompt. Lumiere AI est également capable de générer des parties manquantes d’une vidéo avec une fidélité qui, selon les exemples montrés dans la vidéo en fin d’article, est incroyablement proche de la réalité.
Faut-il s’inquiéter de Lumiere la nouvelle invention de Google pour générer des vidéos ?
Mais aussi de modifier dynamiquement des personnes, leurs vêtements, et objets qui s’affichent à l’image. Google montre notamment l’exemple d’une robe que Lumiere AI change à la volée, avec un résultat aussi bon que si une équipe d’experts y avait consacré des journées entières de travail. Ou encore une femme en jogging, qui devient, sur un simple prompt, couverte de fleurs, ou se transforme en LEGO.
Pour l’heure, Lumiere est capable de créer ce genre d’éditions par séquences de cinq secondes. L’innovation des chercheurs a été de concevoir une architecture dite “space-time U-net architecture” qui autorise la création monolithique d’une séquence en une seule passe. Alors que les systèmes antérieurs généraient la première et la dernière image d’une séquence et tentaient dans des passes subséquentes de générer toutes les images manquantes par déduction.
Cette approche plus monolithique est la clé de ce qui rend les séquences générées par Lumiere si réalistes. Évidemment, avec une telle précision, il y a de quoi avoir des raisons de craindre une avalanche de deep fake, juste à temps pour les prochaines élections américaines.
Google, pour l’heure préfère laisser le public à l’écart – Lumiere n’est ainsi pas disponible sur internet, y compris sous forme de beta fermée. La seule manière d’apprécier réellement ses capacités est de consulter la vidéo ci-dessous, et de lire le papier scientifique des chercheurs de Google.
https://www.youtube.com/watch?v=wxLr02Dz2Sc&t=15s
- Google Research dévoile Lumiere AI, probablement l’outil de création de vidéos dopées à IA le plus avancé jamais vu à ce jour.
- Lumiere AI peut générer des vidéos à partir de textes et d’images. Mais aussi transposer le style d’une image ou décrit dans un prompt vers une vidéo, modifier des éléments existants, leur style de rendu ou compléter des parties absentes à l’image.
- De quoi s’inquiéter d’une possible explosion de deep fake très difficile à déceler dans un futur désormais très proche.
📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.
