Imaginez pouvoir créer des structures en LEGO grâce à de simples instructions, comme si vous le faisiez lorsque vous dialoguez avec ChatGPT. Si vous êtes fanatiques de ces petites briques qui fêtent leurs 93 ans cette année, ce projet de recherche menée à la Carnegie Mellon University devrait vous intéresser.
De son petit nom LegoGPT, il permet de traduire une description écrite en une structure LEGO stable, fonctionnelle et réellement assemblable, à la main comme par des robots. On vous explique comment cela fonctionne.
LegoGPT, l’IA qui construit tout ce que vous imaginez
La plupart des IA capables de générer des formes 3D à partir de texte ; DreamFusion (Google), Point-E (OpenAI) ou GET3D (NVIDIA) ; produisent des objets numériques visuellement convaincants, mais souvent inexploitables dans le monde réel. Ces systèmes ignorent les contraintes physiques élémentaires : gravité, équilibre, points de contact, cohésion des pièces. Résultat : des formes qui peuvent flotter, s’emboîter sans logique structurelle, voire s’effondrer dès la modélisation convertie en objet tangible.
LegoGPT veut combler ce fossé qui persiste entre le virtuel et le réel en créant des modèles simples mais physiquement stables, dont chaque brique est positionné avec précision pour éviter toute rupture ou déséquilibre.
Afin de parvenir à un tel résultat, l’équipe a constitué un jeu de données original, StableText2Lego, contenant plus de 47 000 structures validées physiquement, chacune décrite par une légende générée automatiquement. À partir de ce corpus, ils ont entraîné un modèle de langage (établi sur LLaMA 3.2B, version personnalisée ou modifiée d’un modèle de la famille LLaMA de Meta) non pas à prédire le mot suivant, mais la prochaine brique à ajouter. Une approche qualifiée de « next-brick prediction », qui permet à l’IA de construire, étape par étape, un modèle cohérent.
Le modèle intègre également un système lui permettant de vérifier la stabilité physique des structures. Avant d’ajouter une pièce, LegoGPT s’assure qu’elle ne mettra pas en péril l’ensemble de la structure. Si c’est le cas, l’IA annule l’action, remonte en arrière, et tente une alternative.
Sans vérification physique, seule une faible part des modèles générés restait debout une fois assemblés : à peine 24 %. En intégrant une simulation de gravité et un mécanisme de retour en arrière à chaque étape qualifiée d’instable, les chercheurs ont porté ce taux de stabilité à 98,8 %. Cela signifie que presque tous les modèles conçus par LegoGPT peuvent désormais être construits sans s’effondrer.
Du virtuel à l’assemblage : la chaîne complète
Les modèles générés par LegoGPT ne sont donc pas des visualisations numériques et sont pensés pour être physiquement construits, pièce par pièce, dans le monde réel. Pour le vérifier, les chercheurs ont effectué deux types de tests : d’abord, en confiant l’assemblage à un système robotique à double bras, équipé de capteurs de force (vous pouvez voir une démonstration sur l’article d’Ars Technica). Ensuite, en demandant à des humains de monter eux-mêmes les structures à partir des plans générés. Dans les deux cas, les constructions tiennent debout, sans renforts ni triche.
Chaque modèle est accompagné d’instructions de montage à la manière des guides officiels fournis par LEGO. Le système fonctionne pour l’instant avec un ensemble restreint de huit types de briques standards, dans un espace de 20 × 20 × 20 unités. La contrainte formelle est forte, mais elle garantit la faisabilité des modèles.
Les structures produites restent encore assez simples ; véhicules, objets géométriques, architectures rudimentaires ; mais elles sont robustes et rationnelles sur le plan structurel. LegoGPT est aussi capable d’interpréter des consignes portant sur l’esthétique, notamment sur les couleurs des briques.
Le plus beau dans tout ça ? Les chercheurs ont mis en ligne le code, le modèle et la base de données en open source ! Pour les enseignants, ingénieurs ou hobbyistes, c’est un vrai cadeau. Si le projet vous parle, vous pouvez faire un tour sur la page Github du projet ou l’article le concernant sur arXiv. Dernier point : LegoGPT n’est pas encore terminé et ses auteurs envisagent déjà d’élargir sa base de données utilisée pour son entraînement pour qu’il puisse produire encore plus d’objets.
- Des chercheurs ont mis au point une IA ; LegoGPT; capable de générer des modèles LEGO constructibles à partir d’une simple description textuelle.
- Contrairement à d’autres systèmes, elle vérifie la solidité de chaque étape pour éviter que les structures ne s’effondrent.
- Les plans générés peuvent être suivis par des humains ou des robots.
- L’entièreté du projet est librement accessible en ligne, les chercheurs ayant choisi de le partager en open-source.
📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.
