- Google et l’Université technique de Berlin présentent PaLM-E
- Il s’agit d’une IA qui transforme les consignes en langage naturel en séquences d’instructions pour les robots
- Comme ChatGPT ou Bard, celui-ci est basé sur les LLM ou Large Language Models
Google et l’Université technique de Berlin développent une nouvelle IA qui nous permettra de commander plus facilement les robots, baptisés PaLM-E. Une technologie qui a des similarités avec les IA comme ChatGPT, mais qui, au lieu de produire des réponses texte, produit des instructions pour les robots. Comme ChatGPT et d’autres intelligences artificielles génératives en développement, PaLM-E utilise un grand modèle de langage. Mais celui-ci a été entraîné avec des données lui permettant d’accomplir les tâches demandées par l’utilisateur (des séquences d’instructions de robots, des réponses à des problèmes visuels ou encore des légendes).
Et grâce à cela, les chercheurs ont réussi à créer un modèle qui tient compte de son environnement (traitement des images) pour exécuter des tâches demandées par l’utilisateur, exprimées en langage naturel. Le plus intéressant est que grâce à PaLM-E, un robot est capable d’exécuter une action, même s’il n’a pas été préalablement entraîné spécifiquement pour cette action. En gros, plus besoin de programmer le robot pour chaque tâche spécifique, ou pour un environnement spécifique.
Dans l’un des exemples fournis, il est demandé au robot de Google d’apporter un sachet de chips au ris rangés dans un tiroir. PaLM-E traite l’information (la consigne ainsi que les informations visuelles) et génère lui-même la séquence d’actions à réaliser pour accomplir la tâche demandée. Celui-ci est même capable de mener à bien sa mission, malgré les aléas, comme la personne qui remet le paquet de chips dans le tiroir.
Combining this technology with PaLM-E (research released yesterday by Google) = IRL Ctrl+f pic.twitter.com/z70jRdi315
— AI Breakfast (@AiBreakfast) March 7, 2023
Un robot capable d’exécuter vos consignes
Dans une autre vidéo, les chercheurs démontrent la capacité de PaLM-E à trier des objets. Par exemple, il a été demandé au robot de trier des objets, en suivant les consignes de l’utilisateur (comme “pousse l’hexagone jaune à côté l’étoile jaune”).
Les chercheurs expliquent également que le robot est capable de faire des généralisations, un aspect essentiel à son raisonnement. En substance, celui-ci est capable de généraliser un apprentissage et de l’utiliser pour toutes les tâches à accomplir. Dans une autre démonstration, “l’instruction est de “pousser les blocs rouges vers la tasse à café”. L’ensemble de données ne contient que trois démonstrations avec la tasse de café dedans, et aucune d’entre elles n’inclut de blocs rouges”.
Outre le fait que la création de PaLM-E est une grande avancée dans le domaine de la robotique, la publication de ces résultats de recherche signale aussi que Google s’intéresse toujours à ce secteur. En effet, récemment, nous avons appris que la maison-mère de l’entreprise, Alphabet, a décidé de mettre fin à sa filiale Everyday Robot.
“Everyday Robots ne sera plus un projet distinct au sein d’Alphabet. Une partie de la technologie et une partie de l’équipe seront consolidées dans les efforts de robotique existants au sein de Google Research”, avait indiqué la responsable communication d’Everyday Robot à nos confrères de Wired.
📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.
