L’intelligence artificielle, depuis l’apogée de ChatGPT il y a deux ans, semble quotidiennement franchir de nouveaux sommets. Les solutions IA se sont multipliées (Claude 3 d’Anthropic, Gemini de Google, la suite Apple Intelligence, etc.), les modèles sont de plus en plus cohérents, créatifs et efficaces. Certains systèmes peuvent générer des sons, des vidéos (comme Sora d’OpenAI), aider à la conception de médicaments, optimiser des chaînes logistiques ou s’occuper de la gestion des risques financiers.
Elle est une technologie de rupture par excellence, comme l’a été la maîtrise de l’électricité au XIXᵉ siècle ou l’invention de la roue au néolithique il y a 5 500 ans. Pourtant, une expérience menée par une équipe de chercheurs dirigée par Yuan Gao à l’Université de Boston vient tempérer ce constat. Ceux-ci ont mis à l’épreuve les capacités de raisonnement stratégique des plus grands modèles de langage actuels, avec des résultats étonnamment modestes. Les résultats de leurs travaux ont été publiés le 13 novembre sur ArXiv.
Le jeu des shekels : un révélateur des profondeurs de la pensée
Le « jeu 11-20 » se distingue dans l’arsenal des économistes comportementaux comme un outil remarquable pour sonder les mécanismes de la pensée stratégique. Son principe, d’une simplicité trompeuse, cache un véritable laboratoire des dynamiques décisionnelles : deux participants doivent choisir un montant entre 11 et 20 shekels (devise israélienne), avec la garantie de recevoir la somme demandée. L’élément crucial est la prime de 20 shekels accordée au joueur qui demande exactement un shekel de moins que son adversaire.
Cette mécanique engendre une pyramide de raisonnements, que les théoriciens des jeux ont baptisée « level-k reasoning ». Au niveau le plus basique (niveau 0), un joueur choisit 20 shekels sans réflexion stratégique. Un joueur de niveau 1, anticipant ce choix naïf, opte pour 19, s’assurant ainsi la prime. Le niveau 2 pousse le raisonnement plus loin : prévoyant que l’adversaire jouera niveau 1 (19), il choisit 18. Cette progression peut théoriquement se poursuivre jusqu’à 11, créant une spirale de déductions où chaque niveau intègre et dépasse la stratégie du niveau précédent.
La beauté de ce jeu réside dans sa capacité à révéler la profondeur du raisonnement stratégique humain. Les joueurs doivent non seulement anticiper le comportement de leur adversaire, mais aussi évaluer son niveau de complexité stratégique. La plupart des humains s’arrêtent naturellement à des niveaux intermédiaires (comme 17 ou 16), reflétant une forme d’équilibre entre subtilité cognitive et pragmatisme. Cette tendance démontre une compréhension intuitive que pousser le raisonnement trop loin peut s’avérer contre-productif, car peu d’adversaires atteignent ces niveaux de réflexion extrêmes.
Les modèles d’IA : des stratèges superficiels
L’équipe de Yuan Gao a soumis les plus récents modèles d’IA à mille parties de ce jeu, dans des conditions variées. Les résultats révèlent une limitation fondamentale : même les systèmes les plus avancés comme GPT-4 se cantonnent à des stratégies basiques.
Alors que les joueurs humains manifestent une compréhension intuitive des dynamiques sociales en choisissant des valeurs intermédiaires comme 17, les IA restent bloquées sur des choix élémentaires (19 ou 20), démontrant une incapacité à développer des stratégies plus sophistiquées. Autre fait intéressant : leurs réponses varient de manière incohérente selon des facteurs non pertinents, comme la langue utilisée dans les instructions.
L’écart persistant entre imitation et compréhension
Quelle distinction fondamentale entre l’intelligence humaine et artificielle met donc en lumière cette étude ? Le cerveau humain intègre naturellement une multitude de facteurs : expériences passées, émotions, intuitions sociales, désir de victoire et capacité à se mettre à la place de l’autre.
En revanche, les modèles de langage, malgré leur sophistication apparente, fonctionnent essentiellement comme des systèmes de prédiction de texte, dépourvus de véritable compréhension des enjeux stratégiques. En ce sens-là, ils ne sont pas pourvus de véritable intelligence, ils sont simplement des algorithmes. Très puissants, certes, mais mécaniques et basés sur des règles statistiques. La métaphore du perroquet utilisée par les chercheurs illustre parfaitement cette limite : même si ces oiseaux peuvent reproduire des phrases complexes, ils ne comprennent pas leur signification profonde.
Actuellement, de nombreuses entreprises envisagent de remplacer les panels humains traditionnels par des systèmes d’IA pour tester leurs produits, leurs campagnes publicitaires ou leurs stratégies de marché. Cette transition promettrait des économies substantielles : plus besoin de recruter, rémunérer et coordonner des centaines de participants humains pour chaque étude.
Toutefois, les résultats du jeu 11-20 sonnent comme un avertissement. Si les modèles d’IA les plus avancés échouent à reproduire la complexité du raisonnement humain dans une situation aussi élémentaire, comment pourraient-ils prédire fidèlement des comportements plus complexes ? L’hégémonie de l’IA n’est vraisemblablement pas pour demain, ce qui confirme bien les travaux menés par le Centre d’Éthique Appliquée de l’université UMass Boston dont vous nous parlions dans cet article. Rien n’est cependant gravé dans le marbre, et ce constat pourrait très vite évoluer au regard des progrès abattus dans le secteur sur la dernière décennie.
- Une étude sur le jeu 11-20 révèle que les modèles d’IA les plus avancés, comme GPT-4, manquent de profondeur stratégique et se limitent à des choix basiques.
- Contrairement aux humains, les IA ne saisissent pas la complexité sociale et intuitive des décisions.
- Ces modèles, pour le moment, restent de simples outils prédictifs dépourvus de compréhension.
📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.
Ho, je suis sûr que des personnages aussi surpuissant à la maison blanche et au kremlin ne feraient pas le poids face à n’importe laquelle des breloque IA du moment. Alors dire qu’elle ne «nous» surpasse pas encore, c’est vite dit…
Puissance et intelligence peuvent s’avérer distinctes.
–
Ce que je retiens de cet article c’est qu’un simple jeu peut requérir une pensée complexe faite de raisonnement mâté d’un plus, et que c’est ce ‘plus’ qui fait défaut à l’IA, en tous les cas en l’état actuel de son développement. Peut-être bien que, comme souvent, la meilleure attitude est de ne pas opposer deux alternatives, ici deux formes d’intelligence, l’une, naturelle, l’autre, artificielle, mais bien plutôt d’en appeler à l’une et l’autre selon leur pertinence eu égard à la tâche à accomplir : faire le mauvais choix peut avoir pour conséquence de couler une entreprise, va de soi.
–
Le problème central me semble être que l’on tente de reproduire l’intelligence sans savoir ce qu’elle est mais en se basant ses manifestations, quand bien même jusqu’à ces cheminements.
J’ai souvenir d’avoir lu que l’une des caractéristiques de l’électron est que l’on peut définir ou sa vitesse ou sa direction, mais jamais les deux simultanément (me corriger si nécessaire) : envisager quelque analogie avec l’intelligence en ceci qu’une de ses facettes cernée voila-t-il pas que les autres s’adapteraient en conséquence, dynamiquement, imprévisiblement ?
–
L’intelligence serait-elle ainsi une donne indépendante de celui, à fortiori de l’outil qui tente de s’en servir ou de l’accaparer, l’intelligence conçue comme une donne universelle au même titre que le photon par exemple, une intelligence du monde qui nous habiterait, nous, humains comme toute forme de vie ? Au final, l’intelligence ne serait pas rationnelle mais seule notre quête à la capter le serait… auquel cas aucune IA ne saurait y exceller mieux que l’être humain …
–
Qui vivra ne verra pas forcément, mais y verra plus clair en tous les cas ! J’aurais du écrire des romans de science-fiction 🙂
J’ai repensé au bouquin à l’origine de mon commentaire,
“J’ai souvenir d’avoir lu que l’une des caractéristiques de l’électron est que l’on peut définir ou sa vitesse ou sa direction, mais jamais les deux simultanément (me corriger si nécessaire)” : correction, de taille, nécessaire.
–
Impossible de remettre la main sur le livre, j’ignore où je l’ai encore fourré, mais le titre m’est resté en tête et j’ai pu retrouver la référence :
L’esprit cet inconnu, par J.E. Charon, éditions Albin Michel, 1978.
Ce n’est pas d’hier, la science a progressé. Mais je dois corriger, de mémoire encore, en espérant ne pas me tromper à nouveau :
Il ne s’agit pas de l’électron mais bien plutôt des particules élémentaires. Ce n’est pas du tout mon domaine, inutile de le préciser. Si j’ai fait référence à cet extrait c’était pour illustrer, dans toute la splendeur de mon incompétence, la dialectique entre espace et temps.
Autant pour moi.
L’électron est bien une particule élémentaire et le phénomène dont vous parlez est le principe d’incertitude de Heisenberg
Merci 🙂
Un p’tit tour chez Wikipedia pour apprendre qu’alors que j’avais évoqué position et direction il s’agit bien plutôt de position et de vitesse …
M’enfin, je retiendrai que “le principe énonce que toute amélioration de la précision de mesure de la position d’une particule se traduit par une moindre précision de mesure de sa vitesse et vice-versa.”. Je conceptualise à peine, au-delà je patinerais 🙂