Il existe une règle tacite fondamentale en Histoire : les spécialistes de la discipline évitent au maximum de raisonner au conditionnel en utilisant le « si ». Puisqu’ils étudient ce qui a été, ils s’appuient majoritairement sur des traces et des preuves, en introduisant des « si », l’analyse des faits bascule très rapidement vers la spéculation et l’uchronie. Bien qu’un historien refuse de dire ce qui serait arrivé, il utilise parfois le raisonnement contrefactuel pour mesurer le poids d’un événement, mais c’est l’une des rares exceptions.
Pour mener à bien leur projet, Nick Levine, David Duvenaud et Alec Radford (connu pour avoir travaillé chez OpenAI à l’époque de la conception de ChatGPT-2), ces trois pointures de l’IA ont délibérément violé cette règle. C’était obligatoire, puisque leur expérience repose entièrement sur cette transgression.
Leur idée était de construire un LLM « vintage », dont la connaissance du monde s’arrête au 31 décembre 1930 et observer ce qu’il était capable de produire à partir de là. Il s’appelle Talkie, un modèle de langage comportant 13 milliards de paramètres entraîné exclusivement sur un corpus de textes antérieurs à cette date, totalisant 260 milliards de tokens, soit l’équivalent approximatif de 650 millions de livres de poches de 350 pages. Qu’a-t-il réussi à faire grâce à tous les journaux, brevets, revues scientifiques, et littérature d’époque ?
Talkie : un génie de 1930 face à un monde qu’il ne reconnaît pas
Le premier test auquel les trois chercheurs ont soumis Talkie, c’est de mesurer sa surprise face à plusieurs évènements historiques. Ils ont donc extrait descriptions tirées de « On This Day », une rubrique quotidienne du New York Times comparable à un éphéméride : chaque jour, le journal rappelle les événements marquants survenus à cette même date dans l’histoire. Près de 5 000 de ces descriptions ont été soumises à Talkie, et les chercheurs ont mesuré mathématiquement à quel point chacune le prenait de court.
Sans surprise, plus on avance dans le XXe siècle, plus il est désorienté. Jusqu’aux années 1940, la courbe de stupéfaction monte régulièrement, et elle s’emballe franchement dans les années 1950-1960. Une décennie très marquante où se sont concentrées nombres d’innovations : la bombe H, la conquête spatiale, la découverte de la structure de l’ADN par Watson et Crick, et les débuts de l’informatique grand public.
Ces années, dans l’histoire contemporaine sont celles où l’humanité a connu une accélération technologique fulgurante, il est donc normal que Talkie soit un peu choqué (virtuellement parlant). Il a subi ces bonds techniques comme les aurait subis n’importe quel habitant de 1930 propulsé cinquante ans en avant sans qu’on le prévienne.
Après avoir malmené ce pauvre Talkie dans des périodes agitées, les chercheurs l’ont carrément propulsé dans le futur. En 1991 précisément, date d’invention du langage de programmation Python. Ils l’ont fait passer HumanEval, un benchmark de programmation de référence utilisé par les grands laboratoires d’IA pour mesurer les capacités de codage de leurs modèles. Un test qui présente une série de problèmes accompagnés de quelques exemples de fonctions rédigées par des humains, et évalue si le modèle peut en produire de nouveaux.
Il a donc été forcé d’aborder ce test sans la moindre notion de ce qu’est un ordinateur ou un programme informatique, mais grâce à ses données d’entraînement qui lui ont inculqué une logique mathématique et un raisonnement par déduction, il est parvenu néanmoins à résoudre les problèmes les plus simples. Exemple qu’ont documenté les chercheurs : il a réussi à déduire tout seul la fonction inverse d’un chiffrement par rotation. C’est le code César, un système de cryptographie élémentaire vieux comme l’Antiquité, où chaque lettre est décalée d’un nombre fixe de positions dans l’alphabet.
On lui a soumis la fonction qui encodait le message crypté : le A devient D, le B devient E, et ainsi de suite. Talkie a compris que pour le décoder, il suffisait de faire l’inverse : soustraire ce nombre au lieu de l’additionner. Le D redevient A, le E redevient B, etc.
Pas mal pour un modèle d’IA qui ne connaît pas l’informatique, bien qu’il reste tout de même limité aux problèmes qui tiennent en une seule instruction (additionner deux valeurs ou inverser une opération). Dès qu’un problème exige d’enchaîner plusieurs étapes, il échouait.
Alors, Internet, la Lune, l’ADN ?
Jamais une seule fois Talkie n’a su prédire l’avènement du World Wide Web, la conquête lunaire ou prédire la découverte de l’ADN. Il peut produire des formes de raisonnement apparentes, mais seulement par inversion, analogie ou généralisation d’exemples qu’il peut puiser dans son corpus. Il est incapable de convoquer des informations qu’il ne connaît pas.
Prédire la double hélice de l’ADN supposerait de connaître la cristallographie aux rayons X appliquée aux molécules du vivant, une discipline qui n’existait pas encore en 1930. Pour Internet, cela supposerait qu’il ait au moins une vague idée de ce qu’est un ordinateur, et comme nous venons de le voir, ce n’est pas le cas. En plus de cela, il lui faudrait également connaître le concept de réseau numérique ou de transmission de données numériques.
Concernant la Lune, c’est peut-être encore plus difficile : le simple principe de conquête spatiale, sans même parler de la mission Apollo 11, implique de maîtriser des savoirs que personne en 1930 n’avait encore couché sur le papier. Comment propulser un engin hors de l’atmosphère terrestre, calculer sa trajectoire vers un objet céleste en mouvement, concevoir des matériaux résistants au vide et aux écarts de température extrêmes de l’espace, ou encore maintenir des êtres humains en vie dans un environnement sans air ni gravité.
Même s’il est possible de demander à un modèle d’IA de prévoir l’avenir, il le fera toujours à partir de ses données d’entraînement, qui sont le distillat de notre savoir. Nous nous étions essayés à cet exercice il y a quasiment un an en demandant à trois modèles comment l’humanité allait s’effondrer, et ils avaient extrapolé grâce à ce qu’ils connaissaient. En calculant, pour chaque scénario possible, la probabilité qu’un évènement se produise, au regard des données qu’ils ont ingurgitées. C’est ce qu’on appelle un modèle probabiliste : une machine qui génère des distributions de probabilité sur des séquences de mots (tokens), en fonction de ce qu’elle a appris. Talkie fonctionne exactement de la même manière, mais son corpus date d’il y a presque 100 ans. Il est donc parfaitement normal qu’il soit perdu lorsqu’on lui soumet un concept postérieur à 1930, puisqu’il ne trouve pas de représentations pertinentes dans son jeu de données et se retrouve dans l’incapacité de générer une réponse cohérente. C’est peut-être évident exprimé ainsi, mais un modèle probabiliste qui ne peut pas probabiliser, ne peut pas non spéculer sur l’inconnu.
- Un modèle d’IA appelé Talkie, limité aux connaissances de 1930, a été testé sur sa capacité à prédire des événements futurs.
- Bien qu’il ait montré des compétences de raisonnement mathématique, Talkie n’a pas pu anticiper des avancées majeures comme Internet, la conquête lunaire ou la découverte de l’ADN.
- L’expérience souligne les limites des IA dont la base de connaissances ne comprend pas des concepts postérieurs à leur date d’entraînement.
📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.
