De génie à cancre, en quelques mois ChatGPT est-il devenu idiot ?

• Une recherche menée par des scientifiques de l’Université de Stanford montre que ChatGPT est moins performant pour effectuer certaines tâches en juin par rapport à sa version du mois de mars
• C’est notamment le cas pour résoudre certains problèmes mathématiques
• OpenAI, l’éditeur du chatbot, affirme tout faire pour rendre ses nouvelles versions « plus intelligentes »

ChatGPT devient-il de plus en plus stupide ? C’est la question que l’on peut se poser suite à la publication d’une étude réalisée par des chercheurs de la prestigieuse université de Stanford. Ces derniers ont comparé les performances de l’IA entre mars et juin dans sa capacité à résoudre diverses tâches : répondre à des questions délicates, créer du code, ou encore résoudre des problèmes mathématiques.

Et c’est justement sur ce dernier point que les résultats sont le plus troublants. Par exemple, il a été demandé à l’IA de repérer que 17077 est un nombre premier. ChatGPT tournant sur le modèle GPT-4 y est parvenu 97,6 % des fois où on lui a posé la question en mars, tandis que ce taux tombait à 2,4 % en juin. La tendance inverse a été observée avec GPT-3.5 : de 7,4 % en mars à 86,8 % en juin.

« Une Ferrari transformée en vieille camionnette »

Autre soucis repéré par les chercheurs, ChatGPT a plus de mal à présenter sa chaîne de pensée en juin qu’en mars. Autrement dit, il peine à expliquer le raisonnement qui l’amène à un résultat, alors qu’il y parvenait aisément quelques mois plus tôt.

Alors, comment expliquer ces évolutions ? Un des auteurs de l’étude, James Zuo, s’est exprimé chez nos confrères de Fortune. Il estime que les modifications apportées sur les modèles pour effectuer certaines tâches peuvent produire des effets inattendus :

Il existe toutes sortes d’interdépendances intéressantes dans la manière dont le modèle répond aux questions, ce qui peut entraîner une aggravation des comportements que nous avons observés.

Il est difficile d’y voir plus clair à ce sujet en l’état, car OpenAI et leurs rivaux ne communiquent pas sur la manière dont ils alimentent leurs IA. L’architecture neuronale a-t-elle évolué, ou les données d’entraînement ont-elles été modifiées ? Mystère.

Cette étude vient finalement confirmer un ressenti exprimé par les utilisateurs de ChatGPT au cours des dernières semaines. Des abonnés à la version payante du modèle de langage ont ainsi exprimé un mécontentement quant aux réponses fournies par cet outil : « C’est comme conduire une Ferrari pendant un mois, et puis soudain la voiture se transforme en vieille camionnette », déplorait l’un d’eux sur un forum.

De son côté, OpenAI se défend d’abêtir ChatGPT. Peter Welinder, le vice-président produit de l’entreprise, souligne ainsi sur Twitter : « Non, nous n’avons pas rendu GPT-4 plus stupide. Au contraire : nous rendons chaque version plus intelligente que la précédente. Lorsque vous utilisez ChatGPT de manière intensive, vous commencez à remarquer des problèmes qui ne se voyaient pas auparavant ».

📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.