- OpenAI, la société qui développe ChatGPT, reconnaît que les performances de son IA peuvent être moins bonnes pour certaines tâches, même si cette technologie est censée se perfectionner au fil du temps
- Cet aveu fait suite à de nombreuses critiques entendues de la part des utilisateurs
- Une étude publiée par des chercheurs de l’université de Stanford a confirme ces craintes
C’est au détour d’un billet de blog qu’OpenAI, la société qui a créé ChatGPT, a reconnu que les performances de son IA peuvent, pour certaines tâches, être moins bonnes qu’elles ne l’étaient par le passé. Cette révélation fait suite à de nombreux reproches adressés par des internautes.
Voici dans le détail ce que dit la startup : « Nous examinons un grand nombre de paramètres d’évaluation pour déterminer si un nouveau modèle doit être publié. Bien que la majorité des mesures se soient améliorées, les performances peuvent se dégrader pour certaines tâches. »
Une étude sème le doute sur ChatGPT
Et l’entreprise d’ajouter : « C’est pourquoi nous permettons aux utilisateurs de l’API d’épingler la version du modèle. Par exemple, vous pouvez utiliser GPT-4-0314 au lieu du générique GPT-4, qui pointe vers la dernière version du modèle. Chaque modèle épinglé individuellement est stable, ce qui signifie que nous n’apporterons pas de modifications ayant un impact sur les résultats. »
La compagnie conseille d’ailleurs à ses utilisateurs de signaler les lacunes de ces modèles sur la bibliothèque OpenAI Evals Library sur la plateforme Github. On ne connaît pas les raisons exactes de ces reculs, et nous n’en saurons d’ailleurs pas plus car l’entreprise refuse de communiquer sur la manière dont elle alimente son IA.
Rappelons que certains internautes avaient récemment posté des commentaires assez sévères sur ChatGPT. À l’image de celui-ici : « Le GPT-4 actuel est décevant. C’est comme conduire une Ferrari pendant un mois et la transformer soudainement en un vieux pick-up déglingué. Je ne suis pas sûr de vouloir payer pour cela. »
Hasard ou non du calendrier, cet aveu intervient quelques heures seulement après la publication d’une étude par des scientifiques de l’Université de Stanford. Ces derniers ont justement repéré que GPT-4, le modèle de langage sur lequel tourne la version payante de ChatGPT, était moins bon pour résoudre certains problèmes mathématiques en juin par rapport au mois de mars.
Pour expliquer cette évolution, James Zuo, un des auteurs de cette recherche, souligne : « Il existe toutes sortes d’interdépendances intéressantes dans la manière dont le modèle répond aux questions, ce qui peut entraîner une aggravation des comportements que nous avons observés. »
📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.
