Passer au contenu

Pourquoi les détecteurs de ChatGPT marchent-ils aussi mal ?

Une nouvelle étude menée par des chercheurs de l’université de Stanford pointe de très sérieuses failles sur ces dispositifs.

  • Pour repérer l’utilisation de ChatGPT, de nombreux détecteurs ont vu le jour depuis le début d’année
  • Ils présentent de sérieux biais et peuvent facilement être trompés selon une étude de l’université de Stanford
  • Les chercheurs préconisent quelques modifications dans ce domaine

La démocratisation de ChatGPT et de ses rivaux a créé un besoin. Il est en effet nécessaire de repérer l’utilisation des modèles de langage pour éviter les abus. Par exemple, en février dernier, OpenAI a déployé AI Text Classifier, un outil lui même basé sur GPT qui indique si un texte a été écrit par une IA ou un humain.

Ces systèmes présentent des failles très importantes d’après une étude récemment publiée par des chercheurs de l’université de Stanford. Les auteurs pointent notamment un biais en faveur des auteurs anglophones. Ainsi, les systèmes sont parvenus à repérer que les copies rendues par des élèves de quatrième nés aux États-Unis et à les distinguer d’un générateur de texte.

Des détecteurs trop manipulables ?

Le constat est tout autre en ce qui concerne les étudiants en TOEFL qui n’ont pas l’anglais comme langue maternelle. Ainsi, 19 % des copies rendues par ces derniers étaient identifiés comme étant rédigées par une IA. Et 97 % des textes rédigés par ces élèves ont été pointés par au moins un des détecteurs utilisés dans le cadre de cette recherche.

Comment expliquer ce résultat ? Les IA de détection analysent le niveau de perplexité des écrits. En clair, il s’agit de variables basées sur la richesse lexicale, la complexité syntaxique et grammaticale… Autant d’éléments qui sont assez peu maîtrisés par des locuteurs non-anglophones qui apprennent d’abord les bases de cette langue.

Les chercheurs pointent une autre limite évidente de ces détecteurs : il est très simple de les induire en erreur. Il suffit notamment de demander à ChatGPT et à ses rivaux de réécrire un texte de manière bien plus soutenue et élaborée. Dans ce cas, l’IA de détection a beaucoup plus de mal à détecter si le texte a été produit par une machine ou par un humain.

Ces constats faits, les chercheurs ont adressé quelques préconisations. Il convient notamment de renoncer à utiliser ces outils dans les établissements scolaires car ils risquent de pénaliser les élèves étrangers, et ils sont facilement manipulables comme on vient de le voir.

Il faudrait également appliquer des filigranes sur les textes produits par un modèle de langage. Ces infimes indices permettent d’affirmer de manière plus fiable que l’écrit est l’œuvre d’une machine et non d’une personne. Enfin, les développeurs de ces IA doivent prendre conscience des possibles manipulations et tenter d’éviter ces contournements.

📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.

Newsletter 🍋

Abonnez-vous, et recevez chaque matin un résumé de l’actu tech

Cliquer pour commenter
Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *