Pangram (anciennement Checkfor.ai) est un logiciel de détection d’IA qui a été lancé en octobre 2023 par la jeune pousse Pangram Labs, fondée par Max Spero et Bradley Emi. Considéré comme l’un des plus performants du marché, il peut, à partir d’un simple copier-coller, estimer un pourcentage de probabilité qu’un texte ait été généré par un LLM (« Large Language Model »), comme ChatGPT, Claude, Gemini ou d’autres chatbots grand public. Il n’est toutefois pas infaillible et, comme tous les détecteurs, peut être trompé par différentes méthodes ou a parfois tendance à sur-détecter l’usage d’IA, en particulier dans les textes écrits par des personnes dont l’anglais n’est pas la langue maternelle. Malgré ces faiblesses, en trois ans, il s’est imposé comme une véritable référence dans les milieux académiques ou scolaires, où la régulation de l’utilisation de l’IA est aujourd’hui devenue un enjeu pédagogique et éthique particulièrement délicat.
Forte de cette réputation, Pangram Labs a annoncé le 4 novembre qu’elle étendait les capacités de son outil, en mettant à disposition deux modèles de détection visuelle : Pangram Image 1.0 (pour les images) et Flash 1.0 (pour les vidéos). Les deux peuvent être utilisés sur le site de l’entreprise et via une extension pour Google Chrome et Mozilla Firefox. Même sans abonnement, il est possible de soumettre cinq images par jour à Image 1.0, mais Flash 1.0 n’est accessible qu’aux personnes disposant d’un compte payant.
Pangram part à la chasse au flou artistique
Comme c’était déjà le cas pour son détecteur de texte, Image 1.0 produit une analyse complète de l’image, et ne la limite pas à un verdict binaire (« IA » ou « pas IA »). Une fois téléversée, il produit, en quelques secondes seulement, ce qui ressemble à une carte thermique (« heatmap ») qui localise les zones suspectées comme étant générées par IA. Il peut ainsi détecter des contenus 100 % synthétiques d’autres qui auraient été manipulés par des outils de retouche générative. Concernant Flash 1.0, le modèle fonctionne de la même manière, en les analysant image par image.
La plupart des contenus visuels qui circulent sur le web ou sur les réseaux sociaux sont souvent compressés ou redimensionnés, ce qui peut mettre en difficulté les détecteurs, car ils peinent à dissocier les artefacts de compression des véritables anomalies laissées par les générateurs d’images. Pour que ses deux modèles ne soient pas trompés par ce biais, Pangram Labs assure les avoir entraînés sur des images volontairement floutées, réduites, compressées ou bruitées.
Les chiffres de fiabilité que l’entreprise annonce pour Image 1.0 sont très flatteurs, mais on doit nécessairement les prendre avec des pincettes puisqu’ils proviennent de leurs propres tests. Pour les images, elle a réuni 100 vraies photos, puis a demandé à 12 générateurs parmi les plus avancés d’en produire chacun un double à partir d’une description quasi identique, soit 1 200 imitations au total. Sur l’ensemble de ce corpus, le modèle afficherait 99,96 % de bonnes réponses. Dans d’autres essais, il repérerait plus de 99 % des images artificielles avec un taux de faux positifs de 0,27 %, soit environ une vraie photo sur 370 accusée à tort.
Pour Flash 1.0, Pangram Labs l’a testé avec le benchmark DF26, mis au point par des chercheurs de l’Université catholique ukrainienne de Lviv et de l’Université technique tchèque de Prague. Il réunit 271 vraies vidéos de personnes s’exprimant face caméra et 2 420 imitations produites par sept modèles, comme Veo 3.1 de Google ou Grok Imagine. .Lors de l’étude menée par ses auteurs, les participants humains n’ont identifié correctement que 52,6 % des fausses vidéos et aucun des autres détecteurs qu’ils ont testés ne s’en sortait vraiment mieux.
Pangram revendique pour son modèle un score de 98,7 % sur ce même corpus, soit 29 points de plus que le détecteur classé juste derrière lui ; ces résultats n’ont toutefois pas été vérifiés par une autre équipe indépendante.
Les photos de smartphones : trop belles pour être vraies ?
L’outil peut toutefois encore se faire leurrer ; Max Spero, a testé l’extension Image 1.0 sur Pinterest, et celle-ci n’a pas su identifier deux images manifestement générées par IA, qu’elle a classées comme « incertaines ». Il peut arriver qu’il se trompe également sur de réelles photos. « La plupart des appareils photo de smartphones, iPhone compris, appliquent un certain niveau de post-traitement par IA pour ajouter du détail à de vraies photos », explique-t-il. Le modèle doit donc tolérer ces retouches automatiques sans laisser passer une image entièrement générée.
Ce problème a coûté du temps à l’entreprise : d’après Pirate Wires, Pangram Labs a même été obligée de repousser le lancement après avoir constaté que son détecteur classait comme artificielles les photos prises avec l’iPhone 18 Pro, et a alors dû le tester sur plusieurs exemplaires du téléphone avant de le rendre public.
Après un test de notre part (voir image ci-dessus), effectué sur l’image à la une qui a été générée par Gemini, Image 1.0 l’a épinglée comme générée intégralement par IA. La « heatmap » a coloré l’image de rouge de partout, ce qui signifie que le modèle n’a trouvé aucune portion qu’il puisse attribuer à une vraie prise de vue. Les métadonnées ne mentionnent ni appareil photo ni date de prise de vue, seulement un passage par Canva, qui a servi au recadrage.
Sur une vraie photo, capturée par un Samsung Galaxy S24 (voir ci-dessous), il l’a catégorisée comme étant réelle, le curseur s’arrêtant presque à l’extrémité verte de la jauge. Même s’il affiche un indice de confiance « moyen », on peut supposer que c’est en raison du post-traitement logiciel du smartphone. En l’état, impossible de savoir comment cet indice est calculé, car l’entreprise ne détaille pas comment son modèle pondère ceux qu’il relève. Certes, ces deux essais rapides ne font pas office d’un réel benchmark, mais le modèle a évité les deux pièges qu’on lui a tendu : ne pas détecter une image générée par IA et pointer à tort une vraie photo.
Pangram Labs a désormais tout ce qu’il lui faut pour prendre la tête de la course dans son segment : un modèle pour les textes, un pour les images, un autre pour les vidéos, une extension pour les navigateurs, une interface de programmation pour les entreprises et des résultats de détection qu’elle annonce loin devant la concurrence. Ce qui lui manque réellement, encore plus quand elle brandit de tels scores, ce sont des validations indépendantes qui confirment la fiabilité de ses modèles. Tant qu’elle reste la seule juge de ses propres performances, celles-ci doivent être considérées comme des arguments commerciaux, rien de plus. D’autant que certains de ses rivaux sont bien installés : Hive, Reality Defender ou Sightengine vendent déjà leurs détecteurs aux plateformes et aux rédactions. Elle affirme les devancer, mais sans les nommer pour autant : voilà pourquoi elle gagnerait encore plus à faire auditer ses outils et à jouer la transparence jusqu’au bout.
- Pangram Labs a lancé Image 1.0 et Flash 1.0, des outils de détection d’images et de vidéos générées par IA.
- L’outil Image 1.0 affiche un taux de précision de 99,96 %, mais peut encore être trompé par des images retouchées.
- Pangram revendique des résultats supérieurs à ses concurrents, mais manque de validations indépendantes pour confirmer ces performances.
📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.
