Cette startup chamboule le secteur de l’IA grâce à des coûts d’entraînement dérisoires

Les startups d’intelligence artificielle (IA) émergent à une vitesse folle. Mais Writer assure disposer d’un avantage de taille : elle dépense beaucoup moins que la concurrence pour entraîner ses grands modèles de langage.

Les données synthétiques pour entraîner l’IA

La jeune pousse américaine, fondée en 2020, vient en effet de présenter son dernier modèle, Palmyra X 004. Elle a dépensé environ 700 000 dollars pour le former, données et processeurs compris. C’est tout simplement ahurissant. À titre de comparaison, OpenAI a dépensé près de 100 millions de dollars pour entraîner GPT-4, qui alimente ChatGPT.

Pour réaliser cette prouesse, Writer exploite des données synthétiques afin de former ses modèles, c’est-à-dire qu’elles sont elles-mêmes générées par des intelligences artificielles. Ses rivales, de leur côté, ont recours à des immenses quantités d’informations disponibles sur Internet.

Une technique qui, en plus d’être onéreuse, présente une limite conséquente : selon une étude réalisée par des chercheurs en IA, si les tendances actuelles en matière de développement se poursuivent, les entreprises « épuiseront complètement » les données de formation accessibles au public entre 2026 et 2032. « Les données textuelles publiques générées par l’Homme ne pourront pas être développées au-delà de cette décennie », expliquent-ils. Or, l’IA a toujours besoin de plus de données pour encore se perfectionner.

Gare aux hallucinations

Cependant, les données synthétiques présentent également certaines contraintes. Elles sont davantage susceptibles de dégrader les performances des modèles et d’exacerber les biais existants en raison d’une plus grande propension à halluciner. Conscient des risques, Waseem Alshikh, cofondateur et directeur technique de Writer, veut rassurer les utilisateurs :

« Il existe une certaine confusion dans le secteur quant à la définition des données synthétiques. Pour être clair, nous n’entraînons pas nos modèles sur des données falsifiées ou des hallucinations, et nous n’utilisons pas de modèle pour générer des données aléatoires. Nous prenons des données réelles et factuelles et les convertissons en données synthétiques qui sont spécifiquement structurées d’une manière plus claire et plus nette pour l’entraînement des modèles ».

Le recours aux données synthétiques se répand rapidement, notamment chez les géants comme Meta, Amazon ou encore Microsoft.

Nouvelle levée de fonds en vue pour Writer

Les coûts d’entraînement promus par Writer séduisent les investisseurs, d’autant plus car le secteur de l’IA peine à atteindre la rentabilité en raison de coûts d’exploitation exorbitants. Ainsi, la startup travaille pour lever jusqu’à 200 millions de dollars auprès d’investisseurs pour une valorisation d’1,9 milliard de dollars, soit le quadruple par rapport à septembre 2023.

Ses modèles sont commercialisés pour les entreprises, qui les utilisent pour générer des textes dans des contextes variés. Cela va de simples messages sur LinkedIn à l’analyse de données ou la création d’applications d’IA personnalisées. Writer compte plus de 250 entreprises clientes évoluant dans des secteurs variés, à l’image d’Accenture, d’Uber, de Salesforce, ou encore de L’Oréal.

• La startup Writer entraîne ses modèles avec des données synthétiques, rendant ses coûts de formation moindres par rapport à la concurrence.
• Les données synthétiques sont elles-mêmes générées par des IA, et imitent le contenu produit par l’être humain.
• Si cette pratique est séduisante au niveau du prix, elle maximise aussi la propension des modèles à halluciner.

📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.