L’énigme d’OpenAI : où est passée leur équipe en charge de la prévention des risques liés à l’IA ?

En juillet 2023, OpenAI faisait grand bruit en annonçant la création d’une équipe de recherche baptisée « superalignment team». Une initiative qui visait à s’attaquer à l’une des problématiques les plus brûlantes concernant l’intelligence artificielle : garantir que les futures IA superintelligentes (Intelligences Artificielles Générales) soient alignées sur les valeurs et les intérêts humains. Dans la même veine, OpenAI a également déployé une équipe de testeurs pour s’assurer que Sora, son IA génératrice de vidéo, ne devienne pas un danger pour la diffusion d’informations.

Malheureusement, moins d’un an après sa création, l’équipe « superalignment » n’est plus. Les départs successifs de ses co-leaders, Ilya Sutskever et Jan Leike, ont acté la fin du projet. Quelles sont les raisons de cette dissolution et quelles implications cela pourrait-il avoir pour OpenAI et la communauté technologique ?

Une équipe en crise : départs et désaccords internes

Sutskever, co-fondateur et ancien directeur scientifique d’OpenAI, avait joué un rôle prépondérant dans l’orientation des recherches de l’entreprise depuis sa création en 2015. Son départ a été suivi de près par celui de Leike, qui n’avait pas caché ses profonds désaccords avec la direction d’OpenAI sur les priorités de l’entreprise. Il a annoncé officiellement au grand public son départ le 15 mai sur X.com.

After almost a decade, I have made the decision to leave OpenAI.  The company’s trajectory has been nothing short of miraculous, and I’m confident that OpenAI will build AGI that is both safe and beneficial under the leadership of @sama, @gdb, @miramurati and now, under the…

— Ilya Sutskever (@ilyasut) May 14, 2024

Sur X.com, Leike a tenu à clarifier les motivations de son départ, évoquant des désaccords persistants sur les orientations stratégiques d’OpenAI et les ressources allouées à son équipe. Il a notamment souligné que son équipe avait « lutté pour obtenir les ressources informatiques nécessaires », rendant la bonne marche de leurs recherches de plus en plus complexe.

De son côté, Sutskever a fait part de son soutien à la trajectoire actuelle d’OpenAI, sans toutefois s’appesantir sur les raisons précises de son départ. « La progression de l’entreprise a été véritablement extraordinaire, et je suis convaincu qu’OpenAI parviendra à créer une intelligence artificielle générale à la fois sûre et bénéfique » a-t-il expliqué.

Les retombées d’une gouvernance chaotique : une réorganisation nécessaire

La crise de gouvernance de novembre dernier, qui a vu le PDG Sam Altman brièvement évincé avant d’être réintégré suite à une mobilisation massive du personnel, semble avoir eu des retombées négatives au long terme. Plusieurs chercheurs de l’équipe ont été licenciés ou ont quitté l’entreprise suite à cet événement. Parmi eux, les chercheurs Leopold Aschenbrenner et Pavel Izmailov ont été renvoyés pour violation du secret d’entreprise, tandis que William Saunders a démissionné en février dernier.

Ces départs de figures clés, couplés à la dissolution de l’équipe « superalignment », soulèvent tout de même des interrogations quant à la solidité de l’engagement d’OpenAI pour la gestion des risques des IA avancées. L’entreprise a refusé de commenter les départs récents ou l’avenir des travaux sur les risques à long terme. Elle a tout de même indiqué que la recherche sur ces questions serait désormais menée par John Schulman, coresponsable de l’équipe chargée du peaufinage des modèles d’IA après leur entraînement.

Alors qu’OpenAI avance à grands pas dans ses travaux, la « disparition » ou le remaniement de l’équipe de recherches en risques laisse tout de même planer le doute sur sa capacité à équilibrer la rapidité de ses innovations et les précautions à mettre en place. Les régulateurs et autres observateurs de la communauté de la tech surveilleront certainement de près l’entreprise après ces récents remous.

• L’équipe « superalignment » d’OpenAI n’existe plus, un an à peine après avoir été créée.
• Les chercheurs en chefs ont fait remonter des désaccords en interne entre l’équipe et l’entreprise, et ont annoncé leur départ il y a quelques jours.
• La crise interne de novembre dernier a probablement eu un impact sur la situation actuelle.

📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.