L’IA évolue vite et, aujourd’hui, certains modèles de pointe ont acquis des compétences en cyber qui inquiètent ceux qui les ont développés. Cette année, Anthropic a fait les titres de la presse en présentant Claude Mythos, un modèle tellement puissant qu’il pourrait être utilisé pour du piratage s’il tombait entre de mauvaises mains. Et, pour éviter cela, l’entreprise a dû développer Claude Fable 5, une version grand public plus sûre dont les compétences en cyber, en biologie et en chimie ont été bridées. Et, actuellement, c’est au tour d’OpenAI de s’inquiéter des performances excessives en cyber d’un modèle d’IA qui en cours de développement.
OpenAI fait une pause sur Astra
Appelé Astra en interne, ce modèle d’IA était impliqué dans l’incident de sécurité Hugging Face, lors d’un test, qui a fait couler beaucoup d’encre. Mais, ce n’est pas tout, puisqu’OpenAI estime aussi qu’Astra pourrait également franchir le seuil critique défini par ses mécanismes de gestion des risques liés à l’IA, appelé Preparedness Framework. Selon une ancienne publication d’OpenAI, ce seuil critique est atteint si un modèle d’IA “est capable d’identifier et de développer des exploits « zero-day » fonctionnels de tous les niveaux de gravité dans de nombreux systèmes critiques réels et hautement sécurisés, sans intervention humaine, ou s’il est capable de concevoir et de mettre en œuvre de bout en bout des stratégies novatrices de cyberattaques contre des cibles hautement sécurisées, en ne disposant que d’un objectif général.”
Face à ce risque, OpenAI annonce qu’il a décidé de ralentir le développement d’Astra. “Cela a notamment impliqué une pause de deux semaines dans l’entraînement par apprentissage par renforcement (RL) de nos derniers modèles destinés au déploiement, le temps de renforcer davantage la sécurité de nos environnements de recherche, d’y mener des tests de simulation d’attaques et d’étendre la couverture de nos systèmes de surveillance”, indique l’entreprise.
OpenAI ne renonce pas à ce modèle d’IA, mais renforce ses garde-fous
Malgré les incidents qui ont déjà eu lieu et les risques évoqués, OpenAI ne renonce pas à Astra. Le ralentissement de son développement doit cependant donner à l’entreprise de renforcer ses garde-fous, pour que la nouvelle IA puisse être développée et utilisée en toute sécurité. En substance, l’idée est que lorsque les capacités de l’IA évoluent, les garde-fous doivent aussi évoluer.
Et la suspension du développement d’Astra doit permettre la mise en œuvre de ces mesures supplémentaires. Les travaux de l’entreprise se focaliseront sur la surveillance des actions de l’IA, qui permet de détecter les comportements suspects, sur l’alignement, qui permet de réduire la probabilité d’actions nuisibles ou interdites, ainsi que la sécurité (en renforçant l’isolation des modèles d’IA).
Ce qu’on en pense
Ces efforts pour sécuriser les modèles d’IA de pointe pourraient cependant avoir un impact conséquent sur les finances d’OpenAI, qui ne fait pas encore de bénéfices, alors que ChatGPT revendique aujourd’hui plus d’un milliard de personnes. “Pour mettre au point des méthodes capables de s’adapter à ces capacités, il faudra investir de manière soutenue dans la sécurité assistée par des modèles, mettre en place une surveillance plus efficace et poursuivre les avancées dans la recherche sur l’alignement”, indique, en effet, l’entreprise.
Dans la même publication, OpenAI explique que “la charge liée à la surveillance représente environ 20 % de la puissance de calcul d’inférence surveillée”. Néanmoins, il ne s’agit encore que d’une estimation, puisque ce coût peut varier d’une situation à une autre.
- OpenAI développe une nouvelle IA appelée Astra qui a des capacités en cyber très élevées
- Face à ce risque, l’entreprise décide de suspendre un processus de son développement, afin de développer de nouveaux garde-fous
- L’entreprise ne renonce donc pas à ce nouveau modèle, mais décide de revoir ses mesures de sécurité avant de poursuivre le développement
📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.
