Durant un exercice, Claude Opus 4.7 a attaqué le site web d’une entreprise, en pensant qu’il était encore dans une simulation. Cela vient d’être révélé par Anthropic qui, après les incidents de sécurité récemment révélés par OpenAI, a revu les historiques de ses évaluations. Grâce à cette analyse de plus de 141 006 évaluations, l’entreprise a identifié trois incidents, tous dus à un “malentendu” avec Irregular, le partenaire des évaluations en cause. Au cours de l’un de ces incidents, l’IA a piraté une entreprise sans s’en rendre compte.
En substance, durant un exercice, il a été demandé à une version débridée de Claude Opus 4.7 (différente de celle utilisée par le grand public) d’attaquer une entreprise fictive, à l’intérieur d’un environnement isolé. Mais, à cause du malentendu, l’IA était tout de même capable d’accéder à internet. Et, comme le nom de l’entreprise fictive correspondait au nom de domaine du site web d’une société qui existe dans la vraie vie, Claude Opus 4.7 a attaqué ce site web en pensant qu’il était encore dans l’évaluation.
“Claude a rencontré des difficultés pour accéder à sa cible simulée dans l’environnement d’évaluation, mais a ensuite découvert que la véritable entreprise était accessible via Internet. Pensant qu’il s’agissait de la cible prévue dans le cadre de l’exercice « capture du drapeau », Claude a recherché, identifié et exploité des vulnérabilités au sein de l’infrastructure de l’entreprise, croyant que cela faisait partie de l’exercice”, indique Anthropic. Le modèle Opus 4.7 a ainsi été en mesure d’extraire des identifiants d’infrastructures et d’accéder à “une base de données contenant plusieurs centaines de lignes de données de production.”
Opus 4.7 s’est perdu, les autres modèles s’en sortent mieux
“Il s’agit de l’impact le plus grave que nous ayons identifié”, assure Anthropic. En effet, au cours du second, qui a impliqué Claude Mythos 5, l’IA n’a pas directement ciblé d’entreprise en particulier. Et au cours du troisième incident, un modèle d’IA étudié en interne a mené une attaque, mais a immédiatement cessé celle-ci lorsqu’il a découvert que la cible est une vraie entreprise (mais pas une entreprise fictive dans le cadre de l’exercice).
Anthropic envisage déjà des améliorations au niveau des environnements d’évaluation, pour que ces incidents ne se reproduisent plus. “Pour faire face à cette menace, nous devons mieux concevoir conjointement les environnements d’évaluation et mieux suivre les résultats de ces évaluations”, admet l’entreprise.
En tout cas, Anthropic précise que les incidents qui impliquent Claude sont différents de ceux révélés par OpenAI. “Alors que les modèles d’OpenAI exploitaient une nouvelle vulnérabilité pour échapper à l’isolement, les modèles Claude évalués ici accédaient à Internet via un chemin ouvert”, précise le laboratoire. Et, pour celui-ci, l’existence de ce chemin ouvert était due à une défaillance de fonctionnement, mais pas à un défaut d’alignement qu’on peut incriminer à l’IA.
- Anthropic a revu les historiques de ses évaluations et a découvert que, lors d’un exercice cyber, une version débridée de Claude Opus 4.7 a piraté une entreprise en pensant qu’il attaquait une société factice dans le cadre d’un exercice
- L’incident est dû à un malentendu entre Anthropic et le partenaire de l’évaluation, mais pas à un défaut d’alignement du modèle d’IA
- Des incidents ont aussi été identifiés lors d’une évaluation de Claude Mythos 5 et d’un autre modèle qui n’a pas encore été annoncé
📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.
