L’IA devrait doit déboucher sur autant de belles innovations que de dangers pour l’humanité. En matière de cybersécurité, les chercheurs se penchent depuis un certain temps sur la question – mais jusqu’ici la technologie ne permettait pas de créer des virus efficaces (et réellement menaçants) basés sur l’intelligence artificielle.
C’est justement ce qui vient de changer avec l’arrivée de modèles de langage large (LLM) et le développement d’agents spécialisés grand publics exploitants l’IA. Il devient ainsi possible de créer des logiciels malveillants particulièrement difficiles à déceler et à éliminer, pouvant muter, ou créer d’autres logiciels malveillants à la volée – du sur-mesure pour atteindre un maximum d’objectifs tout en laissant les logiciels antivirus complètement sur le carreau.
Premier virus basé sur l’IA démontré par des chercheurs
Les chercheurs Ben Nassi, Stav Cohen et Ron Bitton (Cornell Tech University) démontrent ainsi dans un papier la faisabilité d’un cheval de troie basé sur un modèle LLM et qui est capable de se propager de façon indépendante d’un ordinateur à un autre. Leur virus, ils l’ont baptisé Morris II, en référence à Morris, le premier ver informatique de l’histoire, datant de 1988.
Là où les chercheurs font plutôt fort, c’est qu’ils ont démontré entre autres la capacité de leur ver informatique à infiltrer un assistant mail basé sur ChatGPT ou Gemini – pour mieux lui soutirer des données personnelles sensibles, et obtenir des emails normalement censés être protégés. Tout en cassant, vous l’aurez compris, les sécurités mises en place pour ces assistants LLM.
Bien sûr, leur virus n’a pas pour but d’être relâché dans la nature, mais plutôt de découvrir les failles les plus graves des modèles LLM actuels. Une des techniques de Morris II pour passer outre les protocoles de sécurité, est par exemple de proposer des prompts conduisant une cible basée sur l’IA à délivrer et répondre à un autre prompt vérolé.
Une technique semblable aux attaques dites d’injection SQL ou de dépassement de mémoire tampon. Rien que cette possibilité, très difficile pour le moment à patcher, permet des attaques particulièrement redoutables. Un prompt peut par exemple contenir les instructions pour construire à la volée une page web de phishing et la mettre en ligne.
Dans un autre type d’attaque, baptisé “Retrieval-Augmented Generation” ou RAG, le virus exploite la façon dont ChatGPT ou Gemini récupère des informations en ligne. Ils envoient pour un email spécialement conçu pour “empoisonner” la base de données d’un assistant mail pour mieux le “jailbreaker” et ainsi accéder aux emails de leur cible.
Pire : en cas de réponse d’autres utilisateurs dans le même thread, ces derniers sont automatiquement infectés de la même manière. Autre méthode mise en évidence : l’envoi d’une image comprenant un prompt malicieux auto-réplicant directement dans le fichier. Cela permet de rapidement propager la virus, sans intervention.
Pour les chercheurs, ne pas laisser les agents IA seuls maîtres à bord est l’une des grandes conditions pour éviter ce genre de risques sécuritaires. Qui tendront inévitablement à se multiplier dans les prochaines années.
- Des chercheurs en sécurité viennent de démontrer le premier ver dopé à l’IA.
- De quoi mettre en évidence les failles des agents IA actuels, comme ceux censés faciliter le tri de vos emails.
- Les chercheurs soulignent que garder l’humain au coeur des décisions comme l’envoi de messages est crucial pour répondre à cette menace.
📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.
