Passer au contenu

Cette IA de l’armée est un désastre : elle décime son propre camp !

L’IA en question honore bien sa mission de base, mais elle n’hésite pas à tuer “les maillons faibles” qui la gênent dans son propre camp au passage.

  • Un colonel de l’US Air Force raconte en marge d’une conférence à Londres comment une IA censée rendre des drones militaires autonome s’est retournée contre son propre camp
  • Cette dernière devait débusquer seule des missiles surface-air
  • Dans une simulation, l’IA n’a pas hésité à enchaîner les stratégies les plus dérangeantes pour achever sa mission

Il y a quelques jours se tenait à Londres la conférence militaire “RAeS Future Combat Air & Space Capabilities Summit” dédiée aux nouvelles technologies sur les théâtres de combat. Évidemment il a été largement question d’intelligence artificielle, qui, au cas où vous en douteriez, est bel et bien en train de se faire une place au milieu des hommes en vert.

Mais une histoire en particulier a fait beaucoup discuter en marge du salon. Cette histoire, on la doit au Colonel Tucker Hamilton de l’US Air Force : elle relate le résultat troublant d’une simulation impliquant un drone tueur dopé à l’IA. Selon le responsable militaire, cet exemple montre pourquoi les armées qui adoptent l’IA ne pourront pas faire l’économie d’une vraie réflexion et de la mise en place d’un cadre éthique.

Pourquoi cette IA oblige l’armée à mener une réflexion éthique

Le Colonel Tucker Hamilton explique que l’US Air Force testait une nouvelle IA pour débusquer de façon autonome les missiles sol-air et les détruire, quand cette dernière a commencé à adopter un comportement néfaste. Concrètement, l’IA devait chercher seule les missiles en question. La décision finale de tirer revenait ensuite à un opérateur humain qui est en réalité surtout là, pour surveiller l’aéronef et la pertinence des cibles détectées.

Le test faisait partie d’une simulation, et on a envie de dire “heureusement”. Car il a suffi que des pilotes commencent à refuser à l’IA de détruire des cibles pour que le système ne se retourne contre l’armée en tuant les opérateurs. À ce stade, le Colonel Tucker Hamilton raconte que l’IA était récompensée dans l’atteinte de ses objectifs par un système de points.

Elle a pu être de nouveau entraînée, cette fois en gratifiant le meurtre d’opérateurs du même camp par des pénalités. L’équipe de l’armée pensait alors avoir trouvé la solution au problème. Mais ce qu’a fait l’IA ensuite donne froid dans le dos.

Puisqu’elle n’avait plus le droit de tuer les militaires qui semblaient la brider dans sa mission, cette dernière s’est attaquée à la tour de communication, de sorte que ni les opérateurs ni personne dans la hiérarchie ne pouvait plus arrêter les drones et les empêcher de détruire toutes les cibles que l’IA pensait avoir détectées.

“Par moments, l’opérateur humain pouvait lui dire de ne pas tuer une menace identifiée, mais l’IA obtenait des points en tuant cette menace. Alors qu’a fait l’IA ? Elle a tué l’opérateur […] car cette personne l’empêchait d’accomplir son objectif”, explique le Colonel Tucker Hamilton.

Il poursuit : “on a alors entraîné le système en lui disant ‘hey, ne tue pas l’opérateur, c’est mal. Tu vas perdre des points si tu fais cela. Alors qu’a fait l’IA ? Elle a commencé à détruire la tour de communication que l’opérateur utilise pour communiquer avec le drone et l’empêcher de tuer sa cible”.

Selon le militaire, cet exemple illustre de manière éclatante pourquoi même l’armée doit avoir une discussion sérieuse autour de l’éthique et de l’IA avant d’aller plus loin dans l’adoption de ces technologies.

https://twitter.com/blader/status/1664352771292921860

📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.

Newsletter 🍋

Abonnez-vous, et recevez chaque matin un résumé de l’actu tech

3 commentaires
3 commentaires
  1. Le Colonel Tucker Hamilton explique que […] “La décision finale de tirer revenait ensuite à un opérateur humain”
    Apparemment le système avait un peu plus de liberté que ça, sinon il ne devrait pas y avoir plus d’autorisation de tirer sur l’opérateur humain que sur une tour de communication.

    Ou alors il y’a quelque chose à éclaircir par rapport à la notion “par moments” 🙂
    “Par moments, l’opérateur humain pouvait lui dire de ne pas tuer une menace identifiée”

  2. Vous prenez les délires personnels d’un militaire pour la réalité.
    La SEULE réalité, c’est que le soit disant “test” n’a eu lieu que dans la cervelle de cet idiot !!
    Ce truc n’a JAMAIS eu lieu, et seule la presse la plus médiocre prend ce genre de vessies pour des lanternes.
    Les mêmes qui prenaient raoult pour le sauveur de l’humanité face à la covid…
    Article absolument pathétique, sans aucun recul, sans aucune vérification de source, du journalisme de caniveau !

  3. MDR comme article!
    Aucune mention des sources sauf celle de twitter. Comme référence on a vu mieux.

    toute le buzz provient d’ailleurs d’un quotidien anglais de bonne réputation. entre temps, le colonel a du préciser sa pensée, le journal anglais a été accusé d’avoir manqué de nuances.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *