C’est l’un des nouveaux mantras de la MedTech aux USA : « Un soupçon d’IA par ici, un autre par là, au final partout, et la sécurité attendra ! ». En prétextant de vouloir révolutionner la chirurgie et les technologies utilisées en bloc opératoires, des géants de l’équipement médical comme Johnson & Johnson (chirurgie), Medtronic (implants cardiaques) ou Samsung Medison (imagerie médicale) s’empressent de fourrer au chausse-pied du machine learning dans leurs dispositifs et abandonnent leurs anciens logiciels.
Alors qu’ils vendaient principalement des outils destinés à la visualisation pour aider les chirurgiens dans leur travail, ils proposent désormais du matériel où l’IA est aux commandes. Des systèmes prédictifs à l’origine de nombreux scandales outre-Atlantique, devant lesquels la FDA, vidée de ses cerveaux par le DOGE de Musk, est complètement dépassée.
Des machines à tuer
Selon l’enquête menée par Reuters, cette course à l’armement des différentes entreprises citées en introduction a commencé dès 2021, un an avant que l’IA arrive dans les mains du grand public avec ChatGPT. Cette année là, la FDA a autorisé la commercialisation de plus de 115 nouveaux dispositifs médicaux basés sur l’intelligence artificielle : consoles de neurochirurgie, logiciels d’imagerie cardiaque, scalpels intelligents. Aujourd’hui, on en dénombre plus de 1 350, validés à la chaîne par l’agence, les industriels profitant d’une faille réglementaire qui leur permet de commercialiser un produit sans nouveaux tests cliniques s’il ressemble à un ancien.
Ce qu’il y a de bien avec la dérégulation sauvage, c’est qu’on en aperçoit très rapidement les conséquences. Dès octobre 2023, le géant Medtronic a été obligé de diffuser une alerte de sécurité critique pour son système de navigation, baptisé StealthStation. Alors qu’il est censé aider le chirurgien à guider ses instruments, le logiciel a tout simplement perdu le nord : des chirurgiens ont perforé des parois artérielles et endommagé des moelles épinières parce que l’IA leur montrait une image tronquée.
Pas mieux pour Samsung Medison avec son logiciel Sonio Detect, conçu pour sécuriser et automatiser l’examen échographique fœtal en détectant en temps réel les vues anatomiques. Pour produire des images nettes, l’algorithme a, dans certains cas, TruDiupprimé des malformations anatomiques (cardiaques et cérébrales) dont souffraient des fœtus. Ainsi, des médecins ont fourni des diagnostics complètement erronés à des parents, persuadés que le logiciel avait vu juste.
Mais la palme de l’horreur revient sans aucun doute au système TruDi, de Johnson & Johnson, un logiciel qui utilise l’IA comme système de guidage, permettant au chirurgien d’opérer à l’aveugle à travers la chair. Censé agir comme un GPS ultra-précis pour assister des opérations du sinus ou à la base du crâne, ce dispositif a connu plusieurs dysfonctionnements gravissimes.
Pour que le chirurgien puisse détecter où se trouvent ses outils sans les voir, le modèle d’IA superpose en temps réel une image scanner 3D du patient sur son visage. Le problème, c’est qu’à plusieurs reprises, il a perdu la correspondance exacte entre le virtuel et le réel. Un bug qui, normalement, aurait dû le stopper net, mais l‘algorithme a préféré continuer et a sévèrement halluciné en comblant le vide par des données fictives.
En pleine confiance, certains chirurgiens ont perforé des tissus vitaux ou sectionné des artères carotides, croyant que leurs instruments étaient au bon endroit. Le bilan est tragique : on estime, qu’en raison de ce bug, 15 personnes ont perdu la vie et des dizaines ont été blessées.
Johnson & Johnson a, de plus, incité la commercialisation de TruDi alors qu’elle savait pertinemment que sa fiabilité était déastreuse. Des audits internes et des données analysées par la suite ont révélé un chiffre effarant : le système présentait cible de seulement 80 % lors de ses tests de précision. La firme acceptait donc sciemment l’idée que son logiciel pouvait, dans deux interventions sur dix, s’égarer complètement. Une complaisance criminelle.
La FDA : complice du massacre
Aucune de ces affaires n’aurait eu lieu si la FDA faisait réellement son boulot : protéger les citoyens américains et les patients en s’assurant que l’innovation technologique ne se change pas en expérimentation humaine clandestine. En laissant la voie libre à ces entreprises pour qu’elles puissent vendre leurs nouvelles solutions, l’agence se retrouve avec les mains tachées de sang.
Par paresse réglementaire et par copinage, elle protège, en plus de cela, les firmes concernées : oui, vous avez bien lu ; juridiquement, on ne pourra rien leur reprocher. En vertu du principe de la préemption fédérale, une fois qu’un dispositif est homologué par la FDA, les tribunaux d’État rejettent souvent les plaintes pour défaut de conception, l’approbation fédérale servant de protection juridique absolue contre les poursuites des victimes. Une insulte aux familles et à la mémoire des défunts : la FDA laisse sur le marché ces machines de mort et s’assurent derrière que les assassins en col blanc n’aient jamais à verser un centime de dédommagement aux survivants. Sur les terres de l’Oncle Sam, l’impunité pour les géants est le véritable sport national, bien avant le baseball ou le soccer.
- La FDA a autorisé des dispositifs médicaux assistés par IA, malgré des erreurs graves signalées lors d’opérations.
- Des systèmes comme TruDi de Johnson & Johnson ont causé des blessures et des décès en raison de dysfonctionnements.
- La réglementation laxiste protège les entreprises, empêchant les victimes de poursuivre en justice.
📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.
