Qui est responsable si l’IA des soins de santé échoue ?

Qui est responsable lorsque les erreurs d’IA dans les soins de santé causent des accidents, des blessures ou pire ? Selon la situation, cela pourrait être le développeur d’IA, un professionnel de la santé ou même le patient. La responsabilité est une préoccupation de plus en plus complexe et grave à mesure que l’IA devient plus courante dans les soins de santé. Qui est responsable de l’IA qui a mal tourné et comment les accidents peuvent-ils être prévenus ?

Le risque d’erreurs d’IA dans les soins de santé

Il existe de nombreux avantages incroyables à l’IA dans les soins de santé, de la précision et de l’exactitude accrues à des temps de récupération plus rapides. L’IA aide les médecins à poser des diagnostics, à effectuer des chirurgies et à fournir les meilleurs soins possibles à leurs patients. Malheureusement, les erreurs d’IA sont toujours une possibilité.

Il existe un large éventail de scénarios d’IA qui ont mal tourné dans les soins de santé. Les médecins et les patients peuvent utiliser l’IA comme outil de prise de décision basé uniquement sur des logiciels ou l’IA peut être le cerveau de dispositifs physiques comme des robots. Les deux catégories comportent des risques.

Par exemple, que se passe-t-il si un robot de chirurgie alimenté par l’IA dysfonctionne pendant une intervention ? Cela pourrait causer une blessure grave ou potentiellement même tuer le patient. De même, que se passe-t-il si un algorithme de diagnostic de médicament recommande le mauvais médicament pour un patient et qu’il souffre d’un effet secondaire négatif ? Même si le médicament ne nuit pas au patient, un mauvais diagnostic pourrait retarder un traitement approprié.

À la base des erreurs d’IA comme celles-ci se trouve la nature même des modèles d’IA. La plupart des IA d’aujourd’hui utilisent une logique de « boîte noire », ce qui signifie que personne ne peut voir comment l’algorithme prend des décisions. Les IA de boîte noire manquent de transparence, ce qui entraîne des risques tels que les biais logiques, la discrimination et des résultats inexacts. Malheureusement, il est difficile de détecter ces facteurs de risque jusqu’à ce qu’ils aient déjà causé des problèmes.

IA qui a mal tourné : qui est responsable ?

Que se passe-t-il lorsqu’un accident se produit lors d’une intervention médicale alimentée par l’IA ? La possibilité qu’une IA aille mal sera toujours présente à un certain degré. Si quelqu’un est blessé ou pire, est-ce que l’IA est en faute ? Pas nécessairement.

Quand le développeur d’IA est en faute

Il est important de se rappeler que l’IA n’est rien d’autre qu’un programme informatique. C’est un programme informatique très avancé, mais c’est toujours du code, comme n’importe quel autre logiciel. Puisque l’IA n’est pas sensible ou indépendante comme un humain, elle ne peut pas être tenue responsable des accidents. Une IA ne peut pas aller en cour ou être condamnée à une peine de prison.

Les erreurs d’IA dans les soins de santé seraient probablement la responsabilité du développeur d’IA ou du professionnel de la santé qui supervise l’intervention. La partie responsable d’un accident pourrait varier d’un cas à l’autre.

Par exemple, le développeur serait probablement en faute si des biais de données causaient une IA pour prendre des décisions injustes, inexacts ou discriminatoires. Le développeur est responsable de s’assurer que l’IA fonctionne comme promis et donne à tous les patients les meilleurs traitements possibles. Si l’IA dysfonctionne en raison de la négligence, de l’omission ou d’erreurs de la part du développeur, le médecin ne serait pas responsable.

Quand le médecin ou le professionnel de la santé est en faute

Cependant, il est encore possible que le médecin ou même le patient soit responsable de l’IA qui a mal tourné. Par exemple, le développeur pourrait faire tout correctement, donner au médecin des instructions détaillées et décrire tous les risques possibles. Lorsqu’il s’agit de procéder à l’intervention, le médecin pourrait être distrait, fatigué, oublieux ou simplement négligent.

Les enquêtes montrent que plus de 40 % des médecins éprouvent un burn-out sur le lieu de travail, ce qui peut entraîner une inattention, des réflexes lents et une mauvaise mémoire. Si le médecin ne prend pas soin de ses propres besoins physiques et psychologiques et que son état cause un accident, c’est la faute du médecin.

Selon les circonstances, l’employeur du médecin pourrait être finalement blâmé pour les erreurs d’IA dans les soins de santé. Par exemple, qu’est-ce qui se passe si un manager dans un hôpital menace de refuser une promotion à un médecin s’il n’accepte pas de travailler en heures supplémentaires ? Cela force le médecin à se surmener, ce qui entraîne un burn-out. L’employeur du médecin serait probablement tenu responsable dans une situation unique comme celle-ci.

Quand le patient est en faute

Et si le développeur d’IA et le médecin font tout correctement ? Lorsqu’un patient utilise de manière indépendante un outil d’IA, un accident peut être sa faute. Les erreurs d’IA ne sont pas toujours dues à une erreur technique. Cela peut être le résultat d’une utilisation incorrecte ou impropre.

Par exemple, peut-être qu’un médecin explique de manière détaillée un outil d’IA à son patient, mais que le patient ignore les instructions de sécurité ou saisit des données incorrectes. Si cette utilisation imprudente ou incorrecte entraîne un accident, c’est la faute du patient. Dans ce cas, il était responsable de l’utilisation correcte de l’IA ou de la fourniture de données exactes et a négligé de le faire.

Même lorsque les patients connaissent leurs besoins médicaux, ils peuvent ne pas suivre les instructions d’un médecin pour diverses raisons. Par exemple, 24 % des Américains prenant des médicaments sur ordonnance rapportent avoir des difficultés à payer pour leurs médicaments. Un patient peut omettre de prendre un médicament ou mentir à une IA à propos de la prise d’un médicament parce qu’il a honte de ne pas pouvoir payer pour sa prescription.

Si l’utilisation incorrecte du patient était due à un manque de conseils de la part du médecin ou du développeur d’IA, la faute pourrait être ailleurs. Cela dépend finalement de l’endroit où se trouve la racine de l’accident ou de l’erreur.

Réglementations et solutions potentielles

Existe-t-il un moyen de prévenir les erreurs d’IA dans les soins de santé ? Bien qu’aucune procédure médicale ne soit entièrement sans risque, il existe des moyens de minimiser la probabilité de résultats défavorables.

Les réglementations sur l’utilisation de l’IA dans les soins de santé peuvent protéger les patients contre les outils et les procédures alimentés par l’IA à haut risque. La FDA a déjà des cadres réglementaires pour les dispositifs médicaux d’IA, décrivant les exigences de test et de sécurité et le processus d’examen. Les principales organisations de surveillance médicale pourraient également intervenir pour réglementer l’utilisation des données de patients avec les algorithmes d’IA dans les années à venir.

En plus de réglementations strictes, raisonnables et approfondies, les développeurs devraient prendre des mesures pour prévenir les scénarios d’IA qui ont mal tourné. L’IA explicative — également connue sous le nom d’IA de boîte blanche — peut résoudre les problèmes de transparence et de biais de données. Les modèles d’IA explicative sont des algorithmes émergents qui permettent aux développeurs et aux utilisateurs d’accéder à la logique du modèle.

Lorsque les développeurs d’IA, les médecins et les patients peuvent voir comment une IA parvient à ses conclusions, il est beaucoup plus facile d’identifier les biais de données. Les médecins peuvent également détecter plus rapidement les inexactitudes factuelles ou les informations manquantes. En utilisant l’IA explicative plutôt que l’IA de boîte noire, les développeurs et les fournisseurs de soins de santé peuvent augmenter la fiabilité et l’efficacité de l’IA médicale.

IA de soins de santé sûre et efficace

L’intelligence artificielle peut faire des choses incroyables dans le domaine médical, voire potentiellement sauver des vies. Il y aura toujours une certaine incertitude associée à l’IA, mais les développeurs et les organisations de soins de santé peuvent prendre des mesures pour minimiser ces risques. Lorsque les erreurs d’IA dans les soins de santé se produisent, les conseillers juridiques détermineront probablement la responsabilité en fonction de l’erreur racine de l’accident.