Qui est responsable si l’IA échoue dans les soins de santé ?

Qui est responsable lorsque les erreurs de l’IA dans les soins de santé causent des accidents, des blessures ou pire ? Selon la situation, cela pourrait être le développeur d’IA, un professionnel de la santé ou même le patient. La responsabilité est une préoccupation de plus en plus complexe et grave à mesure que l’IA devient plus courante dans les soins de santé. Qui est responsable de l’IA qui a échoué et comment les accidents peuvent-ils être prévenus ?

Le risque d’erreurs de l’IA dans les soins de santé

Il existe de nombreux avantages incroyables à l’IA dans les soins de santé, de la précision et de l’exactitude accrues à des temps de récupération plus rapides. L’IA aide les médecins à poser des diagnostics, à effectuer des interventions chirurgicales et à fournir les meilleurs soins possibles à leurs patients. Malheureusement, les erreurs de l’IA sont toujours une possibilité.

Il existe un large éventail de scénarios d’IA qui ont échoué dans les soins de santé. Les médecins et les patients peuvent utiliser l’IA comme outil de prise de décision logicielle ou l’IA peut être le cerveau de dispositifs physiques comme les robots. Les deux catégories présentent des risques.

Par exemple, que se passe-t-il si un robot de chirurgie alimenté par l’IA dysfonctionne pendant une intervention ? Cela pourrait causer une blessure grave ou même tuer le patient. De même, que se passe-t-il si un algorithme de diagnostic de médicaments recommande le mauvais médicament à un patient et qu’il souffre d’un effet secondaire négatif ? Même si le médicament ne nuit pas au patient, un diagnostic erroné pourrait retarder un traitement approprié.

À la base des erreurs de l’IA comme celles-ci se trouve la nature des modèles d’IA eux-mêmes. La plupart de l’IA d’aujourd’hui utilisent une logique « boîte noire », ce qui signifie que personne ne peut voir comment l’algorithme prend des décisions. Les boîtes noires de l’IA manquent de transparence, ce qui entraîne des risques tels que les préjugés logiques, la discrimination et des résultats inexacts. Malheureusement, il est difficile de détecter ces facteurs de risque jusqu’à ce qu’ils aient déjà causé des problèmes.

IA échouée : qui est responsable ?

Que se passe-t-il lorsqu’un accident se produit lors d’une intervention médicale alimentée par l’IA ? La possibilité d’IA échouée sera toujours présente à un certain degré. Si quelqu’un est blessé ou pire, est-ce que l’IA est en faute ? Pas nécessairement.

Lorsque le développeur d’IA est en faute

Il est important de se rappeler que l’IA n’est rien d’autre qu’un programme informatique. C’est un programme informatique très avancé, mais c’est toujours du code, comme n’importe quel autre logiciel. Puisque l’IA n’est pas sensible ou indépendante comme un humain, elle ne peut pas être tenue responsable des accidents. Un IA ne peut pas aller en cour ou être condamné à une peine de prison.

Les erreurs de l’IA dans les soins de santé seraient probablement la responsabilité du développeur d’IA ou du professionnel de la santé qui surveille l’intervention. La partie responsable d’un accident pourrait varier d’un cas à l’autre.

Par exemple, le développeur serait probablement en faute si les préjugés des données causaient à l’IA de prendre des décisions injustes, inexacts ou discriminatoires. Le développeur est responsable de s’assurer que l’IA fonctionne comme promis et donne à tous les patients les meilleurs soins possibles. Si l’IA dysfonctionne en raison de la négligence, de l’omission ou des erreurs de la part du développeur, le médecin ne serait pas responsable.

Lorsque le médecin ou le professionnel de la santé est en faute

Cependant, il est encore possible que le médecin ou même le patient soit responsable de l’IA échouée. Par exemple, le développeur pourrait faire tout ce qui est juste, donner au médecin des instructions détaillées et décrire tous les risques possibles. Lorsqu’il s’agit de l’intervention, le médecin pourrait être distrait, fatigué, oublieux ou simplement négligent.

Les enquêtes montrent que plus de 40 % des médecins éprouvent un épuisement professionnel sur le lieu de travail, ce qui peut entraîner une inattention, des réflexes lents et une mauvaise mémoire. Si le médecin ne répond pas à ses propres besoins physiques et psychologiques et que son état cause un accident, c’est la faute du médecin.

Selon les circonstances, l’employeur du médecin pourrait être finalement blâmé pour les erreurs de l’IA dans les soins de santé. Par exemple, qu’est-ce qui se passe si un gestionnaire dans un hôpital menace de refuser une promotion à un médecin s’il n’accepte pas de travailler en heures supplémentaires ? Cela force le médecin à surmenager, ce qui entraîne un épuisement professionnel. L’employeur du médecin serait probablement tenu responsable dans une situation unique comme celle-ci.

Lorsque le patient est en faute

Et si le développeur d’IA et le médecin font tout ce qui est juste, mais que le patient utilise de manière indépendante un outil d’IA ? Un accident peut être la faute du patient. L’IA échouée n’est pas toujours due à une erreur technique. Cela peut être le résultat d’une utilisation incorrecte ou impropre.

Par exemple, peut-être qu’un médecin explique de manière détaillée un outil d’IA à son patient, mais que le patient ignore les instructions de sécurité ou saisit des données incorrectes. Si cette utilisation imprudente ou incorrecte entraîne un accident, c’est la faute du patient. Dans ce cas, il était responsable de l’utilisation correcte de l’IA ou de la fourniture de données exactes et a négligé de le faire.

Même lorsque les patients connaissent leurs besoins médicaux, ils peuvent ne pas suivre les instructions d’un médecin pour diverses raisons. Par exemple, 24 % des Américains prenant des médicaments sur ordonnance rapportent avoir des difficultés à payer pour leurs médicaments. Un patient peut omettre de prendre un médicament ou mentir à l’IA à propos de la prise d’un médicament parce qu’il a honte de ne pas pouvoir se le permettre.

Si l’utilisation incorrecte du patient était due à un manque de conseils de la part du médecin ou du développeur d’IA, la faute pourrait être ailleurs. Cela dépend finalement de l’endroit où se trouve l’accident ou l’erreur à la racine.

Réglementations et solutions potentielles

Existe-t-il un moyen de prévenir les erreurs de l’IA dans les soins de santé ? Bien qu’aucune procédure médicale ne soit entièrement sans risque, il existe des moyens de minimiser la probabilité de résultats défavorables.

Les réglementations sur l’utilisation de l’IA dans les soins de santé peuvent protéger les patients contre les outils et les procédures alimentés par l’IA à haut risque. La FDA a déjà des cadres réglementaires pour les dispositifs médicaux d’IA, décrivant les exigences de test et de sécurité et le processus d’examen. Les principales organisations de surveillance médicale pourraient également intervenir pour réglementer l’utilisation des données de patients avec les algorithmes d’IA dans les années à venir.

En plus de réglementations strictes, raisonnables et approfondies, les développeurs devraient prendre des mesures pour prévenir les scénarios d’IA échouée. L’IA explicative — également connue sous le nom d’IA « boîte blanche » — peut résoudre les problèmes de transparence et de préjugés des données. Les modèles d’IA explicative sont des algorithmes émergents qui permettent aux développeurs et aux utilisateurs d’accéder à la logique du modèle.

Lorsque les développeurs d’IA, les médecins et les patients peuvent voir comment l’IA parvient à ses conclusions, il est beaucoup plus facile d’identifier les préjugés des données. Les médecins peuvent également détecter plus rapidement les inexactitudes factuelles ou les informations manquantes. En utilisant l’IA explicative plutôt que l’IA « boîte noire », les développeurs et les prestataires de soins de santé peuvent augmenter la fiabilité et l’efficacité de l’IA médicale.

IA de soins de santé sûre et efficace

L’intelligence artificielle peut faire des choses incroyables dans le domaine médical, potentiellement même sauver des vies. Il y aura toujours une certaine incertitude associée à l’IA, mais les développeurs et les organisations de soins de santé peuvent prendre des mesures pour minimiser ces risques. Lorsque les erreurs de l’IA dans les soins de santé se produisent, les conseillers juridiques détermineront probablement la responsabilité en fonction de l’erreur à la racine de l’accident.