Les soins de santé ont un problème de responsabilité avec l’IA

Dans le domaine des soins de santé, l’IA est maintenant intégrée à tout, des décisions cliniques à la gestion des ressources humaines et des finances. Pourtant, de nombreuses organisations manquent encore de la délégation de gestion des risques nécessaire pour garantir que les outils d’IA ne causent pas de préjudice. L’absence de surveillance structurée signifie que les décisions liées à l’IA sont prises sans responsabilité claire, exposant les organisations au risque de violations éthiques et réglementaires.

Lorsque personne n’est responsable des décisions et des actions de l’IA, les angles morts vont s’agrandir rapidement. Les conséquences d’un système d’IA prenant des décisions à haut risque sans surveillance sont nombreuses et loin d’être négligeables, surtout lorsque des vies sont en jeu.

Aujourd’hui, les lacunes de gouvernance de l’IA ressemblent beaucoup à des points d’inflexion précédents où la courbe technologique s’est accentuée plus rapidement que la capacité de l’entreprise à la gérer. Nous avons traversé cela avec le cloud computing : les équipes ont adopté le SaaS, l’IaaS et l’IT de l’ombre pour aller plus vite, tandis que la gouvernance a traîné sur des bases telles que la classification des données, la gestion des identités et des accès, la surveillance des fournisseurs, la journalisation / la surveillance et la clarté des responsabilités partagées – donc la responsabilité s’est dispersée à travers l’IT, la sécurité, les achats et l’entreprise. Nous avons également vu cela avec la rapidité de la consommation de l’IT et de la mobilité / BYOD, où les employés ont introduit de nouveaux appareils et applications dans des environnements réglementés longtemps avant que les organisations n’aient des politiques matures pour le cryptage, les contrôles d’extrémité, la vérification des applications et la découverte électronique. Dans chaque cas, l’adoption était rationnelle et souvent créatrice de valeur – mais l’absence de propriété claire, de contrôles standardisés et de surveillance du cycle de vie a créé des défaillances prévisibles. La leçon pour l’IA est simple : la gouvernance ne peut pas être une afterthought attachée à l’innovation ; elle doit être construite comme d’autres infrastructures critiques – intentionnellement, avec des droits de décision définis, une surveillance continue et des garde-fous exécutoires.

Le problème de la responsabilité diffusée

Le déploiement rapide de l’IA a dépassé l’élaboration de normes de gouvernance et de responsabilité, conduisant à un gap de “responsabilité diffusée” où aucune entité unique n’assume la responsabilité lorsque l’IA échoue.

La responsabilité est déjà un problème omniprésent dans les soins de santé, et l’IA n’a fait que présenter de nouveaux défis. Les outils d’IA n’ont pas d’identité juridique reconnue, ce qui signifie qu’ils ne peuvent pas être poursuivis ou assurés, ni payer des compensations légales aux victimes. Dans les procédures judiciaires, la faute doit être transférée à un acteur humain ou à une entreprise, et non à un outil.

Des chercheurs dans The Lancet, une revue médicale de premier plan, ont récemment soutenu que “les structures de responsabilité institutionnelle doivent répartir la responsabilité des cliniciens aux organisations qui conçoivent et déploient [les outils d’IA]”. Il est clair que de telles questions autour de la responsabilité persisteront bien dans le futur.

L’Union européenne tente de résoudre ces problèmes à l’échelle régionale. Le bloc a introduit deux instruments législatifs majeurs : le Acte sur l’IA, qui réglemente l’utilisation de l’IA en fonction du degré de risque et met l’accent sur la préservation de la surveillance humaine ; et la directive sur la responsabilité de l’IA, qui établit de nouvelles règles qui facilitent aux personnes la recherche de compensations pour les préjudices causés par l’IA.

Mais la réglementation seule ne résoudra pas le problème. Les hôpitaux opèrent dans un réseau complexe de fournisseurs, de cliniciens, d’administrateurs et d’équipes informatiques, donc lorsque le système d’IA produit une sortie préjudiciable ou biaisée, la responsabilité est passée comme un ballon entre les parties prenantes : le fournisseur peut pointer du doigt une utilisation incorrecte, les cliniciens peuvent dire que la conception est défectueuse, et la direction pourrait blâmer l’ambiguïté réglementaire.

Tout cela signifie que la responsabilité est diffusée, laissant les hôpitaux vulnérables à de grands combats juridiques.

Étapes pratiques pour combler les lacunes de gouvernance

La bonne nouvelle est que même sans réglementations complètes, les organisations de soins de santé peuvent proactivement combler les lacunes de gouvernance de l’IA. Pour commencer, les dirigeants peuvent commencer par le rapport de l’Organisation mondiale de la santé, “Éthique et gouvernance de l’intelligence artificielle pour la santé,” qui vise à maximiser les promesses de l’IA tout en minimisant les risques.

Les étapes décrites dans ce rapport visent à protéger l’autonomie, à promouvoir le bien-être humain et la sécurité publique, à assurer la transparence et l’explicabilité, et à favoriser la responsabilité et la responsabilité. Pour résoudre les lacunes de gouvernance, concentrons-nous sur les deux derniers points.

Mettez en œuvre une approche unifiée de la gouvernance de l’IA, en veillant à ce qu’elle soit dirigée de haut en bas par les conseils d’administration ou les experts. Actuellement, de nombreuses organisations laissent les départements individuels utiliser l’IA où ils le voient, laissant les dirigeants incapables d’expliquer comment et où l’organisation utilise ces outils. La visibilité est primordiale, assurez-vous donc d’avoir une liste des outils exacts utilisés, où et à quelles fins.

Il est tout aussi important d’établir des lignes de responsabilité claires tout au long du cycle de vie de l’IA. Cela signifie rendre une personne ou un département responsable de tout, de l’approvisionnement et de la validation à la surveillance de la mise en œuvre, et à la réponse aux incidents. Les hôpitaux doivent exiger que les fournisseurs répondent à des normes de transparence et d’auditabilité définies, et s’assurer que les équipes internes sont formées pour comprendre à la fois les capacités et les limites des systèmes d’IA.

Enfin, la gouvernance doit être opérationnalisée, et non simplement documentée. Intégrez les politiques dans les flux de travail en intégrant les évaluations des risques de l’IA dans les processus d’approvisionnement, en effectuant des audits réguliers des performances de l’IA, et en créant des mécanismes pour que le personnel de première ligne signale les préoccupations sans friction.

Dans la pratique, combler le gap de gouvernance est moins une question d’introduction de nouveaux principes et plus une question de discipline : standardisez la façon dont l’IA entre dans l’organisation, définissez qui en est propriétaire à chaque étape, et assurez-vous que ses performances sont continuellement examinées. Sans cette discipline, les outils d’IA continueront à dépasser les structures conçues pour les maintenir en sécurité.

Le risque caché : la qualité des données

Même lorsque les structures de responsabilité sont en place, un autre risque est souvent sous-estimé : l’intégrité des données qui alimentent les systèmes d’IA et la façon dont ces systèmes évoluent avec le temps. Tout système d’IA n’est fiable que dans la mesure où les données sur lesquelles il est formé et qu’il apprend continuellement sont fiables, et les environnements de données des hôpitaux sont notoirement fragmentés, incohérents et sujets à des lacunes.

Les dossiers médicaux électroniques, les systèmes d’imagerie et les plateformes administratives fonctionnent souvent dans des silos, créant des divergences qui peuvent directement affecter les sorties de l’IA. Un modèle formé sur des ensembles de données incomplets ou biaisés peut produire des recommandations erronées qui peuvent passer inaperçues jusqu’à ce que le préjudice ait déjà été causé. C’est particulièrement dangereux dans les contextes cliniques, où de petites déviations dans la précision peuvent se traduire par des conséquences importantes pour les patients.

Le problème est aggravé par le “dérive du modèle” : la tendance des modèles d’IA à s’écarter des instructions et du contexte à mesure que davantage de données entrent dans le système. À mesure que les populations de patients évoluent, que de nouveaux protocoles de traitement sont introduits et que des facteurs externes affectent les opérations, les hypothèses de base des outils d’IA peuvent changer. Sans surveillance et recalibration continues, un système d’IA qui a fonctionné de manière fiable peut commencer à prendre des décisions ou à suggérer des solutions qui s’écartent de sa formation.

Pour résoudre le problème de la dérive du modèle, les hôpitaux doivent traiter les systèmes d’IA comme des actifs dynamiques et à haut risque, plutôt que comme des outils statiques. Cela signifie mettre en œuvre une surveillance continue des performances, établir des seuils clairs pour la précision acceptable, et définir la propriété pour la réformation et la validation. La gouvernance des données doit également être renforcée, avec des pratiques standardisées pour la qualité des données, l’interopérabilité et la détection des biais.

Sans affronter les risques liés à la qualité des données et à la dérive du modèle, même les meilleurs cadres de gouvernance de l’IA seront insuffisants. Pour les systèmes d’IA de soins de santé, qui ne sont que aussi bons que les données qui les sous-tendent, ignorer ce niveau de risque crée le potentiel d’une défaillance systémique plus tôt que plus tard.

Faites-le bien avant de le lancer

L’IA a le potentiel de transformer les soins de santé en améliorant l’efficacité, la précision et les résultats pour les patients. Mais sans une propriété claire des risques qu’elle présente, ce potentiel peut rapidement devenir une responsabilité.

Les hôpitaux ne peuvent pas se permettre de traiter la gouvernance de l’IA comme un exercice de conformité. Elle doit être traitée comme une priorité opérationnelle de base : définir la propriété, structurer la surveillance et évaluer continuellement. Car dans les soins de santé, lorsque quelque chose va mal, les conséquences peuvent être bien pires que de savoir qui est en faute.