Le secteur des soins de santé est confronté à un problème de responsabilité en matière d’IA

Dans le secteur des soins de santé, l’IA est maintenant intégrée à tout, des décisions cliniques aux ressources humaines et à la finance. Pourtant, de nombreuses organisations manquent encore de la délégation de gestion des risques nécessaire pour garantir que les outils d’IA ne causent pas de préjudice. L’absence de surveillance structurée signifie que les décisions liées à l’IA sont prises sans responsabilité claire, exposant les organisations au risque de violations éthiques et réglementaires.

Lorsque personne n’est responsable des décisions et des actions prises par l’IA, les angles morts vont se multiplier rapidement. Les conséquences d’un système d’IA prenant des décisions à haut risque sans surveillance sont nombreuses et loin d’être négligeables, en particulier lorsque des vies sont en jeu.

Aujourd’hui, les lacunes en matière de gouvernance de l’IA ressemblent beaucoup à des points d’inflexion précédents où la courbe technologique s’est accélérée plus vite que la capacité de l’entreprise à la gérer. Nous avons traversé cela avec le cloud computing : les équipes ont adopté le SaaS, l’IaaS et l’IT fantôme pour aller plus vite, tandis que la gouvernance a traîné sur des bases telles que la classification des données, la gestion des identités et des accès, la surveillance des fournisseurs, la journalisation / la surveillance et la clarification des responsabilités partagées – donc la responsabilité s’est dispersée à travers l’IT, la sécurité, les achats et l’entreprise. Nous avons également vu cela avec la rapidité de la consommation de l’IT et de la mobilité / BYOD, où les employés ont introduit de nouveaux appareils et applications dans des environnements réglementés longtemps avant que les organisations n’aient des politiques matures pour le cryptage, le contrôle des points de terminaison, la validation des applications et la découverte électronique. Dans chaque cas, l’adoption était rationnelle et souvent créatrice de valeur – mais l’absence de propriété claire, de contrôles standardisés et de surveillance du cycle de vie a créé des défaillances prévisibles. La leçon pour l’IA est simple : la gouvernance ne peut pas être une afterthought ajoutée à l’innovation ; elle doit être construite comme d’autres infrastructures critiques – intentionnellement, avec des droits de décision définis, une surveillance continue et des garde-fous exécutoires.

Le problème de la responsabilité diffusée

Le déploiement rapide de l’IA a dépassé l’élaboration de normes de gouvernance et de responsabilité, conduisant à un fossé de « responsabilité diffusée » où aucune entité unique n’assume la responsabilité lorsque l’IA échoue.

La responsabilité est déjà un problème omniprésent dans le secteur des soins de santé, et l’IA n’a fait que créer de nouveaux défis. Les outils d’IA n’ont pas d’identité juridique reconnue, ce qui signifie qu’ils ne peuvent pas être poursuivis ou assurés, ni payer des dommages-intérêts aux victimes. Dans les procédures judiciaires, la faute doit être transférée à un acteur humain ou à une entreprise, et non à un outil.

Des chercheurs dans The Lancet, une revue médicale de premier plan, ont récemment soutenu que « les structures de responsabilité institutionnelle doivent répartir la responsabilité des cliniciens aux organisations qui conçoivent et déploient [des outils d’IA] ». Il est clair que de telles questions de responsabilité persisteront bien dans le futur.

L’Union européenne tente de résoudre ces problèmes à l’échelle régionale. Le bloc a introduit deux instruments législatifs majeurs : le Acte sur l’IA, qui réglemente l’utilisation de l’IA en fonction du degré de risque et met l’accent sur la préservation de la surveillance humaine ; et la directive sur la responsabilité de l’IA, qui établit de nouvelles règles pour faciliter les demandes de compensation pour les dommages causés par l’IA.

Mais la réglementation seule ne résoudra pas le problème. Les hôpitaux opèrent dans un réseau complexe de fournisseurs, de cliniciens, d’administrateurs et d’équipes informatiques, donc lorsque le système d’IA produit une sortie nuisible ou biaisée, la responsabilité est passée d’un acteur à l’autre : le fournisseur peut pointer du doigt une utilisation incorrecte, les cliniciens peuvent dire que la conception est défectueuse, et la direction peut blâmer l’ambiguïté réglementaire.

Tout cela signifie que la responsabilité est diffusée, laissant les hôpitaux vulnérables à des batailles juridiques majeures.

Étapes pratiques pour combler les lacunes en matière de gouvernance

La bonne nouvelle est que même sans réglementations complètes, les organisations de soins de santé peuvent proactivement combler les lacunes en matière de gouvernance de l’IA. Pour commencer, les dirigeants peuvent s’appuyer sur le rapport de l’Organisation mondiale de la santé, « Éthique et gouvernance de l’IA pour la santé, » qui vise à maximiser les promesses de l’IA tout en minimisant les risques.

Les étapes exposées dans ce rapport visent à protéger l’autonomie, à promouvoir le bien-être humain et la sécurité publique, à assurer la transparence et l’explicabilité, et à favoriser la responsabilité et la responsabilité. Pour résoudre les lacunes en matière de gouvernance, concentrons-nous sur les deux derniers points.

Mettez en œuvre une approche unifiée de la gouvernance de l’IA, en veillant à ce qu’elle soit dirigée de haut en bas par les conseils d’administration ou les experts. Actuellement, de nombreuses organisations laissent les départements utiliser l’IA où ils le souhaitent, laissant les dirigeants incapables d’expliquer comment et où l’organisation utilise ces outils. La visibilité est primordiale, assurez-vous donc d’avoir une liste des outils utilisés, où et à quelles fins.

Il est tout aussi important d’établir des lignes de responsabilité claires tout au long du cycle de vie de l’IA. Cela signifie désigner une personne ou un département responsable de tout, de l’approvisionnement et de la validation à la surveillance de la mise en œuvre et à la réponse aux incidents. Les hôpitaux doivent exiger que les fournisseurs répondent à des normes de transparence et d’auditabilité définies, et s’assurer que les équipes internes sont formées pour comprendre à la fois les capacités et les limites des systèmes d’IA.

Enfin, la gouvernance doit être opérationnalisée, et non simplement documentée. Intégrez les politiques dans les flux de travail en intégrant les évaluations des risques liés à l’IA dans les processus d’approvisionnement, en effectuant des audits réguliers des performances de l’IA et en créant des mécanismes pour que le personnel de première ligne signale les préoccupations sans friction.

Dans la pratique, combler le fossé de gouvernance est moins une question d’introduction de nouveaux principes que de mise en œuvre d’une discipline : standardisez la façon dont l’IA entre dans l’organisation, définissez qui en est propriétaire à chaque étape, et assurez-vous que ses performances sont continuellement examinées. Sans cette discipline, les outils d’IA continueront à dépasser les structures conçues pour les maintenir en sécurité.

Le risque caché : la qualité des données

Même lorsque les structures de responsabilité sont en place, un autre risque est souvent sous-estimé : l’intégrité des données qui alimentent les systèmes d’IA et la façon dont ces systèmes évoluent avec le temps. Tout système d’IA n’est fiable que dans la mesure où les données sur lesquelles il est formé et qu’il apprend continuellement sont fiables, et les environnements de données des hôpitaux sont notoirement fragmentés, incohérents et sujets à des lacunes.

Les dossiers médicaux électroniques, les systèmes d’imagerie et les plateformes administratives fonctionnent souvent dans des silos, créant des disparités qui peuvent directement affecter les sorties de l’IA. Un modèle formé sur des ensembles de données incomplets ou biaisés peut produire des recommandations erronées qui peuvent passer inaperçues jusqu’à ce que le préjudice soit déjà fait. C’est particulièrement dangereux dans les contextes cliniques, où de petites déviations dans la précision peuvent se traduire par des conséquences importantes pour les patients.

Ce problème est aggravé par la « dérive du modèle » : la tendance des modèles d’IA à s’écarter des instructions et du contexte à mesure que de nouvelles données entrent dans le système. À mesure que les populations de patients évoluent, que de nouveaux protocoles de traitement sont introduits et que des facteurs externes affectent les opérations, les hypothèses de base des outils d’IA peuvent changer. Sans surveillance et recalibration continues, un système d’IA qui fonctionnait autrefois de manière fiable peut commencer à prendre des décisions ou à suggérer des solutions qui s’écartent de sa formation.

Pour résoudre le problème de la dérive du modèle, les hôpitaux doivent traiter les systèmes d’IA comme des actifs dynamiques à haut risque et non comme des outils statiques. Cela signifie mettre en œuvre une surveillance continue des performances, établir des seuils clairs pour une précision acceptable et définir la propriété pour la réformation et la validation. La gouvernance des données doit également être renforcée, avec des pratiques standardisées pour la qualité des données, l’interopérabilité et la détection des biais.

Sans affronter les risques liés à la qualité des données et à la dérive du modèle, même les meilleurs cadres de gouvernance de l’IA seront insuffisants. Pour les systèmes d’IA dans le secteur des soins de santé, qui ne sont bons que les données qui les sous-tendent, ignorer ce niveau de risque crée le potentiel d’une défaillance systémique plus tôt que plus tard.

Faites-le bien avant de le lancer

L’IA a le potentiel de transformer le secteur des soins de santé en améliorant l’efficacité, la précision et les résultats pour les patients. Mais sans une prise en charge claire des risques qu’elle soulève, ce potentiel peut rapidement devenir une responsabilité.

Les hôpitaux ne peuvent pas se permettre de traiter la gouvernance de l’IA comme un exercice de conformité. Elle doit être traitée comme une priorité opérationnelle de base : définir la propriété, structurer la surveillance et évaluer continuellement. Car dans le secteur des soins de santé, lorsqu’il se passe quelque chose de mal, les conséquences peuvent être bien pires que savoir qui est en faute.