L'IA générative dans le secteur de la santé a besoin d'une dose d'explicabilité

La vitesse remarquable à laquelle les outils d’IA générative basés sur du texte peuvent accomplir des tâches d’écriture et de communication de haut niveau a touché une corde sensible auprès des entreprises et des consommateurs. Mais les processus qui se déroulent en coulisses pour permettre ces capacités impressionnantes peuvent rendre risqué pour les secteurs sensibles et réglementés par le gouvernement, comme l’assurance, la finance ou la santé, de tirer parti de l’IA générative sans faire preuve d’une grande prudence.

Certains des exemples les plus illustratifs peuvent être trouvés dans le secteur de la santé.

Ces problèmes sont généralement liés aux ensembles de données étendus et diversifiés utilisés pour former les grands modèles linguistiques (LLM) – les modèles dont se nourrissent les outils d’IA générative basés sur du texte afin d’effectuer des tâches de haut niveau. Sans intervention extérieure explicite des programmeurs, ces LLM ont tendance à extraire sans discernement des données provenant de diverses sources sur Internet pour élargir leur base de connaissances.

Cette approche est la plus appropriée pour les cas d’utilisation à faible risque axés sur le consommateur, dans lesquels l’objectif ultime est de diriger les clients avec précision vers les offres souhaitables. Cependant, de plus en plus de grands ensembles de données et les chemins confus par lesquels les modèles d’IA génèrent leurs résultats obscurcissent le explicabilité dont les hôpitaux et les prestataires de soins de santé ont besoin pour retracer et prévenir les inexactitudes potentielles.

Dans ce contexte, l'explicabilité fait référence à la capacité de comprendre les cheminements logiques d'un LLM donné. Les professionnels de santé qui souhaitent adopter des outils d’IA générative d’assistance doivent avoir les moyens de comprendre how leurs modèles donnent des résultats afin que les patients et le personnel bénéficient d'une transparence totale tout au long des divers processus décisionnels. En d’autres termes, dans un secteur comme celui de la santé, où des vies sont en jeu, les enjeux sont tout simplement trop importants pour que les professionnels interprètent mal les données utilisées pour entraîner leurs outils d’IA.

Heureusement, il existe un moyen de contourner l’énigme de l’explicabilité de l’IA générative : cela nécessite simplement un peu plus de contrôle et de concentration.

Mystère et scepticisme

Dans l’IA générative, le concept consistant à comprendre comment un LLM passe du point A – l’entrée – au point B – la sortie – est beaucoup plus complexe qu’avec les algorithmes non génératifs qui s’exécutent selon des modèles plus définis.

Les outils d’IA générative établissent d’innombrables connexions tout en passant de l’entrée à la sortie, mais pour l’observateur extérieur, comment et pourquoi ils établissent une série donnée de connexions reste un mystère. Sans moyen de visualiser le « processus de réflexion » suivi par un algorithme d’IA, les opérateurs humains ne disposent pas de moyens approfondis pour enquêter sur son raisonnement et détecter les inexactitudes potentielles.

De plus, les ensembles de données en constante expansion utilisés par les algorithmes de ML compliquent encore davantage l'explicabilité. Plus l’ensemble de données est grand, plus le système est susceptible d’apprendre à partir d’informations pertinentes et non pertinentes et de cracher des « hallucinations de l’IA » – des mensonges qui s’écartent des faits externes et de la logique contextuelle, aussi convaincants soient-ils.

Dans le secteur de la santé, ces types de résultats erronés peuvent entraîner une série de problèmes, tels que des diagnostics erronés et des prescriptions incorrectes. Outre les conséquences éthiques, juridiques et financières, de telles erreurs pourraient facilement nuire à la réputation des prestataires de soins de santé et des institutions médicales qu’ils représentent.

Ainsi, malgré son potentiel à améliorer les interventions médicales, à améliorer la communication avec les patients et à renforcer l’efficacité opérationnelle, l’IA générative dans les soins de santé reste enveloppé de scepticisme, et à juste titre : 55 % des cliniciens ne croient pas qu'il soit prêt à être utilisé à des fins médicales et 58 % s'en méfient totalement. Pourtant, les organismes de santé sont aller de l'avant, avec 98 % intégrant ou planifiant une stratégie de déploiement d'IA générative pour tenter de compenser l'impact de la pénurie de main-d'œuvre actuelle du secteur.

Contrôler la source

Le secteur de la santé est souvent pris en retard dans le climat de consommation actuel, qui privilégie l’efficacité et la rapidité plutôt que la garantie de mesures de sécurité à toute épreuve. Nouvelles récentes concernant les pièges du grattage de données quasi illimité pour la formation des LLM, conduisant à poursuites pour violation du droit d'auteur, a mis ces questions au premier plan. Certaines entreprises sont également confrontées à des allégations selon lesquelles les données personnelles des citoyens ont été exploitées pour former ces modèles linguistiques, ce qui pourrait violer les lois sur la confidentialité.

Les développeurs d’IA travaillant dans des secteurs hautement réglementés doivent donc exercer un contrôle sur les sources de données afin de limiter les erreurs potentielles. Autrement dit, donnez la priorité à l’extraction de données à partir de sources fiables et approuvées par l’industrie plutôt que de supprimer des pages Web externes au hasard et sans autorisation expresse. Pour le secteur de la santé, cela signifie limiter la saisie des données aux pages FAQ, aux fichiers CSV et aux bases de données médicales, entre autres sources internes.

Si cela vous semble quelque peu limitatif, essayez de rechercher un service sur le site Web d'un grand système de santé. Les organismes de santé américains publient des centaines, voire des milliers de pages d’informations sur leurs plateformes ; la plupart sont enfouis si profondément que les patients ne peuvent jamais y accéder. Les solutions d’IA générative basées sur des données internes peuvent fournir ces informations aux patients de manière pratique et transparente. C’est une situation gagnant-gagnant pour toutes les parties, car le système de santé voit enfin le retour sur investissement de ce contenu et les patients peuvent trouver les services dont ils ont besoin instantanément et sans effort.

Quelle est la prochaine étape pour l’IA générative dans les industries réglementées ?

Le secteur de la santé devrait bénéficier de l’IA générative de plusieurs manières.

Prenons par exemple l’épuisement généralisé qui touche récemment le secteur de la santé aux États-Unis. près de 50% de la main-d’œuvre devrait démissionner d’ici 2025. Les chatbots génératifs basés sur l’IA pourraient aider à alléger une grande partie de la charge de travail et à préserver les équipes d’accès aux patients surchargées.

Du côté des patients, l’IA générative a le potentiel d’améliorer les services des centres d’appels des prestataires de soins de santé. L'automatisation de l'IA a le pouvoir de répondre à un large éventail de demandes via divers canaux de contact, notamment les FAQ, les problèmes informatiques, les recharges de produits pharmaceutiques et les références médicales. Mis à part la frustration liée à l'attente, seul environ la moitié des patients américains résolvent avec succès leurs problèmes dès le premier appel, ce qui entraîne des taux d'abandon élevés et un accès réduit aux soins. La faible satisfaction des clients qui en résulte crée une pression supplémentaire pour que l’industrie agisse.

Pour que l’industrie puisse réellement bénéficier de la mise en œuvre de l’IA générative, les prestataires de soins de santé doivent faciliter la restructuration intentionnelle des données auxquelles leurs LLM ont accès.