Tout agent IA peut parler. Peu peuvent être dignes de confiance

Le besoin d’agents IA dans les soins de santé est urgent. Dans l’ensemble de l’industrie, les équipes surmenées sont submergées de tâches chronophages qui retardent les soins aux patients. Les cliniciens sont étirés à l’extrême, les centres d’appel des payeurs sont débordés et les patients sont laissés dans l’attente de réponses à leurs préoccupations immédiates.

Les agents IA peuvent aider en comblant des lacunes profondes, en étendant la portée et la disponibilité du personnel clinique et administratif et en réduisant l’épuisement du personnel de santé et des patients. Mais avant de pouvoir le faire, nous avons besoin d’une base solide pour établir la confiance dans les agents IA. Cette confiance ne viendra pas d’un ton de voix chaleureux ou d’une fluidité conversationnelle. Elle vient de l’ingénierie.

Même si l’intérêt pour les agents IA explose et les manchettes annoncent la promesse de l’IA agente, les dirigeants de la santé – responsables envers leurs patients et leurs communautés – restent hésitants à déployer cette technologie à grande échelle. Les startups vantent des capacités agentes allant de l’automatisation de tâches fastidieuses comme la planification des rendez-vous à la communication et aux soins de patients de haute qualité. Pourtant, la plupart n’ont pas encore prouvé que ces interactions sont sûres.

Beaucoup d’entre eux ne le feront jamais.

La réalité est que n’importe qui peut créer un agent vocal alimenté par un grand modèle de langage (LLM), lui donner un ton compassionnel et écrire un scénario de conversation qui sonne convaincant. Il y a de nombreuses plates-formes comme celle-ci qui vantent leurs agents dans toutes les industries. Leurs agents peuvent avoir l’air et le son différents, mais tous se comportent de la même manière – enclins aux hallucinations, incapables de vérifier des faits critiques et dépourvus de mécanismes qui assurent la responsabilité.

Cette approche – construire un habillage souvent trop mince autour d’un LLM fondamental – peut fonctionner dans des industries comme la vente au détail ou l’hôtellerie, mais échouera dans les soins de santé. Les modèles fondamentaux sont des outils extraordinaires, mais ils sont en grande partie à usage général ; ils n’ont pas été formés spécifiquement sur les protocoles cliniques, les politiques des payeurs ou les normes réglementaires. Même les agents les plus éloquents construits sur ces modèles peuvent dériver vers un territoire hallucinatoire, répondre à des questions qu’ils ne devraient pas, inventer des faits ou ne pas reconnaître quand un humain doit être mis dans la boucle.

Les conséquences de ces comportements ne sont pas théoriques. Ils peuvent confondre les patients, interférer avec les soins et entraîner un coûteux réexamen humain. Ce n’est pas un problème d’intelligence. C’est un problème d’infrastructure.

Pour fonctionner de manière sûre, efficace et fiable dans les soins de santé, les agents IA doivent être plus que de simples voix autonomes à l’autre bout du téléphone. Ils doivent être exploités par des systèmes conçus spécifiquement pour le contrôle, le contexte et la responsabilité. À partir de mon expérience dans la construction de ces systèmes, voici à quoi cela ressemble dans la pratique.

Le contrôle de la réponse peut rendre les hallucinations inexistantes

Les agents IA dans les soins de santé ne peuvent pas simplement générer des réponses plausibles. Ils doivent fournir les bonnes réponses, chaque fois. Cela nécessite un « espace d’action » contrôlable – un mécanisme qui permet à l’IA de comprendre et de faciliter la conversation naturelle, mais qui garantit que chaque réponse possible est délimitée par une logique approuvée préalablement.

Avec des paramètres de contrôle de réponse intégrés, les agents ne peuvent référencer que des protocoles vérifiés, des procédures opérationnelles prédéfinies et des normes réglementaires. La créativité du modèle est exploitée pour guider les interactions plutôt que pour improviser des faits. C’est ainsi que les dirigeants de la santé peuvent garantir que le risque de hallucination est éliminé entièrement – non pas en testant dans un pilote ou un seul groupe de discussion, mais en concevant le risque dès le départ.

Les graphiques de connaissances spécialisés peuvent assurer des échanges de confiance

Le contexte de chaque conversation de soins de santé est profondément personnel. Deux personnes atteintes de diabète de type 2 peuvent vivre dans le même quartier et correspondre au même profil de risque. Leur admissibilité à un médicament spécifique variera en fonction de leur historique médical, de la ligne directrice de traitement de leur médecin, de leur plan d’assurance et des règles de formule.

Les agents IA ont non seulement besoin d’accéder à ce contexte, mais ils doivent également être capables de raisonner avec en temps réel. Un graphique de connaissances spécialisé offre cette capacité. Il s’agit d’une représentation structurée de l’information à partir de multiples sources fiables qui permet aux agents de valider ce qu’ils entendent et de garantir que les informations qu’ils fournissent sont à la fois exactes et personnalisées. Les agents sans cette couche peuvent avoir l’air informés, mais ils suivent réellement des flux de travail rigides et remplissent les blancs.

Les systèmes de révision robustes peuvent évaluer l’exactitude

Un patient peut raccrocher avec un agent IA et se sentir satisfait, mais le travail de l’agent est loin d’être terminé. Les organisations de soins de santé ont besoin de l’assurance que l’agent a non seulement produit des informations correctes, mais a également compris et documenté l’interaction. C’est là que les systèmes de post-traitement automatisés entrent en jeu.

Un système de révision robuste devrait évaluer chaque conversation avec le même niveau de scrutation que celui qu’un superviseur humain avec tout le temps du monde apporterait. Il devrait être capable d’identifier si la réponse était exacte, de garantir que les bonnes informations ont été saisies et de déterminer si un suivi est nécessaire. Si quelque chose ne va pas, l’agent devrait être capable de faire appel à un humain, mais si tout est en ordre, la tâche peut être cochée avec confiance.

Au-delà de ces trois éléments fondamentaux nécessaires pour établir la confiance, chaque infrastructure d’IA agente a besoin d’un cadre de sécurité et de conformité robuste qui protège les données des patients et garantit que les agents fonctionnent dans les limites réglementées. Ce cadre devrait inclure une stricte adhésion aux normes industrielles courantes comme SOC 2 et HIPAA, mais devrait également avoir des processus intégrés pour les tests de biais, la suppression des informations de santé protégées et la conservation des données.

Ces garanties de sécurité ne remplissent pas seulement les cases de conformité. Ils forment la colonne vertébrale d’un système digne de confiance qui peut garantir que chaque interaction est gérée à un niveau que les patients et les prestataires attendent.

L’industrie des soins de santé n’a pas besoin de plus d’hypothèses sur l’IA. Elle a besoin d’une infrastructure d’IA fiable. Dans le cas de l’IA agente, la confiance ne sera pas gagnée autant qu’elle sera conçue.