N'importe quel agent IA peut parler. Rares sont ceux qui sont dignes de confiance.

Le besoin d'agents d'IA dans le secteur de la santé est urgent. Dans l'ensemble du secteur, les équipes, surchargées de travail, sont submergées de tâches chronophages qui retardent la prise en charge des patients. Les cliniciens sont débordés, les centres d'appels des organismes payeurs sont débordés et les patients attendent des réponses à leurs préoccupations immédiates.

Agents d'IA L'IA peut contribuer à combler de profondes lacunes, à élargir la portée et la disponibilité du personnel clinique et administratif et à réduire l'épuisement professionnel du personnel de santé et des patients. Mais avant cela, nous devons établir une base solide pour instaurer la confiance dans les agents d'IA. Cette confiance ne viendra pas d'un ton chaleureux ou d'une aisance conversationnelle. Elle viendra de l'ingénierie.

Alors que l'intérêt pour les agents IA explose et que les gros titres vantent les promesses de l'IA agentique, les responsables du secteur de la santé, responsables envers leurs patients et leurs communautés, hésitent encore à déployer cette technologie à grande échelle. Les startups vantent les capacités agentiques, allant de l'automatisation de tâches banales comme la prise de rendez-vous à la communication et aux soins personnalisés avec les patients. Pourtant, la plupart d'entre elles n'ont pas encore prouvé la sécurité de ces interactions.

Beaucoup d’entre eux ne le feront jamais.

La réalité est que n'importe qui peut créer un agent vocal Alimenté par un modèle de langage étendu (LLM), adoptez un ton bienveillant et écrivez une conversation convaincante. De nombreuses plateformes comme celle-ci proposent leurs services dans tous les secteurs. Leurs agents peuvent avoir une apparence et une voix différentes, mais ils se comportent tous de la même manière : sujets aux hallucinations, incapables de vérifier les faits essentiels et dépourvus de mécanismes garantissant la responsabilité.

Cette approche – construire un cadre souvent trop mince autour d'un LLM fondamental – pourrait fonctionner dans des secteurs comme la vente au détail ou l'hôtellerie, mais échouera dans le secteur de la santé. Les modèles fondamentaux sont des outils extraordinaires, mais ils sont largement polyvalents ; ils n'ont pas été spécifiquement conçus pour les protocoles cliniques, les politiques des organismes payeurs ou les normes réglementaires. Même les agents les plus éloquents, construits sur ces modèles, peuvent sombrer dans l'illusion, répondant à des questions qu'ils ne devraient pas, inventant des faits ou ne parvenant pas à reconnaître la nécessité d'impliquer un humain.

Les conséquences de ces comportements ne sont pas théoriques. Ils peuvent perturber les patients, perturber les soins et entraîner des réinterventions humaines coûteuses. Il ne s'agit pas d'un problème d'intelligence, mais d'un problème d'infrastructure.

Pour fonctionner de manière sûre, efficace et fiable dans le secteur de la santé, les agents d'IA doivent être plus que de simples voix autonomes au bout du fil. Ils doivent être pilotés par des systèmes conçus spécifiquement pour le contrôle, le contexte et la responsabilisation. D'après mon expérience dans la conception de ces systèmes, voici à quoi cela ressemble en pratique.

Le contrôle de la réponse peut rendre les hallucinations inexistantes

Les agents d'IA dans le secteur de la santé ne peuvent pas se contenter de générer des réponses plausibles. Ils doivent fournir les bonnes réponses, à chaque fois. Cela nécessite un « espace d'action » contrôlable – un mécanisme qui permet à l'IA de comprendre et de faciliter une conversation naturelle, tout en garantissant que chaque réponse possible est encadrée par une logique prédéfinie et approuvée.

Grâce aux paramètres de contrôle des réponses intégrés, les agents ne peuvent se référer qu'à des protocoles vérifiés, des procédures opérationnelles prédéfinies et des normes réglementaires. La créativité du modèle est exploitée pour guider les interactions plutôt que d'improviser des faits. C'est ainsi que les responsables de la santé peuvent garantir le risque de hallucination est entièrement éliminé – non pas en effectuant des tests dans le cadre d’un projet pilote ou d’un groupe de discussion unique, mais en concevant le risque dès le départ.

Les graphes de connaissances spécialisés peuvent garantir des échanges de confiance

Le contexte de chaque conversation sur les soins de santé est profondément personnel. Deux personnes atteintes de diabète de type 2 peuvent vivre dans le même quartier et présenter le même profil de risque. Leur admissibilité à un médicament spécifique variera en fonction de leurs antécédents médicaux, des recommandations de leur médecin, de leur régime d'assurance et des modalités de leur formulaire.

Les agents d'IA doivent non seulement avoir accès à ce contexte, mais aussi être capables de raisonner avec lui en temps réel. graphe de connaissance offre cette capacité. Il s'agit d'une méthode structurée de représentation d'informations provenant de multiples sources fiables, permettant aux agents de valider ce qu'ils entendent et de garantir l'exactitude et la personnalisation des informations qu'ils fournissent. Les agents dépourvus de cette couche peuvent paraître informés, mais ils se contentent en réalité de suivre des processus stricts et de compléter les informations manquantes.

Des systèmes d'évaluation robustes peuvent évaluer l'exactitude

Un patient peut raccrocher avec un agent d'IA et se sentir satisfait, mais le travail de l'agent est loin d'être terminé. Les établissements de santé doivent s'assurer que l'agent a non seulement fourni des informations correctes, mais qu'il a également compris et documenté l'interaction. C'est là qu'interviennent les systèmes de post-traitement automatisés.

Un système d'évaluation robuste doit évaluer chaque conversation avec la même rigueur qu'un superviseur humain, disposant de tout son temps. Il doit être capable de déterminer si la réponse est exacte, de garantir que les informations pertinentes ont été recueillies et de déterminer si un suivi est nécessaire. En cas d'anomalie, l'agent doit pouvoir faire remonter l'incident à un humain, mais si tout est conforme, la tâche peut être cochée en toute confiance.

Au-delà de ces trois éléments fondamentaux nécessaires à l'instauration de la confiance, toute infrastructure d'IA agentique nécessite un cadre de sécurité et de conformité robuste qui protège les données des patients et garantit que les agents opèrent dans le respect des réglementations. Ce cadre doit inclure le strict respect des normes sectorielles courantes telles que SOC 2 et HIPAA, mais également intégrer des processus de test de biais, de suppression des informations de santé protégées et de conservation des données.

Ces mesures de sécurité ne se limitent pas à vérifier la conformité. Elles constituent l'épine dorsale d'un système fiable garantissant que chaque interaction est gérée au niveau attendu par les patients et les prestataires.

Le secteur de la santé n'a pas besoin de plus de battage médiatique autour de l'IA. Il a besoin d'une infrastructure d'IA fiable. Dans le cas de l'IA agentique, la confiance ne se gagne pas tant qu'elle s'instaure.