Dans une étude menée à Stony Brook, les médecins ont préféré les résumés de sortie générés par l’IA dans 95% des cas

Dans une étude de Stony Brook University, les médecins chargés de l’évaluation ont préféré les résumés de sortie générés par l’IA à ceux rédigés par des humains dans 95 % des hospitalisations étudiées. Cette analyse rétrospective portait sur 60 hospitalisations en médecine interne d’une durée de 7 à 21 jours, où la prolongation des traitements et le volume important de notes cliniques rendent particulièrement délicate la transmission des soins aux équipes ambulatoires.

Les résultats, publiés dans npj Digital Medicine, suggèrent que les grands modèles de langage pourraient aider les cliniciens à produire des documents de sortie plus complets et plus faciles à utiliser. Ils montrent aussi pourquoi la vérification humaine reste essentielle : les résumés générés par l’IA comme ceux rédigés par des humains contenaient des erreurs, et les notes plus élevées ne prouvent pas que les résultats pour les patients sont meilleurs.

Pourquoi les résumés de sortie sont une tâche difficile pour l’IA

Un résumé de sortie fait le lien entre les soins prodigués à l’hôpital et les cliniciens responsables de la suite de la prise en charge. Il doit expliquer le motif de l’admission, le déroulement du traitement, les changements de médicaments, les problèmes non résolus et le plan de suivi. Pour un médecin de premier recours, une explication manquante ou une prochaine étape imprécise peut l’obliger à reconstituer l’hospitalisation à partir d’un dossier beaucoup plus volumineux.

Les séjours plus longs accentuent ce problème. Les informations s’accumulent dans les notes d’évolution, les comptes rendus de consultation, les rapports d’imagerie et d’autres documents, souvent répétitifs et marqués par des changements dans le plan de traitement. Un résumé utile doit restituer la situation clinique au terme du séjour tout en expliquant l’évolution des décisions.

L’approche de Stony Brook a été conçue avec des cliniciens, en tenant compte des informations dont les médecins qui prennent le relais ont besoin. Selon l’université, le système organisait les dossiers des patients en projets de résumés de sortie en quelques minutes. Cela décrit le temps de génération ; l’effet sur le temps total que les médecins consacrent à la documentation et à la vérification doit encore être évalué en pratique clinique.

Les aspects auxquels les médecins ont attribué de meilleures notes

L’étude a associé les évaluations de médecins hospitaliers et de médecins de premier recours. Les évaluateurs ont attribué aux résumés générés par l’IA de meilleures notes pour la qualité globale, la lisibilité et la concision, l’exactitude factuelle et l’exhaustivité. Ils ont également relevé moins de détails cliniques manquants.

Sur l’échelle de notation à cinq points utilisée, les résumés générés par l’IA ont obtenu une moyenne de 4,71 pour la qualité globale, contre 3,16 pour les résumés rédigés par des humains. La moyenne pour l’exactitude factuelle était de 4,62 contre 3,73, tandis que celle pour l’exhaustivité était de 4,69 contre 3,42. Il s’agit de notes attribuées par des médecins, et non du pourcentage d’affirmations dont l’exactitude a été prouvée.

Le graphique indique 120 évaluations par type de résumé pour les mesures combinées concernant les médecins hospitaliers et les médecins de premier recours, et 60 par type pour les questions propres aux médecins de premier recours. Ces derniers ont mieux noté les résumés générés par l’IA pour la compréhension de l’hospitalisation, les explications à fournir aux patients et à leurs proches, ainsi que l’accompagnement du suivi.

Ces différences sont importantes, car la personne qui rédige un résumé de sortie et celle qui s’appuie sur ce document n’ont pas le même point de vue. Un document peut relater en détail les événements survenus pendant l’hospitalisation tout en laissant le médecin qui prend le relais dans le doute quant aux problèmes en suspens ou aux raisons d’un changement de médicament.

Comment le processus de synthèse traite les dossiers volumineux

La mise à disposition publique du code source par les chercheurs apporte des précisions sur la technologie. Le pipeline exporté de LangChain/LangGraph classe les notes par ordre chronologique, construit un résumé structuré et affine ce projet à mesure qu’il traite des blocs supplémentaires. Une étape distincte extrait les constatations fortuites des notes signalées avant la mise en forme du récit final.

Cette approche par étapes répond à une contrainte pratique des modèles de langage : un dossier clinique volumineux peut dépasser la quantité de texte qu’un modèle peut traiter en une seule fois. Le fait de conserver un projet structuré permet aux différentes parties du dossier, traitées successivement, de contribuer au résultat.

L’export public consigne également les identifiants des sources et génère des métadonnées de citation avec les résultats structurés et narratifs. Il comprend des données de démonstration synthétiques, tandis que le dépôt fournit, à des fins d’analyse, des résultats d’évaluation désidentifiés et des annotations d’erreurs. Cela permet d’examiner le processus sans rendre publics les dossiers originaux des patients.

Moins d’omissions ne supprime pas les risques cliniques

Selon le résumé publié, la diminution du nombre d’inexactitudes ou d’omissions annotées s’explique principalement par une baisse des omissions. Il ne fait état d’aucune différence statistiquement significative entre les deux types de résumés dans les estimations des évaluateurs concernant la gravité ou la probabilité des préjudices liés aux erreurs.

Ce résultat ne démontre ni que les deux approches présentent un niveau de sécurité identique, ni qu’un projet de résumé généré par l’IA peut être versé au dossier d’un patient sans vérification. L’évaluation portait sur des documents et sur l’appréciation de médecins ; elle n’a pas démontré de réduction des réhospitalisations, des préjudices liés aux médicaments ou d’autres effets sur les patients.

Les auteurs insistent sur la nécessité d’une vérification par un médecin avant toute utilisation. Les consignes relatives aux médicaments, les problèmes médicaux non résolus et les recommandations de suivi sont au cœur de l’objectif du document et constituent des éléments déterminants où une erreur ou une omission pourrait avoir des conséquences.

Que faut-il avant une utilisation clinique courante ?

« Ces résultats montrent que l’intelligence artificielle peut contribuer à la rédaction des documents de sortie après des hospitalisations complexes », a déclaré Rachel Wong, M.D., coauteure correspondante et professeure agrégée de clinique à Stony Brook, dans le communiqué de l’université.

Le coauteur correspondant Fusheng Wang, Ph. D., a indiqué que les prochaines étapes de la recherche consisteraient à évaluer la précision, la sécurité, le gain de temps réel pour les médecins et l’intégration dans les flux de travail cliniques. L’université indique qu’un projet pilote dans la pratique quotidienne de Stony Brook Medicine est à l’étude.

Dirigé par Tyler Osborne, doctorant en informatique, ce projet interdisciplinaire réunit des médecins, des informaticiens, des spécialistes de l’informatique biomédicale et des experts en communication. L’étude apporte des éléments encourageants en faveur de la rédaction de résumés de sortie complexes sous la supervision de cliniciens. Pour déterminer si cette approche peut se traduire par une utilisation quotidienne fiable, il faut évaluer le processus de vérification en parallèle du texte généré.