In uno studio della Stony Brook, i medici hanno preferito i riepiloghi di dimissione generati dall’IA nel 95% dei casi

In uno studio della Stony Brook University, i medici che hanno valutato i documenti hanno preferito i riepiloghi di dimissione generati dall’IA rispetto a quelli redatti da esseri umani nel 95% dei ricoveri esaminati. L’analisi retrospettiva si è concentrata su 60 ricoveri in Medicina Interna, della durata compresa tra sette e 21 giorni, nei quali la durata prolungata delle cure e l’ampio volume di note cliniche rendono particolarmente impegnativo il passaggio all’assistenza ambulatoriale.

I risultati, pubblicati su npj Digital Medicine, suggeriscono che i modelli linguistici di grandi dimensioni potrebbero aiutare i medici a produrre documenti di dimissione più completi e utilizzabili. Mostrano anche perché la verifica da parte di una persona resti essenziale: sia i riepiloghi generati dall’IA sia quelli redatti da esseri umani contenevano errori, e valutazioni più alte non dimostrano esiti migliori per i pazienti.

Perché i riepiloghi di dimissione sono un compito difficile per l’IA

Un riepilogo di dimissione collega le cure prestate in ospedale ai medici responsabili dell’assistenza successiva. Deve spiegare il motivo del ricovero, il decorso delle cure, le modifiche ai farmaci, i problemi ancora irrisolti e il piano di follow-up. Per un medico di medicina generale, una spiegazione mancante o un passaggio successivo poco chiaro possono rendere necessario ricostruire il ricovero consultando una documentazione molto più ampia.

I ricoveri più lunghi aggravano il problema. Le informazioni si accumulano nelle note sull’andamento clinico, nei consulti, nei referti di diagnostica per immagini e in altra documentazione, spesso con ripetizioni e modifiche al piano terapeutico. Un riepilogo utile deve conservare il quadro clinico finale e, al tempo stesso, spiegare come si sono evolute le decisioni.

L’approccio della Stony Brook è stato progettato insieme ai medici, tenendo conto delle informazioni di cui hanno bisogno i professionisti che ricevono il paziente. L’università afferma che il sistema organizzava le cartelle dei pazienti in bozze di riepilogo di dimissione nel giro di pochi minuti. Questo dato riguarda il tempo necessario per generare il documento; l’effetto sul tempo complessivo che i medici dedicano alla documentazione e alla verifica deve ancora essere valutato nella pratica clinica.

Gli aspetti valutati più positivamente dai medici

Lo studio ha affiancato le valutazioni di medici ospedalieri e medici di medicina generale. I valutatori hanno assegnato ai riepiloghi generati dall’IA punteggi più alti per qualità complessiva, leggibilità e concisione, accuratezza fattuale e completezza. Hanno inoltre individuato meno dettagli clinici mancanti.

Sulla scala di valutazione a cinque punti utilizzata, i riepiloghi generati dall’IA hanno ottenuto una media di 4,71 per la qualità complessiva, contro 3,16 per quelli redatti da esseri umani. La media per l’accuratezza fattuale è stata di 4,62 contro 3,73, mentre quella per la completezza è stata di 4,69 contro 3,42. Si tratta di valutazioni espresse dai medici, non di percentuali di affermazioni la cui correttezza sia stata dimostrata.

Il grafico riporta 120 valutazioni per ciascun tipo di riepilogo per le misure combinate relative ai medici ospedalieri e ai medici di medicina generale, e 60 per ciascun tipo per le domande specifiche rivolte ai medici di medicina generale. Questi ultimi hanno valutato più positivamente i riepiloghi generati dall’IA per la comprensione del ricovero, la possibilità di spiegarlo ai pazienti e ai caregiver e il supporto all’assistenza successiva.

Queste differenze sono importanti perché chi redige un riepilogo di dimissione e chi deve agire sulla base delle sue indicazioni hanno prospettive diverse. Un documento può descrivere in modo esauriente gli eventi del ricovero e lasciare comunque il medico che riceve il paziente incerto sulle questioni ancora in sospeso o sulle ragioni di una modifica farmacologica.

Come la pipeline di riepilogo gestisce le cartelle lunghe

La pubblicazione del codice sorgente da parte dei ricercatori offre ulteriori informazioni sulla tecnologia. La pipeline esportata di LangChain/LangGraph raggruppa le note in ordine cronologico, crea un riepilogo strutturato e perfeziona la bozza man mano che elabora ulteriori blocchi di testo. Una fase separata estrae i reperti incidentali dalle note contrassegnate prima che venga formattata la narrazione finale.

Questo approccio per fasi risponde a un limite pratico dei modelli linguistici: una lunga cartella clinica può superare la quantità di testo che un modello è in grado di elaborare in un solo passaggio. Mantenere e aggiornare una bozza strutturata consente alle parti successive della cartella di contribuire al risultato.

L’esportazione pubblica registra anche gli identificativi delle fonti e genera metadati delle citazioni insieme ai risultati strutturati e narrativi. Include dati dimostrativi sintetici, mentre il repository mette a disposizione, per l’analisi, i risultati delle valutazioni e delle annotazioni degli errori privi di identificativi personali. Ciò consente di esaminare il flusso di lavoro senza rendere pubbliche le cartelle cliniche originali dei pazienti.

Meno omissioni non eliminano il rischio clinico

Secondo quanto riportato nell’abstract pubblicato, il minor numero di inesattezze o omissioni annotate è dovuto principalmente a un numero inferiore di omissioni. L’abstract non rileva differenze statisticamente significative tra i due tipi di riepilogo nelle stime dei valutatori riguardo alla gravità o alla probabilità dei danni legati agli errori.

Questo risultato non dimostra che i due approcci abbiano lo stesso livello di sicurezza, né che una bozza generata dall’IA sia pronta per essere inserita nella cartella di un paziente senza una revisione. La valutazione riguardava i documenti e i giudizi dei medici; non ha dimostrato una riduzione dei ricoveri ripetuti, dei danni correlati ai farmaci o di altri esiti per i pazienti.

Gli autori sottolineano che i medici devono verificare il documento prima di utilizzarlo. Le istruzioni sui farmaci, le questioni mediche ancora irrisolte e le raccomandazioni per il follow-up sono aspetti centrali della sua funzione e restano punti in cui un errore o un’omissione possono avere conseguenze.

Cosa serve prima dell’uso clinico nella pratica quotidiana

«Questi risultati dimostrano che l’intelligenza artificiale può supportare la redazione della documentazione di dimissione per ricoveri ospedalieri complessi», ha dichiarato Rachel Wong, MD, coautrice corrispondente e professoressa associata di medicina clinica a Stony Brook, nell’annuncio dell’università.

Il coautore corrispondente Fusheng Wang, PhD, ha affermato che le prossime fasi della ricerca includono la valutazione dell’accuratezza, della sicurezza, del tempo effettivamente risparmiato dai medici e dell’integrazione nei flussi di lavoro clinici. L’università riferisce che si sta valutando un progetto pilota nella pratica quotidiana di Stony Brook Medicine.

Guidato da Tyler Osborne, dottorando in informatica, il progetto interdisciplinare riunisce medici, informatici, specialisti in informatica biomedica ed esperti di comunicazione. Lo studio fornisce risultati incoraggianti sull’impiego di bozze di riepiloghi di dimissione complessi redatte con la supervisione dei medici. Per stabilire se questo approccio possa tradursi in un uso quotidiano affidabile, è necessario valutare il processo di revisione insieme al testo generato.