Qualsiasi Agente AI Può Parlare. Pochi Possono Essere Degni di Fiducia

La necessità di agenti AI nel settore sanitario è urgente. In tutta l’industria, team sovraccarichi sono sommersi da compiti che richiedono molto tempo e rallentano l’assistenza ai pazienti. I clinici sono sottoposti a una pressione eccessiva, i call center dei pagatori sono sopraffatti e i pazienti sono costretti ad aspettare risposte alle loro preoccupazioni immediate.

Gli agenti AI possono aiutare colmando lacune profonde, estendendo la portata e la disponibilità del personale clinico e amministrativo e riducendo il burnout del personale sanitario e dei pazienti allo stesso tempo. Ma prima di poter fare ciò, abbiamo bisogno di una solida base per costruire la fiducia negli agenti AI. Quella fiducia non deriverà da un tono di voce caldo o da una fluidità conversazionale. Deriverà dall’ingegneria.

Anche se l’interesse per gli agenti AI sta schizzando alle stelle e i titoli dei giornali strombazzano la promessa dell’AI agente, i leader del settore sanitario – responsabili nei confronti dei loro pazienti e delle loro comunità – restano esitanti a distribuire questa tecnologia su larga scala. Le startup stanno decantando le capacità agente che vanno dall’automatizzazione di compiti banali come la pianificazione degli appuntamenti alla comunicazione e alla cura dei pazienti ad alto livello di interazione. Eppure, la maggior parte di loro non ha ancora dimostrato che queste interazioni sono sicure.

Molti di loro non lo faranno mai.

La realtà è che chiunque possa creare un agente vocale alimentato da un modello linguistico di grandi dimensioni (LLM), dargli un tono compassionevole e scrivere una conversazione che suoni convincente. Ci sono molte piattaforme come questa che stanno vendendo i loro agenti in ogni settore. I loro agenti potrebbero sembrare e suonare diversi, ma tutti si comportano allo stesso modo – propensi a hallucinazioni, incapaci di verificare fatti critici e privi di meccanismi che garantiscano la responsabilità.

Questo approccio – costruire un involucro spesso troppo sottile intorno a un modello LLM fondamentale – potrebbe funzionare in settori come il retail o l’ospitalità, ma fallirà nel settore sanitario. I modelli fondamentali sono strumenti straordinari, ma sono in gran parte general-purpose; non sono stati addestrati specificamente su protocolli clinici, politiche dei pagatori o standard normativi. Anche gli agenti più eloquenti costruiti su questi modelli possono deviare verso un territorio allucinatorio, rispondendo a domande che non dovrebbero, inventando fatti o non riuscendo a riconoscere quando è necessario coinvolgere un essere umano.

Le conseguenze di questi comportamenti non sono teoriche. Possono confondere i pazienti, interferire con le cure e risultare in un costoso lavoro di riorganizzazione umana. Questo non è un problema di intelligenza. È un problema di infrastruttura.

Per operare in modo sicuro, efficace e affidabile nel settore sanitario, gli agenti AI devono essere più di semplici voci autonome all’altro capo del telefono. Devono essere gestiti da sistemi progettati specificamente per il controllo, il contesto e la responsabilità. Dalla mia esperienza nella costruzione di questi sistemi, ecco come funziona nella pratica.

Il controllo della risposta può rendere le allucinazioni inesistenti

Gli agenti AI nel settore sanitario non possono semplicemente generare risposte plausibili. Devono fornire le risposte corrette, ogni volta. Ciò richiede uno “spazio di azione” controllabile – un meccanismo che consente all’AI di comprendere e facilitare la conversazione naturale, ma assicura che ogni possibile risposta sia limitata da una logica predefinita e approvata.

Con i parametri di controllo della risposta integrati, gli agenti possono fare riferimento solo a protocolli verificati, procedure operative predefinite e standard normativi. La creatività del modello viene sfruttata per guidare le interazioni piuttosto che improvvisare fatti. È così che i leader del settore sanitario possono assicurarsi che il rischio di allucinazione sia eliminato completamente – non attraverso test in un progetto pilota o in un singolo gruppo di discussione, ma progettando il rischio fin dalle fondamenta.

Grafici di conoscenza specializzati possono garantire scambi affidabili

Il contesto di ogni conversazione sanitaria è profondamente personale. Due persone con diabete di tipo 2 potrebbero vivere nello stesso quartiere e avere lo stesso profilo di rischio. La loro idoneità per un farmaco specifico varierà in base alla loro storia medica, alla linea guida di trattamento del loro medico, al loro piano assicurativo e alle regole del formulary.

Gli agenti AI non hanno solo bisogno di accedere a questo contesto, ma devono anche essere in grado di ragionare con esso in tempo reale. Un grafico di conoscenza specializzato fornisce questa capacità. È un modo strutturato di rappresentare le informazioni da più fonti attendibili che consente agli agenti di verificare ciò che sentono e assicurarsi che le informazioni che forniscono siano accurate e personalizzate. Gli agenti senza questo livello potrebbero sembrare informati, ma stanno solo seguendo rigidi flussi di lavoro e compilando i vuoti.

Sistemi di revisione robusti possono valutare l’accuratezza

Un paziente potrebbe riagganciare con un agente AI e sentirsi soddisfatto, ma il lavoro per l’agente è lontano dall’essere finito. Le organizzazioni sanitarie hanno bisogno della garanzia che l’agente non solo abbia prodotto informazioni corrette, ma abbia anche compreso e documentato l’interazione. È qui che entrano in gioco i sistemi di post-elaborazione automatizzati.

Un sistema di revisione robusto dovrebbe valutare ogni conversazione con lo stesso livello di attenzione che un supervisore umano con tutto il tempo del mondo porterebbe. Dovrebbe essere in grado di identificare se la risposta è stata accurata, assicurarsi che le informazioni corrette siano state catturate e determinare se è necessario un follow-up. Se qualcosa non va, l’agente dovrebbe essere in grado di escalare a un essere umano, ma se tutto va bene, il compito può essere spuntato dalla lista delle cose da fare con fiducia.

Oltre a questi tre elementi fondamentali necessari per progettare la fiducia, ogni infrastruttura AI agente ha bisogno di un solido quadro di sicurezza e conformità che protegga i dati dei pazienti e assicuri che gli agenti operino all’interno dei limiti regolamentati. Quel quadro dovrebbe includere una rigorosa aderenza agli standard comuni del settore come SOC 2 e HIPAA, ma dovrebbe anche avere processi integrati per il test della bias, la redazione delle informazioni sanitarie protette e la conservazione dei dati.

Queste salvaguardie di sicurezza non servono solo a controllare le caselle di conformità. Formano la spina dorsale di un sistema affidabile che può assicurare che ogni interazione sia gestita a un livello che i pazienti e i fornitori si aspettano.

Il settore sanitario non ha bisogno di altre iperboli sull’AI. Ha bisogno di un’infrastruttura AI affidabile. Nel caso dell’AI agente, la fiducia non sarà guadagnata tanto quanto sarà progettata.