Qualsiasi agente di intelligenza artificiale può parlare. Pochi sono affidabili.

La necessità di agenti di intelligenza artificiale nel settore sanitario è urgente. In tutto il settore, i team sovraccarichi di lavoro sono sommersi da attività che richiedono molto tempo e che rallentano l'assistenza ai pazienti. I medici sono sotto pressione, i call center degli enti pagatori sono sovraccarichi e i pazienti sono lasciati in attesa di risposte a preoccupazioni immediate.

Agenti AI può contribuire a colmare profonde lacune, ampliando la portata e la disponibilità del personale clinico e amministrativo e riducendo il burnout sia del personale sanitario che dei pazienti. Ma prima di poterlo fare, abbiamo bisogno di una solida base per costruire la fiducia negli agenti di intelligenza artificiale. Questa fiducia non deriva da un tono di voce cordiale o dalla fluidità della conversazione. Deriva dall'ingegneria.

Nonostante l'interesse per gli agenti di intelligenza artificiale sia alle stelle e i titoli dei giornali strombazzino la promessa dell'intelligenza artificiale agentica, i leader del settore sanitario – responsabili nei confronti dei pazienti e delle comunità – rimangono esitanti a implementare questa tecnologia su larga scala. Le startup stanno promuovendo capacità agentiche che spaziano dall'automazione di attività banali come la pianificazione degli appuntamenti alla comunicazione e all'assistenza con i pazienti ad alto contatto. Eppure, la maggior parte deve ancora dimostrare che queste interazioni siano sicure.

Molti di loro non lo faranno mai.

La realtà è che chiunque può creare un agente vocale Basatevi su un modello linguistico di grandi dimensioni (LLM), attribuitegli un tono compassionevole e strutturate una conversazione che suoni convincente. Esistono numerose piattaforme come questa che promuovono i loro agenti in ogni settore. I loro agenti potrebbero avere un aspetto e un tono di voce diversi, ma si comportano tutti allo stesso modo: inclini alle allucinazioni, incapaci di verificare fatti critici e privi di meccanismi che garantiscano la responsabilità.

Questo approccio – costruire un involucro spesso troppo sottile attorno a un LLM fondazionale – potrebbe funzionare in settori come il commercio al dettaglio o l'ospitalità, ma fallirà nel settore sanitario. I modelli fondazionali sono strumenti straordinari, ma sono in gran parte di uso generale; non sono stati formati specificamente su protocolli clinici, politiche dei pagatori o standard normativi. Persino gli agenti più eloquenti costruiti su questi modelli possono scivolare in territorio allucinatorio, rispondendo a domande a cui non dovrebbero rispondere, inventando fatti o non riuscendo a riconoscere quando è necessario coinvolgere un essere umano.

Le conseguenze di questi comportamenti non sono teoriche. Possono confondere i pazienti, interferire con le cure e comportare costose rielaborazioni umane. Non si tratta di un problema di intelligence. È un problema di infrastrutture.

Per operare in modo sicuro, efficace e affidabile nel settore sanitario, gli agenti di intelligenza artificiale devono essere più di semplici voci autonome all'altro capo del telefono. Devono essere gestiti da sistemi progettati specificamente per il controllo, il contesto e la responsabilità. Dalla mia esperienza nella creazione di questi sistemi, ecco come si traduce in pratica.

Il controllo della risposta può rendere inesistenti le allucinazioni

Gli agenti di intelligenza artificiale in ambito sanitario non possono semplicemente generare risposte plausibili. Devono fornire quelle corrette, ogni volta. Ciò richiede uno "spazio d'azione" controllabile: un meccanismo che consenta all'IA di comprendere e facilitare la conversazione naturale, ma che garantisca che ogni possibile risposta sia vincolata a una logica predefinita e approvata.

Grazie ai parametri di controllo della risposta integrati, gli agenti possono fare riferimento solo a protocolli verificati, procedure operative predefinite e standard normativi. La creatività del modello viene sfruttata per guidare le interazioni, anziché improvvisare. Ecco come i leader del settore sanitario possono garantire il rischio di allucinazione viene eliminato del tutto, non testando su un progetto pilota o su un singolo focus group, ma progettando il rischio fin dall'inizio.

I grafici di conoscenza specializzati possono garantire scambi affidabili

Il contesto di ogni conversazione sanitaria è profondamente personale. Due persone con diabete di tipo 2 potrebbero vivere nello stesso quartiere e rientrare nello stesso profilo di rischio. La loro idoneità a un farmaco specifico varierà in base alla loro storia clinica, alle linee guida terapeutiche del medico, al loro piano assicurativo e alle regole del formulario.

Gli agenti di intelligenza artificiale non solo hanno bisogno di accedere a questo contesto, ma devono anche essere in grado di ragionare con esso in tempo reale. Un sistema specializzato grafico della conoscenza Fornisce questa capacità. Si tratta di un modo strutturato di rappresentare informazioni provenienti da più fonti attendibili, che consente agli agenti di convalidare ciò che ascoltano e di garantire che le informazioni fornite siano accurate e personalizzate. Gli agenti senza questo livello potrebbero sembrare informati, ma in realtà stanno solo seguendo rigidi flussi di lavoro e riempiendo gli spazi vuoti.

Sistemi di revisione robusti possono valutare l'accuratezza

Un paziente potrebbe riattaccare la chiamata con un agente di intelligenza artificiale e sentirsi soddisfatto, ma il lavoro per l'agente è tutt'altro che finito. Le organizzazioni sanitarie hanno bisogno di garanzie che l'agente non solo abbia fornito informazioni corrette, ma abbia anche compreso e documentato l'interazione. È qui che entrano in gioco i sistemi di post-elaborazione automatizzati.

Un sistema di revisione affidabile dovrebbe valutare ogni singola conversazione con lo stesso livello di analisi minuziosa che un supervisore umano con tutto il tempo del mondo applicherebbe. Dovrebbe essere in grado di verificare se la risposta è stata accurata, garantire che siano state acquisite le informazioni corrette e determinare se sia necessario un follow-up. Se qualcosa non va, l'agente dovrebbe essere in grado di segnalare il problema a un operatore umano, ma se tutto è a posto, l'attività può essere spuntata dalla lista delle cose da fare con sicurezza.

Oltre a questi tre elementi fondamentali necessari per generare fiducia, ogni infrastruttura di IA agentica necessita di un solido framework di sicurezza e conformità che protegga i dati dei pazienti e garantisca che gli agenti operino entro i limiti regolamentati. Tale framework dovrebbe includere la rigorosa aderenza agli standard di settore più diffusi, come SOC 2 e HIPAA, ma dovrebbe anche prevedere processi integrati per i test di bias, la redazione delle informazioni sanitarie protette e la conservazione dei dati.

Queste misure di sicurezza non si limitano a soddisfare i requisiti di conformità. Costituiscono la spina dorsale di un sistema affidabile in grado di garantire che ogni interazione sia gestita al livello atteso da pazienti e operatori sanitari.

Il settore sanitario non ha bisogno di ulteriore clamore intorno all'IA. Ha bisogno di un'infrastruttura di IA affidabile. Nel caso dell'IA agentiva, la fiducia non si guadagnerà tanto quanto si svilupperà.