Google pubblica un framework basato su più metodi per valutare l’IA in ambito sanitario

Google ha annunciato il 4 novembre 2026 la pubblicazione di un white paper che illustra come valuta l’IA generativa di uso generale in ambito sanitario. Il framework combina benchmark con domande a risposta chiusa, valutatori automatici basati sull’IA e revisioni di esperti in carne e ossa per giudicare accuratezza, sicurezza e utilità in scenari comuni e ad alto rischio.

L’autrice, la dott.ssa Sarah Montgomery-Taylor, è responsabile della valutazione clinica presso Google for Health; la dott.ssa Elizabeth McGlynn e la dott.ssa Dana Gelb Safran hanno collaborato al progetto. Google afferma di aver sviluppato questo approccio e di continuare a utilizzarlo per valutare se i propri modelli forniscano risposte utili e accurate, in grado di favorire interazioni sicure in ambito sanitario. La pubblicazione della metodologia mira a promuovere la trasparenza e ad aiutare sviluppatori, ricercatori e medici a realizzare strumenti di cui le persone possano fidarsi.

Adattare la valutazione all’uso clinico reale

Gli autori sostengono che i metodi di valutazione concepiti per compiti isolati non siano sufficienti a coprire i modelli di uso generale. Come esempio citano un modello di IA precedente all’IA generativa, in grado di rilevare un tumore al polmone in una TAC, ma non di individuare un tumore al seno in una mammografia né di riassumere una conversazione in una nota. Quando un singolo modello può svolgere centinaia, migliaia o più compiti, sviluppatori e organizzazioni sanitarie hanno bisogno di un modo per stabilire le priorità tra interazioni e rischi.

Prima di scegliere i casi di prova, i valutatori tracciano il percorso critico dell’utente: chi utilizza il sistema, che cosa vuole ottenere e quali passaggi sono necessari. Gli utenti possono essere pazienti, familiari, medici o amministratori. Questa mappatura guida la definizione di dati di test e metriche rappresentativi. Prende inoltre in considerazione l’uso previsto e le forme comuni di uso improprio, tra cui il ricorso per finalità non autorizzate e i tentativi di aggirare i filtri di sicurezza.

Ogni applicazione viene quindi valutata in tre ambiti. L’accuratezza comprende il consenso medico, il supporto probatorio, la veridicità dei fatti, il ragionamento clinico e l’adeguatezza al contesto; per compiti come la sintesi di informazioni mediche si valuta anche il fondamento delle risposte nelle fonti. La sicurezza non si limita a verificare la correttezza delle affermazioni, ma considera anche i danni che potrebbero derivare dal fatto che qualcuno interpreti una risposta e agisca di conseguenza, oppure non agisca. Le valutazioni considerano sia la gravità sia la probabilità di tali danni. L’utilità riguarda la comprensibilità delle informazioni sanitarie, la pertinenza, la completezza e la possibilità per l’utente di agire sulla base della risposta. Di conseguenza, una risposta può essere accurata ma non sicura, oppure accurata e sicura ma troppo complessa o non abbastanza operativa da aiutare chi la riceve.

Gli esempi riportati nell’articolo mostrano come il rischio principale cambi a seconda del compito. Nel caso di un consumatore che controlla i propri sintomi, il problema centrale per la sicurezza è non segnalare i sintomi d’allarme che richiedono cure urgenti; una risposta eccessivamente allarmistica può invece causare ansia inutile, mentre indicazioni poco chiare per l’autovalutazione possono ostacolare i passi successivi più appropriati. Nel caso di una lettera di dimissione redatta con l’aiuto dell’IA per un medico, allucinazioni, omissioni ed errori fattuali compromettono l’accuratezza; allergie non rilevate o farmaci controindicati costituiscono rischi per la sicurezza; una formattazione confusa o una cronologia incoerente possono ridurre l’utilità.

Combinare la scalabilità dell’automazione con il giudizio umano

Il primo metodo di valutazione si basa su test con risposte definitive, come i quiz a scelta multipla, che consentono di verificare a costi relativamente contenuti grandi volumi di conoscenze di base. I test statici non riescono a riprodurre la complessità e la rappresentatività delle interazioni reali. Un altro limite è la contaminazione dei dati: quando le domande del test compaiono nei dati di addestramento, i risultati possono riflettere la preparazione specifica per il test, anziché capacità generalizzate di ragionamento medico. Il framework utilizza quindi questi benchmark per stabilire un livello di riferimento e orientare le valutazioni successive; per convalidare le prestazioni nel mondo reale sono necessari anche altri metodi.

Il secondo metodo affida la valutazione a un altro sistema di IA. Questi valutatori automatici applicano rubriche scritte alle risposte aperte, permettendo di esaminare molti più scenari di quanti gli esperti potrebbero ragionevolmente valutare. Possono analizzare conversazioni simulate con più scambi, in cui gli utenti inizialmente omettono dettagli clinici, per verificare se il modello pone domande di chiarimento prima di fornire indicazioni. I valutatori automatici devono comunque essere convalidati rispetto a dati di riferimento elaborati da esperti, perché possono premiare risposte prolisse, preferire quelle prodotte da modelli della propria famiglia e propagare annotazioni umane imprecise.

Medici e altri esperti del settore esaminano poi i casi in cui le rubriche automatiche sono meno efficaci, tra cui quadri clinici complessi, casi limite e argomenti sui quali il consenso clinico è limitato. Valutano anche se i risultati siano conformi alle norme cliniche locali e adeguati a diverse popolazioni di pazienti. Le attività di red teaming dedicate valutano i limiti di sicurezza ricorrendo a tattiche come appelli emotivi, contesti fittizi o l’assunzione della persona di un professionista sanitario per indurre il sistema a produrre risultati che esulano dall’ambito previsto del prodotto. Anche la revisione umana è soggetta a errori: gli autori osservano che, in un’attività di valutazione, due medici possono divergere del 30–40% o più, rendendo necessari controlli sulla variabilità tra valutatori e analisi appropriate.

Il monitoraggio continua dopo la distribuzione

La valutazione inizia prima ancora che esista un prodotto, con test sulle capacità generali e sulla sicurezza del modello di base. Quando il modello viene integrato in un’applicazione, la valutazione si concentra sugli utenti e sui flussi di lavoro specifici di quel prodotto. In prossimità del rilascio, la distribuzione controllata può comprendere sperimentazioni in modalità ombra, senza che gli utenti vedano i risultati, progetti pilota clinici o lanci graduali, accompagnati da test sui fattori umani e sull’usabilità prima di una disponibilità più ampia.

I team clinici e di sviluppo devono definire insieme, a ogni fase decisionale del prodotto, le soglie di superamento e i pesi dei criteri di valutazione, basandosi sul profilo di rischio clinico dell’applicazione anziché su soglie numeriche universali o arbitrarie. Dopo la distribuzione, gli sviluppatori monitorano la deriva algoritmica e la stabilità del sistema. Le organizzazioni che adottano questi strumenti monitorano la sicurezza dei flussi di lavoro clinici nel caso degli strumenti professionali, oppure la sicurezza degli utenti e le modalità d’uso nel caso dei prodotti destinati ai consumatori.

Gli autori affermano che segnali reattivi, come i reclami degli utenti e gli eventi sentinella, non bastano da soli a garantire il monitoraggio post-distribuzione. I set di test differiscono dalle interazioni reali e, con l’esperienza, gli utenti modificano i prompt e le proprie aspettative. I risultati del monitoraggio devono confluire nei requisiti, nella formazione e nelle successive priorità di valutazione. Il monitoraggio a lungo termine delle interazioni e degli esiti sanitari deve fare i conti con silos di dati e ostacoli legati alla privacy, alla tecnica e all’organizzazione. Il documento individua inoltre responsabilità condivise tra sviluppatori e sistemi sanitari, costi di implementazione, convalida indipendente e consenso scientifico come aspetti della governance ancora da affrontare.

Per gli sviluppatori e i sistemi sanitari, il quadro sposta la domanda: non più se un modello abbia superato un benchmark statico, ma se sia possibile dimostrarne l’accuratezza, la sicurezza e l’utilità durante tutto lo sviluppo e la distribuzione. La sfida centrale è pratica: collegare il monitoraggio alla responsabilità, assegnando al contempo i compiti, finanziando il lavoro e convalidando i risultati in modo indipendente, superando i confini tra organizzazioni e dati.