L’intelligenza artificiale sanitaria ha un problema di responsabilità

Nel settore sanitario, l’intelligenza artificiale è ora integrata in tutto, dalle decisioni cliniche alle risorse umane e alla finanza. Tuttavia, molte organizzazioni ancora mancano della delega di gestione dei rischi necessaria per garantire che gli strumenti di intelligenza artificiale non causino danni. L’assenza di un controllo strutturato significa che le decisioni relative all’intelligenza artificiale vengono prese senza una chiara responsabilità, esponendo le organizzazioni al rischio di violazioni etiche e normative.

Quando nessuno è responsabile delle decisioni e delle azioni dell’intelligenza artificiale, i punti ciechi si espanderanno rapidamente. Le conseguenze di un sistema di intelligenza artificiale che prende decisioni ad alto rischio senza controllo sono numerose e di vasta portata, soprattutto quando le vite delle persone sono in gioco.

Oggi, le lacune di governance dell’intelligenza artificiale assomigliano molto ai punti di svolta precedenti in cui la curva tecnologica si è accentuata più rapidamente della capacità dell’impresa di gestirla. Abbiamo attraversato questo con il cloud computing: i team hanno adottato SaaS, IaaS e “shadow IT” per muoversi più velocemente, mentre la governance è rimasta indietro su elementi di base come la classificazione dei dati, la gestione delle identità e degli accessi, la supervisione dei fornitori, la registrazione/monitoraggio e la chiarezza delle responsabilità condivise – quindi la responsabilità si è dispersa tra IT, sicurezza, acquisti e business. Abbiamo anche visto questo con la rapida consumerizzazione dell’IT e mobile/BYOD, dove i dipendenti hanno portato nuovi dispositivi e app in ambienti regolamentati molto prima che le organizzazioni avessero politiche mature per la crittografia, il controllo degli endpoint, la valutazione delle app e la discovery elettronica. In ogni caso, l’adozione è stata razionale e spesso ha creato valore – ma l’assenza di una chiara proprietà, controlli standardizzati e supervisione del ciclo di vita ha creato fallimenti prevedibili. La lezione per l’intelligenza artificiale èstraightforward: la governance non può essere un pensiero successivo aggiunto all’innovazione; deve essere costruita come un’altra infrastruttura critica – intenzionalmente, con diritti decisionali definiti, monitoraggio continuo e barriere di sicurezza applicabili.

Il problema della responsabilità diffusa

La rapida diffusione dell’intelligenza artificiale ha superato lo sviluppo di standard di governance e responsabilità, portando a una lacuna di “responsabilità diffusa” in cui nessuna entità singola assume la responsabilità quando l’intelligenza artificiale fallisce.

La responsabilità è già un problema onnipresente nel settore sanitario, e l’intelligenza artificiale ha portato solo nuove sfide. Gli strumenti di intelligenza artificiale non hanno un’identità legale riconosciuta, il che significa che non possono essere citati in giudizio o assicurati contro, né possono pagare un indennizzo legale alle vittime. Nei procedimenti giudiziari, la colpa deve essere trasferita a un attore umano o a una società, non a uno strumento.

I ricercatori su The Lancet, una rivista di ricerca medica di primo piano, hanno recentemente sostenuto che “le strutture di responsabilità istituzionale devono ridistribuire la responsabilità dai clinici alle organizzazioni che progettano e distribuiscono [gli strumenti di intelligenza artificiale]”. È chiaro che tali questioni sulla responsabilità persisteranno a lungo nel futuro.

L’Unione Europea sta cercando di affrontare queste questioni a livello regionale. Il blocco ha introdotto due importanti strumenti legislativi: l’Atto sull’intelligenza artificiale, che regola l’uso dell’intelligenza artificiale in base al livello di rischio e sottolinea la conservazione della supervisione umana; e la direttiva sulla responsabilità dell’intelligenza artificiale, che stabilisce nuove regole che rendono più facile per le persone ottenere un indennizzo per i danni causati dall’intelligenza artificiale.

Ma la regolamentazione da sola non risolverà il problema. Gli ospedali operano all’interno di una complessa rete di fornitori, clinici, amministratori e team IT, quindi quando un sistema di intelligenza artificiale produce un output dannoso o distorto, la responsabilità viene passata come una palla tra gli stakeholder: il fornitore potrebbe indicare un uso improprio, i clinici potrebbero dire che la progettazione è difettosa e la leadership potrebbe incolpare l’ambiguità normativa.

Tutto ciò significa che la responsabilità è diffusa, lasciando gli ospedali vulnerabili a grandi battaglie legali.

Passi pratici per colmare le lacune di governance

La buona notizia è che anche senza regolamentazioni complete, le organizzazioni sanitarie possono proattivamente colmare le lacune di governance dell’intelligenza artificiale. Per iniziare, i leader possono iniziare con il rapporto dell’Organizzazione Mondiale della Sanità, “Etica e governance dell’intelligenza artificiale per la salute,” che cerca di massimizzare la promessa dell’intelligenza artificiale mentre minimizza il rischio.

I passi delineati in questo rapporto mirano a proteggere l’autonomia, promuovere il benessere umano e la sicurezza pubblica, garantire la trasparenza e la spiegabilità, e favorire la responsabilità e la responsabilità. Per affrontare le lacune di governance, concentriamoci sugli ultimi due punti.

Implementare un approccio unificato alla governance dell’intelligenza artificiale, assicurandosi che sia diretto dall’alto in basso da consigli o esperti. Attualmente, molte organizzazioni lasciano che i singoli dipartimenti utilizzino l’intelligenza artificiale dove lo vedono fit, lasciando i leader incapaci di spiegare come e dove l’organizzazione stia utilizzando questi strumenti. La visibilità è fondamentale, quindi assicurati di avere un elenco di quali strumenti vengono utilizzati dove e per quale scopo.

È altrettanto importante stabilire linee di responsabilità chiare in tutta la vita dell’intelligenza artificiale. Ciò significa rendere una persona o un dipartimento responsabile di tutto, dalla procedura di acquisto e convalida alla distribuzione, monitoraggio e risposta agli incidenti. Gli ospedali devono richiedere ai fornitori di soddisfare standard di trasparenza e auditabilità definiti e assicurarsi che i team interni siano formati per comprendere sia le capacità che i limiti dei sistemi di intelligenza artificiale.

Infine, la governance deve essere operazionalizzata, non solo documentata. Incorporare le politiche nei flussi di lavoro integrando le valutazioni del rischio dell’intelligenza artificiale nei processi di acquisto, conducendo audit regolari delle prestazioni dell’intelligenza artificiale e creando meccanismi per cui il personale di prima linea possa segnalare preoccupazioni senza attrito.

In pratica, colmare la lacuna di governance è meno questione di introdurre nuovi principi e più questione di applicare la disciplina: standardizzare come l’intelligenza artificiale entra nell’organizzazione, definire chi la possiede in ogni fase e assicurarsi che le sue prestazioni siano continuamente esaminate. Senza quella disciplina, gli strumenti di intelligenza artificiale continueranno a superare le strutture progettate per mantenerli sicuri.

Il rischio nascosto: la qualità dei dati

Anche quando le strutture di responsabilità sono in atto, un altro rischio è spesso sottovalutato: l’integrità dei dati che alimentano i sistemi di intelligenza artificiale e come quei sistemi evolvono nel tempo. Qualsiasi sistema di intelligenza artificiale è solo affidabile quanto i dati su cui è stato addestrato e continua a imparare, e gli ambienti di dati degli ospedali sono notoriamente frammentati, inconsistenti e soggetti a lacune.

I registri elettronici sanitari, i sistemi di imaging e le piattaforme amministrative spesso operano in silos, creando discrepanze che possono impattare direttamente sugli output dell’intelligenza artificiale. Un modello addestrato su set di dati incompleti o distorti può produrre raccomandazioni difettose che potrebbero passare inosservate fino a quando il danno non è già stato fatto. È particolarmente pericoloso in ambienti clinici, dove piccole deviazioni nella precisione possono tradursi in conseguenze significative per i pazienti.

Questo problema è aggravato dal “drift del modello“: la tendenza dei modelli di intelligenza artificiale a deviare dalle istruzioni e dal contesto man mano che più dati entrano nel sistema. Man mano che le popolazioni di pazienti evolvono, nuovi protocolli di trattamento vengono introdotti e fattori esterni influenzano le operazioni, le ipotesi di base degli strumenti di intelligenza artificiale possono spostarsi. Senza un monitoraggio continuo e una ricallibratura, un sistema di intelligenza artificiale che una volta ha eseguito in modo affidabile potrebbe iniziare a prendere azioni o a suggerire soluzioni che si discostano dalla sua formazione.

Per affrontare il drift del modello, gli ospedali devono trattare i sistemi di intelligenza artificiale come asset dinamici e ad alto rischio, piuttosto che come strumenti statici. Ciò significa implementare un monitoraggio delle prestazioni continuo, stabilire soglie chiare per l’accuratezza accettabile e definire la proprietà per la riqualificazione e la convalida. La governance dei dati deve anche essere rafforzata, con pratiche standardizzate per la qualità dei dati, l’interoperabilità e la rilevazione dei pregiudizi.

Senza affrontare i rischi legati alla qualità dei dati e al drift del modello, anche i migliori framework di governance dell’intelligenza artificiale saranno insufficienti. Per i sistemi di intelligenza artificiale sanitaria, che sono solo buoni quanto i dati che li sostengono, trascurare questo livello di rischio crea il potenziale per un fallimento sistemico più tardi.

Ottenere la governance giusta prima di mettere in funzione

L’intelligenza artificiale ha il potenziale per trasformare il settore sanitario migliorando l’efficienza, la precisione e i risultati dei pazienti. Ma senza una chiara proprietà dei rischi che essa presenta, quel potenziale può rapidamente diventare un problema.

Gli ospedali non possono permettersi di trattare la governance dell’intelligenza artificiale come un esercizio di conformità. Deve essere trattata come una priorità operativa fondamentale: definire la proprietà, strutturare la supervisione e valutare continuamente. Perché nel settore sanitario, quando qualcosa va storto, le conseguenze possono essere molto peggiori di chi è in colpa.