Chi è responsabile se l’AI sanitaria fallisce?

Chi è responsabile quando gli errori dell’AI nella sanità causano incidenti, lesioni o peggio? A seconda della situazione, potrebbe essere lo sviluppatore di AI, un professionista sanitario o addirittura il paziente. La responsabilità è una preoccupazione sempre più complessa e seria mentre l’AI diventa più comune nella sanità. Chi è responsabile per l’AI che va storto e come possono essere prevenuti gli incidenti?

Il rischio degli errori dell’AI nella sanità

Ci sono molti benefici incredibili dell’AI nella sanità, dalla precisione e accuratezza aumentate a tempi di recupero più rapidi. L’AI aiuta i medici a fare diagnosi, eseguire interventi chirurgici e fornire le migliori cure possibili ai loro pazienti. Purtroppo, gli errori dell’AI sono sempre una possibilità.

Ci sono una vasta gamma di scenari in cui l’AI può fallire nella sanità. I medici e i pazienti possono utilizzare l’AI come strumento di decisione basato solo sul software o l’AI può essere il cervello di dispositivi fisici come i robot. Entrambe le categorie presentano rischi.

Ad esempio, cosa succede se un robot chirurgico alimentato da AI si guasta durante un intervento? Ciò potrebbe causare una lesione grave o addirittura uccidere il paziente. Allo stesso modo, cosa succede se un algoritmo di diagnosi dei farmaci consiglia il farmaco sbagliato per un paziente e subisce un effetto collaterale negativo? Anche se il farmaco non danneggia il paziente, una diagnosi errata potrebbe ritardare il trattamento appropriato.

Alla radice degli errori dell’AI come questi c’è la natura stessa dei modelli di AI. La maggior parte dell’AI di oggi utilizza una logica “scatola nera”, il che significa che nessuno può vedere come l’algoritmo prende le decisioni. La logica della scatola nera manca di trasparenza, portando a rischi come il bias logico, la discriminazione e i risultati inaccurati. Purtroppo, è difficile rilevare questi fattori di rischio fino a quando non hanno già causato problemi.

AI che va storto: chi è in colpa?

Cosa succede quando si verifica un incidente in una procedura medica alimentata da AI? La possibilità che l’AI vada storto sarà sempre presente in una certa misura. Se qualcuno si fa male o peggio, è l’AI che è in colpa? Non necessariamente.

Quando lo sviluppatore di AI è in colpa

È importante ricordare che l’AI non è altro che un programma per computer. È un programma per computer altamente avanzato, ma è ancora codice, proprio come qualsiasi altro pezzo di software. Poiché l’AI non è sensibile o indipendente come un essere umano, non può essere ritenuta responsabile per gli incidenti. Un’AI non può andare in tribunale o essere condannata al carcere.

Gli errori dell’AI nella sanità sarebbero probabilmente responsabilità dello sviluppatore di AI o del professionista sanitario che monitora la procedura. Quale parte è in colpa per un incidente potrebbe variare da caso a caso.

Ad esempio, lo sviluppatore sarebbe probabilmente in colpa se il bias dei dati ha causato all’AI di prendere decisioni ingiuste, inaccurate o discriminatorie. Lo sviluppatore è responsabile del funzionamento dell’AI come promesso e del fornire a tutti i pazienti il miglior trattamento possibile. Se l’AI si guasta a causa della negligenza, della mancanza di sorveglianza o degli errori da parte dello sviluppatore, il medico non sarebbe responsabile.

Quando il medico o il paziente è in colpa

Tuttavia, è ancora possibile che il medico o addirittura il paziente possano essere responsabili per l’AI che va storto. Ad esempio, lo sviluppatore potrebbe fare tutto ciò che è giusto, fornire al medico istruzioni complete e delineare tutti i possibili rischi. Quando si tratta di eseguire la procedura, il medico potrebbe essere distratto, stanco, dimentico o semplicemente negligente.

I sondaggi mostrano che oltre il 40% dei medici sperimenta il burnout sul lavoro, il che può portare a inattenzione, riflessi lenti e scarsa memoria. Se il medico non affronta le proprie esigenze fisiche e psicologiche e la sua condizione causa un incidente, è colpa del medico.

A seconda delle circostanze, il datore di lavoro del medico potrebbe essere alla fine incolpato per gli errori dell’AI nella sanità. Ad esempio, cosa succede se un manager in un ospedale minaccia di negare al medico una promozione se non accetta di lavorare overtime? Ciò costringe il medico a lavorare troppo, portando al burnout. Il datore di lavoro del medico sarebbe probabilmente ritenuto responsabile in una situazione unica come questa.

Quando il paziente è in colpa

Cosa succede se sia lo sviluppatore di AI che il medico fanno tutto ciò che è giusto, però? Quando il paziente utilizza in modo indipendente uno strumento di AI, un incidente può essere colpa del paziente. L’AI che va storto non è sempre dovuta a un errore tecnico. Può essere il risultato di un uso scorretto o improprio.

Ad esempio, forse un medico spiega in modo approfondito uno strumento di AI al paziente, ma il paziente ignora le istruzioni di sicurezza o immette dati errati. Se questo uso scorretto o improprio provoca un incidente, è colpa del paziente. In questo caso, il paziente era responsabile dell’uso corretto dell’AI o del fornire dati precisi e non ha fatto ciò.

Anche quando i pazienti conoscono le proprie esigenze mediche, potrebbero non seguire le istruzioni del medico per una varietà di motivi. Ad esempio, il 24% degli americani che assumono farmaci su prescrizione riferisce di avere difficoltà a pagare i propri farmaci. Un paziente potrebbe saltare la medicina o mentire all’AI sul fatto di prendere un farmaco perché è imbarazzato per non essere in grado di pagare la propria prescrizione.

Se l’uso improprio del paziente è dovuto alla mancanza di indicazioni da parte del medico o dello sviluppatore di AI, la colpa potrebbe essere altrove. Dipende da dove si verifica l’incidente o l’errore.

Regolamenti e soluzioni potenziali

C’è un modo per prevenire gli errori dell’AI nella sanità? Mentre nessuna procedura medica è completamente priva di rischi, ci sono modi per minimizzare la probabilità di esiti avversi.

I regolamenti sull’uso dell’AI nella sanità possono proteggere i pazienti da strumenti e procedure ad alto rischio alimentati da AI. La FDA ha già quadri regolatori per i dispositivi medici di AI, che delineano i requisiti di test e sicurezza e il processo di revisione. Le principali organizzazioni di controllo medico potrebbero anche intervenire per regolare l’uso dei dati dei pazienti con gli algoritmi di AI nei prossimi anni.

In aggiunta a regolamenti rigorosi, ragionevoli e completi, gli sviluppatori dovrebbero adottare misure per prevenire scenari in cui l’AI va storto. L’AI spiegabile — anche noto come AI “scatola bianca” — potrebbe risolvere le preoccupazioni relative alla trasparenza e al bias dei dati. Gli algoritmi di AI spiegabile sono algoritmi emergenti che consentono agli sviluppatori e agli utenti di accedere alla logica del modello.

Quando gli sviluppatori di AI, i medici e i pazienti possono vedere come l’AI arriva alle sue conclusioni, è molto più facile identificare il bias dei dati. I medici possono anche rilevare più rapidamente errori fattuali o informazioni mancanti. Utilizzando l’AI spiegabile anziché l’AI “scatola nera”, gli sviluppatori e i fornitori di servizi sanitari possono aumentare l’affidabilità e l’efficacia dell’AI medica.

AI sanitaria sicura ed efficace

L’intelligenza artificiale può fare cose incredibili nel campo medico, potenzialmente salvando vite. Ci sarà sempre una certa incertezza associata all’AI, ma gli sviluppatori e le organizzazioni sanitarie possono adottare misure per minimizzare quei rischi. Quando si verificano errori dell’AI nella sanità, i consulenti legali determineranno probabilmente la responsabilità in base all’errore di base dell’incidente.