LLM non verificati e l’enigma della conformità sanitaria

Attraverso tutti i settori, l’intelligenza artificiale generativa (GenAI) ha raggiunto rapidi progressi in un periodo di tempo relativamente breve. Questi progressi sono guidati da modelli di base, che The California Report on Frontier AI Policy definisce come, “una classe di tecnologie general-purpose che sono intensive in termini di risorse per la produzione, richiedendo grandi quantità di dati e calcolo per produrre capacità che possono alimentare una varietà di applicazioni AI a valle.”

Questi modelli di linguaggio grandi e general-purpose (LLM), come Gemini e ChatGPT, stanno mostrando una crescente capacità di replicare e superare le capacità cognitive umane in aree come l’analisi dei dati, la scrittura e il ragionamento. Nel settore sanitario in particolare, l’adozione di GenAI è in aumento poiché i clinici e gli altri professionisti sanitari cercano di utilizzare la tecnologia per ridurre il carico amministrativo, accelerare le operazioni e persino supportare la presa di decisioni cliniche.

Tuttavia, mentre la tecnologia offre grandi promesse, l’adozione di GenAI nel settore sanitario solleva anche rischi di conformità chiave se non implementata o utilizzata in modo responsabile. In particolare, l’utilizzo di LLM general-purpose comporta specifiche preoccupazioni di conformità che le organizzazioni sanitarie devono comprendere a fondo per prevenire violazioni della privacy o della sicurezza. Questi modelli possono basarsi su fonti di dati non verificate, utilizzare informazioni sanitarie dei pazienti in modi non autorizzati o perpetuare pregiudizi e/o informazioni inaccurate.

Per garantire la privacy dei dati dei pazienti, rimanere in conformità con le norme in evoluzione e minimizzare i rischi costosi, i leader sanitari devono adottare un approccio deciso per disinnescare la “bomba a orologeria” della conformità dell’utilizzo non verificato di LLM.

Lo stato attuale dell’utilizzo di LLM general-purpose nel settore sanitario

In tutto il settore sanitario, il personale sta sempre più utilizzando LLM per supportare le attività quotidiane, dalla lavorazione amministrativa alla comunicazione con i pazienti. LLM multimodali espandono ulteriormente queste applicazioni con la loro capacità di elaborare facilmente testo, immagini e audio. Oltre al supporto amministrativo, stiamo anche vedendo un aumento dei fornitori che si rivolgono alla tecnologia per supportare non solo il lavoro di cancelleria, ma anche le attività cliniche.

Questi modelli stanno già dimostrando risultati che alcuni potrebbero considerare impressionanti, con diversi studi che mostrano che le prestazioni di LLM raggiungono o superano le capacità umane in aree specifiche. Ad esempio, il modello GPT-4 ha superato l’esame di licenza medica degli Stati Uniti con un punteggio complessivo dell’86,7%.

AI ibrida è un altro approccio emergente all’utilizzo di GenAI nel settore sanitario che combina l’apprendimento automatico (ML) e LLM per gestire analisi complesse e tradurre i risultati in linguaggio chiaro. Integrando entrambi i modelli, questo approccio cerca di superare i limiti di LLM, tra cui allucinazioni, inesattezze e pregiudizi, sfruttando al contempo i loro punti di forza. AI agente sta anche aumentando l’adozione per la sua capacità di automatizzare attività chiave senza input umano, come rispondere ai messaggi dei pazienti o pianificare appuntamenti.

Tuttavia, il potenziale dell’AI sottolinea anche la necessità di una governance più proattiva. Più questi strumenti si integrano nelle operazioni sanitarie, più aumentano le poste in gioco per garantire l’accuratezza, la sicurezza e la conformità.

I rischi di conformità dei LLM general-purpose nel settore sanitario

Mentre l’adozione digitale nel settore sanitario ha sbloccato una serie di nuove possibilità, ha anche esposto vulnerabilità chiave. Tra il 1° novembre 2023 e il 31 ottobre 2024, ad esempio, il settore sanitario ha subito 1.710 incidenti di sicurezza, 1.542 dei quali hanno coinvolto la divulgazione di dati confermati.

L’era dell’AI approfondisce queste crepe, aggiungendo un nuovo livello di complessità alla privacy e alla sicurezza dei dati. In particolare, l’utilizzo di LLM general-purpose nel settore sanitario evoca diversi rischi di conformità chiave:

Rischio #1: lo sviluppo “scatola chiusa” impedisce il monitoraggio o la verifica continuativa

I modelli chiusi mancano di trasparenza sul loro processo di sviluppo, come ad esempio quali dati specifici il modello è stato addestrato o come vengono effettuate le aggiornamenti. Questa opacità impedisce agli sviluppatori e ai ricercatori di esaminare il modello per determinare l’origine dei rischi per la sicurezza o comprendere i processi decisionali. Di conseguenza, i LLM chiusi possono consentire l’utilizzo di fonti di dati mediche non verificate e permettere che le vulnerabilità della sicurezza rimangano incontrollate.

Rischio #2: perdita di dati dei pazienti

I LLM non si basano sempre su dati dei pazienti deidentificati. Prompt specializzati o interazioni potrebbero rivelare involontariamente informazioni sanitarie identificabili, creando potenziali violazioni di HIPAA.

Rischio #3: perpetuazione di pregiudizi e informazioni inaccurate

In un esperimento, i ricercatori hanno iniettato una piccola percentuale di fatti errati in una categoria della base di conoscenza di un modello biomedico, preservando il suo comportamento in tutti gli altri domini. I ricercatori hanno scoperto che le informazioni errate sono state propagate attraverso l’output del modello, evidenziando la vulnerabilità dei LLM agli attacchi di disinformazione.

Qualsiasi difetto trovato nei modelli di base è ereditato da tutti i modelli adottati e dalle applicazioni risultanti dal modello genitore. Le disparità negli output possono peggiorare le disuguaglianze sanitarie, come consigli inaccurati per gruppi sottorappresentati.

Rischio #4: disallineamento normativo

L’utilizzo di LLM general-purpose potrebbe non essere conforme a HIPAA, GDPR o norme specifiche per l’AI in evoluzione, specialmente se i fornitori non possono validare i dati di addestramento. Questi rischi sono aggravati dal fatto che i dipendenti delle organizzazioni sanitarie utilizzano strumenti AI non approvati o non monitorati, o shadow AI. Secondo IBM, il 20% delle organizzazioni sondaggiate in tutti i settori ha subito una violazione a causa di incidenti di sicurezza che coinvolgevano shadow AI.

Alla fine, i rischi dei LLM general-purpose nel settore sanitario hanno implicazioni reali, tra cui azioni legali, danni alla reputazione, perdita della fiducia dei pazienti e costi di lite.

Best practice: linee guida e considerazioni per LLM

Per adottare GenAI in modo responsabile, i leader sanitari devono stabilire chiare linee guida che proteggano i pazienti e le organizzazioni. Le seguenti best practice possono aiutare le organizzazioni sanitarie a stabilire una base per l’utilizzo dell’AI responsabile e conforme:

Best practice #1: scegliere la tecnologia AI con saggezza

Richiedere chiarezza dai fornitori su come la tecnologia AI è sviluppata e quali fonti di dati vengono utilizzate nel processo di sviluppo. Dare priorità agli strumenti che utilizzano solo contenuti medici validati da esperti, hanno processi decisionali trasparenti e evitano di addestrare modelli su informazioni sanitarie dei pazienti.

Best practice #2: costruire salvaguardie con l’intervento umano

Assicurarsi che i clinici esaminino tutte le uscite generate dall’AI che potrebbero influenzare le decisioni di cura. L’AI può essere uno strumento potente, ma in un settore che ha un impatto diretto sulla vita dei pazienti, la supervisione clinica è fondamentale per garantire l’utilizzo responsabile e l’accuratezza di qualsiasi informazione assistita dall’AI.

Best practice #3: formazione e preparazione della forza lavoro

Educazione dei clinici e del personale sui benefici e sui rischi dell’utilizzo dell’AI per ridurre l’adozione di shadow AI. Il personale sanitario sta navigando un ambiente di lavoro complesso, gravato da carenze di personale e alti tassi di burnout. Semplificare il processo di educazione all’AI aiuta a garantire la conformità senza aggiungere ulteriore carico di lavoro.

Best practice #4: stabilire una cultura di governance

Integrare valutazioni di terze parti delle soluzioni AI per verificare la sicurezza, l’affidabilità e la conformità. Inoltre, implementare un quadro chiaro e organizzativo per la supervisione dell’AI che definisca l’approvazione, l’utilizzo e il monitoraggio per aumentare ulteriormente la fiducia nella tecnologia e prevenire che il personale si rivolga a strumenti non autorizzati.

Best practice #5: allinearsi con la leadership sull’amministrazione dell’AI

Collaborare con la leadership per stare al passo con le norme in evoluzione, nonché con le linee guida dell’FDA e dell’ONC. Gli sforzi normativi stanno emergendo a livello statale. Ad esempio, la California ha istituito l’Atto di trasparenza sull’AI di frontiera, che enfatizza la divulgazione dei rischi, la trasparenza e la mitigazione, in particolare nelle strutture sanitarie, e c’è anche l’Atto sull’intelligenza artificiale del Colorado (CAIA), progettato per prevenire la discriminazione algoritmica.

Best practice #6: monitoraggio continuo e loop di feedback

L’utilizzo dell’AI all’interno di un ambiente sanitario non dovrebbe mai essere affrontato con la mentalità “impostazione e dimentica”. Stabilire un quadro per il monitoraggio continuo può aiutare a garantire l’accuratezza degli strumenti AI, rafforzare la responsabilità e mantenere la conformità nel tempo.

Best practice #7: perseguire partnership per ottimizzare la supervisione e la ricerca

Le organizzazioni sanitarie dovrebbero sfruttare le partnership con i regolatori e il settore pubblico per massimizzare la supervisione, contribuire con la loro prospettiva di settore agli standard di sicurezza e combinare risorse di esperti.

Costruire la fiducia attraverso la leadership della conformità

La differenziazione delle soluzioni AI nel settore sanitario dipenderà sempre più dalla qualità del loro contenuto esperto, dall’integrità dei loro processi di valutazione e dall’integrazione responsabile nei flussi di lavoro clinici. La prossima fase dell’adozione dell’AI dipenderà meno dal codice e più dalla leadership della conformità.

La fiducia è altrettanto cruciale quanto la conformità stessa. Perché la tecnologia sia veramente efficace, i pazienti e i fornitori devono credere che l’AI sia sicura e allineata con le cure di alta qualità ed etiche. La leadership della conformità è un vantaggio strategico, non solo una misura difensiva. Le organizzazioni lungimiranti che stabiliscono linee guida precoci, prima che si verifichino incidenti dannosi, si differenzieranno in un futuro sanitario alimentato dall’AI.