LLM-uri necontrolate și Conundrul conformității în sănătate

În toate industriile, inteligența artificială generativă (GenAI) a realizat progrese rapide într-un timp relativ scurt. Aceste progrese sunt determinate de modelele de bază, pe care Raportul Californiei privind politica AI de frontieră le definește ca fiind „o clasă de tehnologii cu scop general, care sunt intensiv resursă pentru a produce, necesitând cantități semnificative de date și calcul pentru a oferi capacități care pot alimenta o varietate de aplicații AI descendente.”

Aceste modele de limbaj mare generale (LLM), cum ar fi Gemini și ChatGPT, demonstrează o putere crescândă de a replica și a depăși capacitățile cognitive umane în domenii precum analiza datelor, scrierea și raționamentul. În special, în sănătate, adoptarea GenAI este în creștere, pe măsură ce clinicienii și alți profesioniști din sănătate se uită la tehnologie pentru a reduce sarcina administrativă, a accelera operațiunile și chiar pentru a sprijini luarea deciziilor clinice.

Cu toate acestea, în timp ce tehnologia oferă o mare promisiune, adoptarea GenAI în sănătate ridică și riscuri cheie de conformitate, dacă nu este implementată sau utilizată în mod responsabil. În special, utilizarea modelelor LLM generale vine cu preocupări specifice de conformitate pe care organizațiile de sănătate trebuie să le înțeleagă pe deplin pentru a preveni încălcarea confidențialității sau a securității datelor. Aceste modele pot depinde de surse de date neverificate, pot utiliza informații de sănătate ale pacienților în moduri neautorizate sau pot perpetua prejudecăți și/sau informații inexacte.

Pentru a menține confidențialitatea datelor pacienților, a rămâne în conformitate cu reglementările în evoluție și a minimiza riscurile costisitoare, liderii din sănătate trebuie să adopte o abordare decisivă pentru a dezamorsa „bomba cu ceas” a conformității utilizării „necontrolate” a LLM-urilor.

Starea actuală a utilizării LLM-urilor generale în sănătate

În sănătate, personalul este din ce în ce mai mult implicat în utilizarea LLM-urilor pentru a sprijini sarcinile de zi cu zi, de la lucrul administrativ la comunicarea cu pacienții. LLM-urile multimodale extind și mai mult aceste aplicații prin capacitatea lor de a procesa ușor text, imagini și audio. Pe lângă sprijinul administrativ, vedem și o creștere a furnizorilor de servicii care se întorc către tehnologie pentru a sprijini nu numai lucrul de birou, ci și sarcinile clinice.

Aceste modele demonstrează deja rezultate impresionante, cu mai multe studii care arată că performanța LLM-urilor este la fel de bună sau chiar depășește capacitățile umane în anumite domenii. De exemplu, modelul GPT-4 a promovat examenul de licență medicală din Statele Unite cu un scor general de 86,7%.

Inteligența artificială hibridă este o altă abordare emergentă a utilizării GenAI în sănătate, care combină învățarea automată (ML) și LLM-urile pentru a gestiona analize complexe și a traduce rezultatele în limbaj simplu. Prin integrarea ambelor modele, această abordare încearcă să depășească limitările LLM-urilor, inclusiv halucinațiile, inexactitățile și prejudecățile, în timp ce joacă la punctele sale forte. Inteligența artificială agențială este, de asemenea, în creștere, datorită capacității sale de a automatiza sarcini cheie fără intervenție umană, cum ar fi răspunsul la mesaje de la pacienți sau programarea întâlnirilor.

Cu toate acestea, potențialul tehnologiei evidențiază, de asemenea, o nevoie urgentă de o guvernanță mai proactivă. Cu cât aceste instrumente devin mai integrate în operațiunile de sănătate, cu atât mai mari sunt riscurile pentru a se asigura acuratețea, siguranța și conformitatea.

Riscurile de conformitate ale LLM-urilor generale în sănătate

În timp ce adoptarea digitală în sănătate a deblocat o mulțime de noi posibilități, a expus și vulnerabilități cheie. Între 1 noiembrie 2023 și 31 octombrie 2024, de exemplu, sectorul sănătății a înregistrat 1.710 incidente de securitate, dintre care 1.542 au implicat divulgări de date confirmate.

Era inteligenței artificiale adâncă aceste crăpături, adăugând o nouă strat de complexitate la confidențialitatea și securitatea datelor. Mai specific, utilizarea LLM-urilor generale în sănătate evocă mai multe riscuri cheie de conformitate:

Risc #1: Dezvoltarea opacă împiedică monitorizarea sau verificarea continuă

Modelele închise lipsesc transparența cu privire la procesul de dezvoltare, cum ar fi ce surse de date specifice au fost utilizate pentru a antrena modelul sau cum se efectuează actualizările. Această opacitate împiedică dezvoltatorii și cercetătorii să analizeze modelul pentru a determina originea riscurilor de securitate sau a proceselor de luare a deciziilor. Ca urmare, LLM-urile închise pot permite utilizarea surselor de date medicale neverificate și pot permite vulnerabilităților de securitate să rămână necontrolate.

Risc #2: Scurgerea de date ale pacienților

LLM-urile nu se bazează întotdeauna pe date de sănătate ale pacienților dezidentificate. Prompturi specializate sau interacțiuni pot dezvălui accidental informații de sănătate identificabile, creând potențiale încălcări ale HIPAA.

Risc #3: Perpetuarea prejudecăților și a informațiilor inexacte

În un experiment, cercetătorii au injectat un procent mic de fapte incorecte într-o categorie a bazei de cunoștințe a unui model biomedical, în timp ce păstrau comportamentul său în toate celelalte domenii. Cercetătorii au constatat că informațiile incorecte au fost propagate în întreaga ieșire a modelului, evidențiind vulnerabilitățile LLM-urilor la atacuri de informații incorecte.

Orice defecte găsite în modelele de bază sunt moștenite de toate modelele adoptate și aplicațiile rezultate din modelul părinte. Disparitățile în ieșiri pot înrăutăți inegalitățile de sănătate, cum ar fi sfaturi inexacte pentru grupurile subreprezentate.

Risc #4: Dereglementarea reglementărilor

Utilizarea LLM-urilor generale poate să nu respecte HIPAA, GDPR sau reglementările specifice AI în evoluție, în special dacă furnizorii nu pot valida datele de antrenament. Aceste riscuri sunt exacerbate de faptul că angajații organizațiilor de sănătate utilizează instrumente AI neaprobate sau necontrolate, sau AI-ul din umbră. Conform IBM, 20% din organizațiile chestionate din toate sectoarele au suferit o încălcare a securității datorită incidentelor de securitate care implică AI-ul din umbră.

În cele din urmă, riscurile LLM-urilor generale în sănătate au implicații reale în lumea reală, inclusiv acțiuni legale, daune reputaționale, pierderea încrederii pacienților și costuri de litigii.

Cele mai bune practici: Ghiduri și considerații pentru LLM-uri

Pentru a adopta GenAI în mod responsabil, liderii din sănătate trebuie să stabilească garduri clare care protejează atât pacienții, cât și organizațiile. Următoarele cele mai bune practici pot ajuta organizațiile de sănătate să stabilească o bază pentru utilizarea responsabilă și conformă a AI-ului:

Cea mai bună practică #1: Alegeți tehnologia AI în mod înțelept

Cereți claritate de la furnizori cu privire la modul în care tehnologia AI este dezvoltată și care sunt sursele de date utilizate în procesul de dezvoltare. Prioritizați instrumentele care utilizează numai conținut medical validat de experți, au procese de luare a deciziilor transparente și evită antrenarea modelelor pe informații de sănătate ale pacienților.

Cea mai bună practică #2: Construiți garduri de siguranță cu omul în buclă

Asigurați-vă că clinicienii revizuiesc orice ieșiri generate de AI care ar putea afecta deciziile de îngrijire. AI-ul poate fi un instrument puternic, dar într-o industrie care are un impact direct asupra vieții pacienților, supravegherea clinică este cheia pentru a asigura utilizarea responsabilă și acuratețea oricăror informații asistate de AI.

Cea mai bună practică #3: Pregătirea și pregătirea forței de muncă

Educați clinicienii și personalul cu privire la beneficiile și riscurile utilizării AI pentru a reduce adoptarea AI-ului din umbră. Personalul din sănătate navighează într-un mediu de lucru complex, afectat de lipsa personalului și de rate ridicate de epuizare. Simplificarea procesului de educație AI ajută la asigurarea conformității fără a adăuga o sarcină suplimentară la îndatoririle lor.

Cea mai bună practică #4: Stabiliți o cultură a guvernanței

Integrați evaluări ale soluțiilor AI de la terți pentru a verifica siguranța, fiabilitatea și conformitatea. În același timp, implementați un cadru clar, la nivel de organizație, pentru supravegherea AI-ului, care definește aprobarea, utilizarea și monitorizarea pentru a consolida și mai mult încrederea în tehnologie și a preveni personalul să se întoarcă la instrumente neautorizate.

Cea mai bună practică #5: Aliniați-vă cu conducerea pe probleme de gestionare a AI-ului

Colaborați cu conducerea pentru a rămâne înaintea reglementărilor în evoluție, precum și a ghidurilor de la FDA și ONC. Eforturile de reglementare sunt în curs de dezvoltare la nivel de stat. De exemplu, California a instituit Legea transparenței în AI de frontieră, care subliniază divulgarea riscurilor, transparența și atenuarea, în special în mediile de sănătate, și există și Legea artificială a inteligenței din Colorado (CAIA), care este destinată să prevină discriminarea algoritmică.

Cea mai bună practică #6: Monitorizarea continuă și buclele de feedback

Utilizarea AI-ului într-un mediu de sănătate nu ar trebui să fie abordată niciodată cu mentalitatea „setează și uită”. Stabilirea unui cadru pentru monitorizarea continuă poate ajuta la asigurarea acurateței instrumentelor AI, la consolidarea responsabilității și la menținerea conformității în timp.

Cea mai bună practică #7: Urmați parteneriate pentru a optimiza supravegherea și cercetarea

Organizațiile de sănătate ar trebui să utilizeze parteneriatele cu reglementatorii și sectorul public pentru a maximiza supravegherea, a contribui la perspectivele industriei la standardele de siguranță și a combina resursele de specialitate.

Construirea încrederii prin conducerea conformității

Diferențierea soluțiilor AI în sănătate va depinde din ce în ce mai mult de calitatea conținutului lor de specialitate, de integritatea proceselor de evaluare și de integrarea responsabilă în fluxurile de lucru clinice. Următoarea etapă a adoptării AI-ului se va baza mai puțin pe cod și mai mult pe conducerea conformității.

Încrederea este la fel de importantă ca și conformitatea însăși. Pentru ca tehnologia să fie cu adevărat eficientă, pacienții și furnizorii trebuie să creadă că AI-ul este sigur și aliniat cu îngrijirea de înaltă calitate și etică. Conducerea conformității este un avantaj strategic, nu doar o măsură defensivă. Organizațiile care stabilesc garduri de siguranță de la început, înainte de a apărea incidente dăunătoare, se vor diferenția într-un viitor al sănătății condus de AI.