LLM-uri neatente și Conundrul conformității în sănătate

În toate industriile, inteligența artificială generativă (GenAI) a realizat progrese rapide într-un timp relativ scurt. Aceste progrese sunt determinate de modelele de bază, care, conform Raportului Californiei privind Politica Frontier AI, sunt definite ca “o clasă de tehnologii generale cu scop special, care sunt intensiv resursă pentru a produce, necesitând cantități semnificative de date și computațional pentru a oferi capacități care pot alimenta o varietate de aplicații AI descendente.”

Aceste modele de limbaj mare general-purpose (LLM), cum ar fi Gemini și ChatGPT, demonstrează o putere crescândă de a replica și depăși capacitățile cognitive umane în domenii precum analiza datelor, scrierea și raționamentul. În special, în sănătate, adoptarea GenAI este în creștere, deoarece clinicienii și alți profesioniști din sănătate se uită la tehnologie pentru a reduce sarcina administrativă, a accelera operațiunile și chiar pentru a sprijini luarea deciziilor clinice.

Cu toate acestea, în timp ce tehnologia oferă o mare promisiune, adoptarea GenAI în sănătate ridică și riscuri cheie de conformitate, dacă nu este implementată sau utilizată în mod responsabil. În special, utilizarea LLM-urilor cu scop general ridică anumite preocupări de conformitate pe care organizațiile de sănătate trebuie să le înțeleagă pe deplin pentru a preveni încălcarea confidențialității datelor sau a securității. Aceste modele pot depinde de surse de date neverificate, pot utiliza informații de sănătate ale pacienților în moduri neautorizate sau pot perpetua prejudecăți și/sau informații inexacte.

Pentru a menține confidențialitatea datelor pacienților, a rămâne în conformitate cu reglementările în evoluție și a minimiza riscurile costisitoare, liderii din sănătate trebuie să adopte o abordare decisivă pentru a dezamorsa “bomba cu ceas” a conformității “necontrolate” a LLM-urilor.

Starea actuală a utilizării LLM-urilor cu scop general în sănătate

În sănătate, personalul este din ce în ce mai mult implicat în utilizarea LLM-urilor pentru a sprijini sarcinile de zi cu zi, de la lucrul administrativ la comunicarea cu pacienții. Modelele LLM multimodale extind și mai mult aceste aplicații prin capacitatea lor de a procesa cu ușurință text, imagini și audio. Pe lângă sprijinul administrativ, vedem și o creștere a furnizorilor de servicii medicale care se întorc spre tehnologie pentru a sprijini nu numai lucrul de birou, ci și sarcinile clinice.

Aceste modele demonstrează deja rezultate impresionante, cu mai multe studii care arată că performanța LLM este la nivelul sau chiar depășește capacitățile umane în anumite domenii. De exemplu, modelul GPT-4 a trecut examenul de licență medicală din Statele Unite cu un scor general de 86,7%.

Inteligența artificială hibridă este o altă abordare emergentă a utilizării GenAI în sănătate, care combină învățarea automată (ML) și LLM-urile pentru a gestiona analize complexe și a traduce rezultatele în limbaj simplu. Prin integrarea ambelor modele, această abordare încearcă să depășească limitările LLM-urilor, inclusiv halucinațiile, inexactitățile și prejudecățile, în timp ce joacă la puterile sale. Inteligența artificială agențială este, de asemenea, în creștere, datorită capacității sale de a automatiza sarcini cheie fără intervenție umană, cum ar fi răspunsurile la mesaje de la pacienți sau programarea unor întâlniri.

Cu toate acestea, potențialul inteligenței artificiale subliniază, de asemenea, nevoia urgentă de o guvernanță mai proactivă. Cu cât aceste instrumente devin mai integrate în operațiunile de sănătate, cu atât mai mari sunt riscurile pentru asigurarea acurateței, securității și conformității.

Riscurile de conformitate ale LLM-urilor cu scop general în sănătate

În timp ce adoptarea digitală în sănătate a deblocat o multitudine de posibilități noi, a expus și vulnerabilități cheie. Între 1 noiembrie 2023 și 31 octombrie 2024, de exemplu, sectorul sănătății a înregistrat 1.710 incidente de securitate, dintre care 1.542 au implicat divulgări de date confirmate.

Era inteligenței artificiale adâncește aceste fisuri, adăugând o nouă stratificare a complexității datelor cu caracter personal și a securității. Mai specific, utilizarea LLM-urilor cu scop general în sănătate evocă mai multe riscuri cheie de conformitate:

Risc #1: Dezvoltarea “cutiei negre” împiedică monitorizarea continuă sau verificarea

Modelele închise lipsesc transparența cu privire la procesul de dezvoltare, cum ar fi ce surse de date specifice a fost modelul instruit sau cum se fac actualizările. Această opacitate împiedică dezvoltatorii și cercetătorii să analizeze modelul pentru a determina originea riscurilor de securitate sau a proceselor de luare a deciziilor. Ca urmare, LLM-urile închise pot permite utilizarea surselor de date medicale neverificate și pot permite vulnerabilităților de securitate să rămână necontrolate.

Risc #2: Scurgerea de date ale pacienților

LLM-urile nu se bazează întotdeauna pe datele pacienților anonimizate. Prompturi specializate sau interacțiuni pot dezvălui involuntar informații de sănătate identificabile, creând posibile încălcări ale HIPAA.

Risc #3: Perpetuarea prejudecăților și a informațiilor inexacte

În un experiment, cercetătorii au injectat un procent mic de fapte inexacte într-o categorie a bazei de cunoștințe a unui model biomedical, păstrându-și comportamentul în toate celelalte domenii. Cercetătorii au constatat că informațiile inexacte au fost propagate în întreaga ieșire a modelului, subliniind vulnerabilitățile LLM-urilor la atacurile de informații inexacte.

Orice defecte găsite în modelele de bază sunt moștenite de toate modelele adoptate și aplicațiile rezultate din modelul părinte. Disparitățile în ieșiri pot înrăutăți inegalitățile de sănătate, cum ar fi sfaturi inexacte pentru grupurile subreprezentate.

Risc #4: Neconcordanța reglementară

Utilizarea LLM-urilor cu scop general poate să nu respecte HIPAA, GDPR sau reglementările specifice inteligenței artificiale în evoluție, în special dacă furnizorii nu pot valida datele de antrenament. Aceste riscuri sunt exacerbate de faptul că angajații organizațiilor de sănătate utilizează instrumente AI neaprobate sau necontrolate, sau “inteligență artificială din umbră”. Conform IBM, 20% din organizațiile chestionate din toate sectoarele au suferit o încălcare a securității datorită incidentelor de securitate care implică “inteligență artificială din umbră”.

În cele din urmă, riscurile LLM-urilor cu scop general în sănătate au implicații reale în lumea reală, inclusiv acțiuni în justiție, daune reputaționale, pierderea încrederii pacienților și costurile proceselor.

Cele mai bune practici: Ghiduri și considerații LLM

Pentru a adopta GenAI în mod responsabil, liderii din sănătate trebuie să stabilească garduri clare care protejează atât pacienții, cât și organizațiile. Următoarele cele mai bune practici pot ajuta organizațiile de sănătate să stabilească o bază pentru utilizarea responsabilă și conformă a inteligenței artificiale:

Cea mai bună practică #1: Alegeți tehnologia AI în mod înțelept

Cereți claritate de la furnizori cu privire la modul în care tehnologia AI este dezvoltată și care sunt sursele de date utilizate în procesul de dezvoltare. Prioritizați instrumentele care utilizează doar conținut medical validat de experți, au procese de luare a deciziilor transparente și evită antrenarea modelelor pe informații de sănătate ale pacienților.

Cea mai bună practică #2: Construiți garduri de siguranță “om în buclă”

Asigurați-vă că clinicienii examinează orice ieșiri generate de AI care ar putea afecta deciziile de îngrijire. Inteligența artificială poate fi un instrument puternic, dar într-o industrie care are un impact direct asupra vieții pacienților, supravegherea clinică este cheia pentru a asigura utilizarea responsabilă și acuratețea oricăror informații asistate de AI.

Cea mai bună practică #3: Pregătirea personalului și a forței de muncă

Educați clinicienii și personalul cu privire la beneficiile și riscurile utilizării inteligenței artificiale pentru a reduce adoptarea “inteligenței artificiale din umbră”. Personalul din sănătate navighează într-un mediu de lucru complex, afectat de lipsa de personal și de ratele ridicate de epuizare. Simplificarea procesului de educație AI ajută la asigurarea conformității fără a adăuga o sarcină suplimentară la încărcătura lor de muncă.

Cea mai bună practică #4: Stabilirea unei culturi a guvernanței

Integrați evaluări ale soluțiilor AI de la terți pentru a verifica siguranța, fiabilitatea și conformitatea. În același timp, implementați un cadru clar, la nivel de organizație, pentru supravegherea inteligenței artificiale, care definește aprobarea, utilizarea și monitorizarea pentru a consolida încrederea în tehnologie și a preveni personalul să se întoarcă spre instrumente neautorizate.

Cea mai bună practică #5: Aliniați-vă cu conducerea pe probleme de stewardship AI

Colaborați cu conducerea pentru a rămâne înaintea reglementărilor în evoluție, precum și a ghidurilor de la FDA și ONC. Eforturile de reglementare sunt în curs de dezvoltare la nivel de stat. De exemplu, California a instituit Legea transparenței în inteligența artificială de frontieră, care subliniază divulgarea riscurilor, transparența și atenuarea, în special în mediile de sănătate, și există și Legea artificială a inteligenței din Colorado (CAIA), care este proiectată pentru a preveni discriminarea algoritmică.

Cea mai bună practică #6: Monitorizare continuă și bucle de feedback

Utilizarea inteligenței artificiale într-un mediu de sănătate nu ar trebui să fie abordată cu mentalitatea “setează și uită”. Stabilirea unui cadru pentru monitorizarea continuă poate ajuta la asigurarea acurateței instrumentelor AI, la consolidarea responsabilității și la menținerea conformității în timp.

Cea mai bună practică #7: Urmați parteneriate pentru a optimiza supravegherea și cercetarea

Organizațiile de sănătate ar trebui să valorifice parteneriatele cu reglementatorii și sectorul public pentru a maximiza supravegherea, a contribui cu perspectiva lor din industrie la standardele de siguranță și a combina resursele de specialitate.

Construirea încrederii prin conducerea conformității

Diferențierea soluțiilor de inteligență artificială în sănătate va depinde din ce în ce mai mult de calitatea conținutului lor de specialitate, de integritatea proceselor de evaluare și de integrarea responsabilă în fluxurile de lucru clinice. Următoarea fază a adoptării inteligenței artificiale va depinde mai puțin de cod și mai mult de conducerea conformității.

Încrederea este la fel de critică ca și conformitatea însăși. Pentru ca tehnologia să fie cu adevărat eficientă, pacienții și furnizorii de servicii medicale trebuie să creadă că inteligența artificială este sigură și aliniată cu îngrijirea de înaltă calitate și etică. Conducerea conformității este un avantaj strategic, nu doar o măsură defensivă. Organizațiile care stabilesc garduri de siguranță de la început, înainte de a apărea incidente dăunătoare, se vor diferenția într-un viitor al sănătății bazat pe inteligență artificială.