Inteligența Artificială din Sănătate Are o Problemă de Răspundere

În sănătate, inteligența artificială (IA) este acum integrată în tot, de la decizii clinice la resurse umane și finanțe. Cu toate acestea, multe organizații încă lipsesc structura de delegare a gestionării riscurilor necesară pentru a se asigura că uneltele IA nu cauzează prejudicii. Lipsa unei supravegheri structurate înseamnă că deciziile legate de IA sunt luate fără o răspundere clară, expunând organizațiile la riscul încălcării etice și regulatorii.

Când nimeni nu este responsabil pentru deciziile și acțiunile IA, punctele oarbe se vor extinde rapid. Consecințele unui sistem IA care ia decizii cu risc ridicat fără supraveghere sunt numeroase și de lungă durată, în special atunci când viețile oamenilor sunt în joc.

Astăzi, lacunele de guvernanță IA arată mult ca punctele de inflexiune anterioare în care curba tehnologică s-a înclinat mai repede decât capacitatea întreprinderii de a o gestiona. Am trecut prin asta cu calculul în cloud: echipele au adoptat SaaS, IaaS și “shadow IT” pentru a se deplasa mai repede, în timp ce guvernanța a rămas în urmă în ceea ce privește aspecte de bază precum clasificarea datelor, gestionarea identității și accesului, supravegherea furnizorilor, înregistrarea/monitorizarea și claritatea responsabilității împărtășite – astfel încât răspunderea s-a împrăștiat pe întregul IT, securitate, achiziții și afaceri. Am văzut și acest lucru cu consumerizarea rapidă a IT-ului și a dispozitivelor mobile/BYOD, unde angajații au adus dispozitive și aplicații noi în medii reglementate cu mult înainte ca organizațiile să aibă politici mature pentru criptare, controlul punctelor de acces, verificarea aplicațiilor și descoperirea electronică. În fiecare caz, adoptarea a fost rațională și adesea valoroasă – dar lipsa unei proprietăți clare, a unor controale standardizate și a unei supravegheri pe tot parcursul ciclului de viață a creat eșecuri previzibile. Lecția pentru IA este simplă: guvernanța nu poate fi o gândire ulterioară atașată inovației; ea trebuie să fie construită ca o infrastructură critică – intenționat, cu drepturi de decizie definite, monitorizare continuă și garduri de protecție aplicabile.

Problema cu răspunderea difuză

Implementarea rapidă a IA a depășit dezvoltarea standardelor de guvernanță și răspundere, ducând la o “lacună de răspundere difuză” în care nicio entitate unică nu își asumă răspunderea atunci când IA eșuează.

Răspunderea este deja o problemă omniprezentă în sănătate, iar IA a adus noi provocări. Uneltele IA nu au o identitate juridică recunoscută, ceea ce înseamnă că nu pot fi chemate în judecată sau asigurate împotriva lor, nici nu pot plăti despăgubiri legale victimelor. În procedurile legale, culpa trebuie transferată unui actor uman sau unei corporații, nu unui instrument.

Cercetătorii din The Lancet, o revistă medicală de cercetare de top, au argumentat recent că “structurile de răspundere instituțională trebuie să redistribuie răspunderea de la clinicieni la organizațiile care proiectează și implementează [uneltele IA]”. Este clar că astfel de întrebări cu privire la răspundere vor persista mult timp de acum înainte.

Uniunea Europeană încearcă să abordeze aceste probleme la nivel regional. Blocul a introdus două instrumente legislative majore: Actul IA, care reglementează utilizarea IA în funcție de gradul de risc și subliniază importanța păstrării supravegherii umane; și Directiva privind răspunderea IA, care stabilește reguli noi care fac mai ușor pentru oameni să solicite despăgubiri pentru prejudicii cauzate de IA.

Dar reglementarea singură nu va rezolva problema. Spitalele funcționează într-o rețea complexă de furnizori, clinicieni, administratori și echipe IT, astfel încât atunci când un sistem IA produce un output dăunător sau biasat, răspunderea este transmisă ca o minge între părțile interesate: furnizorul poate indica o utilizare incorectă, clinicienii pot spune că proiectarea este defectuoasă, iar conducerea poate blama ambiguitatea regulamentară.

Toate acestea înseamnă că răspunderea este difuză, lăsând spitalele vulnerabile la bătălii legale majore.

Pași practici pentru a închide lacunele de guvernanță

Vestea bună este că, chiar și fără reglementări cuprinzătoare, organizațiile din sănătate pot lua măsuri proactive pentru a închide lacunele de guvernanță IA. Pentru a începe, liderii pot începe cu raportul Organizației Mondiale a Sănătății, “Etica și guvernanța inteligenței artificiale pentru sănătate,” care își propune să maximizeze promisiunea IA, minimizând riscul.

Pașii descriși în acest raport urmăresc să protejeze autonomia, să promoveze bunăstarea umană și siguranța publică, să asigure transparența și explicabilitatea, și să încurajeze răspunderea și răspunderea. Pentru a aborda lacunele de guvernanță, să ne concentrăm pe ultimele două puncte.

Implementați o abordare unificată pentru guvernanța IA, asigurându-vă că este condusă de sus în jos de consilii sau experți. În prezent, multe organizații permit departamentelor individuale să utilizeze IA acolo unde o consideră potrivit, lăsând liderii incapabili să explice cum și unde organizația utilizează aceste unelte. Vizibilitatea este esențială, deci asigurați-vă că aveți o listă a exact cui sunt utilizate aceste unelte și în ce scop.

Este la fel de important să stabiliți linii clare de răspundere de-a lungul ciclului de viață al IA. Acest lucru înseamnă să faceți o persoană sau un departament responsabil pentru tot, de la achiziție și validare la monitorizarea implementării și răspunsul la incidente. Spitalele trebuie să solicite furnizorilor să îndeplinească standarde de transparență și auditabilitate definite, și să se asigure că echipele interne sunt instruite pentru a înțelege atât capacitățile, cât și limitările sistemelor IA.

În final, guvernanța trebuie să fie operaționalizată, nu doar documentată. Încorporați politici în fluxuri de lucru prin integrarea evaluărilor de risc IA în procesele de achiziție, efectuarea unor audituri regulate ale performanței IA, și crearea mecanismelor pentru personalul din prima linie să raporteze preocupări fără fricțiuni.

În practică, închiderea lacunei de guvernanță este mai puțin despre introducerea unor principii noi și mai mult despre impunerea disciplinei: standardizați modul în care IA intră în organizație, definiți cine deține proprietatea la fiecare etapă, și asigurați-vă că performanța este monitorizată continuu. Fără această disciplină, uneltele IA vor continua să depășească structurile proiectate pentru a le ține în siguranță.

Riscul ascuns: calitatea datelor

Chiar și atunci când structurile de răspundere sunt în loc, un alt risc este adesea subestimat: integritatea datelor care alimentează sistemele IA și modul în care aceste sisteme evoluează în timp. Orice sistem IA este la fel de fiabil ca și datele pe care este antrenat și pe care le învață continuu, iar mediile de date ale spitalelor sunt notoriu fragmentate, inconsistente și predispuse la lacune.

Înregistrările electronice de sănătate, sistemele de imagistică și platformele administrative funcționează adesea în silozuri, creând discrepanțe care pot afecta direct ieșirile IA. Un model antrenat pe seturi de date incomplete sau biasate poate produce recomandări defectuoase care pot rămâne nedetectate până când prejudiciul a fost deja cauzat. Acest lucru este deosebit de periculos în mediile clinice, unde deviațiile mici de acuratețe pot se traduce în consecințe semnificative pentru pacienți.

Problema este accentuată de ” deriva modelului“: tendința sistemelor IA de a se abate de la instrucțiuni și context pe măsură ce mai multe date intră în sistem. Pe măsură ce populațiile de pacienți evoluează, noi protocoale de tratament sunt introduse, și factori externi afectează operațiunile, ipotezele de bază ale uneltelor IA pot să se schimbe. Fără monitorizare și recalibrare continuă, un sistem IA care a funcționat odată în mod fiabil poate începe să ia acțiuni sau să sugereze soluții care se abat de la antrenamentul său.

Pentru a aborda deriva modelului, spitalele trebuie să trateze sistemele IA ca active dinamice cu risc ridicat, și nu ca unelte statice. Acest lucru înseamnă implementarea monitorizării continue a performanței, stabilirea unor praguri clare pentru acuratețe acceptabilă, și definirea proprietății pentru reantrenare și validare. Guvernanța datelor trebuie, de asemenea, să fie consolidată, cu practici standardizate pentru calitatea datelor, interoperabilitate și detectarea biasului.

Fără confruntarea riscurilor legate de calitatea datelor și deriva modelului, chiar și cele mai bune cadre de guvernanță IA vor fi incomplete. Pentru sistemele IA din sănătate, care sunt la fel de bune ca datele care le susțin, ignorarea acestui strat de risc creează potențialul pentru o eșuare sistemică mai devreme sau mai târziu.

Puneți totul în ordine înainte de a începe

IA are potențialul de a transforma sănătatea prin îmbunătățirea eficienței, acurateței și rezultatelor pacienților. Dar fără o răspundere clară a riscurilor pe care le ridică, acel potențial poate deveni rapid o obligație.

Spitalele nu își pot permite să trateze guvernanța IA ca pe un exercițiu de conformitate. Ea trebuie tratată ca o prioritate operațională de bază: definiți proprietatea, structurați supravegherea și evaluați continuu. Pentru că în sănătate, atunci când ceva merge prost, consecințele pot fi mult mai grave decât a cui este vina.