Inteligența artificială în sănătate are o problemă de răspundere

În sănătate, inteligența artificială este acum încorporată în tot, de la decizii clinice la resurse umane și finanțe. Cu toate acestea, multe organizații încă lipsesc de delegarea gestionării riscurilor necesare pentru a se asigura că uneltele de inteligență artificială nu vor cauza daune. Lipsa unei supravegheri structurate înseamnă că deciziile legate de inteligența artificială sunt luate fără o răspundere clară, expunând organizațiile la riscul de încălcări etice și regulatorii.

Când nimeni nu este responsabil pentru deciziile și acțiunile inteligenței artificiale, punctele oarbe se vor extinde rapid. Consecințele unui sistem de inteligență artificială care ia decizii cu risc ridicat fără supraveghere sunt numeroase și de lungă durată, mai ales atunci când viața oamenilor este în joc.

Astăzi, lacunele de guvernanță a inteligenței artificiale arată mult ca punctele de inflexiune anterioare în care curba tehnologică s-a înclinat mai repede decât capacitatea întreprinderii de a o gestiona. Am trecut prin asta cu calculul în cloud: echipele au adoptat SaaS, IaaS și “shadow IT” pentru a se deplasa mai repede, în timp ce guvernanța a rămas în urmă în ceea ce privește aspectele de bază, cum ar fi clasificarea datelor, gestionarea identității și accesului, supravegherea furnizorilor, monitorizarea și clarificarea responsabilității comune – astfel încât răspunderea s-a împrăștiat pe întregul IT, securitate, achiziții și afaceri. Am văzut și acest lucru cu consumerizarea rapidă a IT-ului și a dispozitivelor mobile/BYOD, unde angajații au adus dispozitive și aplicații noi în medii reglementate cu mult înainte ca organizațiile să aibă politici mature pentru criptare, controlul punctelor de acces, verificarea aplicațiilor și redescoperirea electronică. În fiecare caz, adoptarea a fost rațională și adesea creatoare de valoare – dar lipsa unei proprietăți clare, a unor controale standardizate și a unei supravegheri pe tot parcursul vieții a creat eșecuri previzibile. Lecția pentru inteligența artificială este una simplă: guvernanța nu poate fi o gândire ulterioară atașată inovației; ea trebuie să fie construită ca orice altă infrastructură critică – intenționat, cu drepturi de decizie definite, monitorizare continuă și baraje executabile.

Problema cu răspunderea difuză

Implementarea rapidă a inteligenței artificiale a depășit dezvoltarea standardelor de guvernanță și răspundere, conducând la o “lacună de răspundere difuză” în care nicio entitate nu ia responsabilitatea atunci când inteligența artificială eșuează.

Răspunderea este deja o problemă omniprezentă în sănătate, iar inteligența artificială a adus noi provocări. Uneltele de inteligență artificială nu au o identitate juridică recunoscută, ceea ce înseamnă că nu pot fi chemate în judecată sau asigurate împotriva lor, nici nu pot plăti despăgubiri legale victimelor. În procedurile legale, culpa trebuie transferată unui actor uman sau unei corporații, nu unui instrument.

Cercetătorii din The Lancet, o revistă medicală de top, au argumentat recent că “structurile de răspundere instituțională trebuie să redistribuie responsabilitatea de la clinicieni la organizațiile care proiectează și implementează [uneltele de inteligență artificială]”. Este clar că astfel de întrebări cu privire la răspundere vor persista mult timp de acum înainte.

Uniunea Europeană încearcă să abordeze aceste probleme la scară regională. Blocul a introdus două instrumente legislative majore: Actul privind inteligența artificială, care reglementează utilizarea inteligenței artificiale în funcție de gradul de risc și subliniază importanța păstrării supravegherii umane; și Directiva privind răspunderea pentru inteligența artificială, care stabilește reguli noi care fac mai ușor pentru oameni să solicite despăgubiri pentru prejudicii cauzate de inteligența artificială.

Dar reglementarea singură nu va rezolva problema. Spitalele funcționează într-o rețea complexă de furnizori, clinicieni, administratori și echipe IT, astfel încât atunci când un sistem de inteligență artificială produce un output dăunător sau biasat, responsabilitatea este trecută ca o minge între părțile interesate: furnizorul poate indica o utilizare incorectă, clinicienii pot spune că proiectarea este defectuoasă, iar conducerea poate blama ambiguitatea regulamentară.

Toate acestea înseamnă că răspunderea este difuză, lăsând spitalele vulnerabile la bătălii legale majore.

Pasi practici pentru a închide lacunele de guvernanță

Vestea bună este că, chiar și fără reglementări cuprinzătoare, organizațiile din sănătate pot lua măsuri proactive pentru a închide lacunele de guvernanță a inteligenței artificiale. Pentru a începe, liderii pot începe cu raportul Organizației Mondiale a Sănătății, “Etica și guvernanța inteligenței artificiale pentru sănătate,” care își propune să maximizeze promisiunea inteligenței artificiale, minimizând riscul.

Pașii descriși în acest raport urmăresc să protejeze autonomia, să promoveze bunăstarea umană și siguranța publică, să asigure transparența și explicabilitatea, și să încurajeze responsabilitatea și răspunderea. Pentru a aborda lacunele de guvernanță, să ne concentrăm pe ultimele două puncte.

Implementați o abordare unitară pentru guvernanța inteligenței artificiale, asigurându-vă că este direcționată de sus în jos de consilii sau experți. În prezent, multe organizații permit departamentelor individuale să utilizeze inteligența artificială acolo unde o consideră potrivit, lăsând liderii incapabili să explice cum și unde organizația utilizează aceste unelte. Vizibilitatea este esențială, așa că asigurați-vă că aveți o listă a exact cui sunt utilizate aceste unelte și în ce scop.

Este la fel de important să stabiliți linii clare de răspundere pe tot parcursul ciclului de viață al inteligenței artificiale. Acest lucru înseamnă să faceți o persoană sau un departament responsabil pentru tot, de la achiziție și validare la monitorizarea implementării, și răspuns la incidente. Spitalele trebuie să solicite furnizorilor să îndeplinească standarde de transparență și auditabilitate definite, și să se asigure că echipele interne sunt instruite pentru a înțelege atât capacitățile, cât și limitările sistemelor de inteligență artificială.

În final, guvernanța trebuie să fie operaționalizată, nu doar documentată. Încorporați politici în fluxurile de lucru prin integrarea evaluărilor de risc ale inteligenței artificiale în procesele de achiziție, efectuarea unor audituri regulate ale performanței inteligenței artificiale, și crearea mecanismelor pentru personalul din linia întâi să raporteze preocupări fără fricțiuni.

În practică, închiderea lacunei de guvernanță este mai puțin despre introducerea unor principii noi și mai mult despre impunerea disciplinei: standardizați modul în care inteligența artificială intră în organizație, definiți cine deține proprietatea la fiecare etapă, și asigurați-vă că performanța sa este monitorizată continuu. Fără această disciplină, uneltele de inteligență artificială vor continua să depășească structurile proiectate pentru a le ține în siguranță.

Riscul ascuns: calitatea datelor

Chiar și atunci când structurile de răspundere sunt în loc, un alt risc este adesea subestimat: integritatea datelor care alimentează sistemele de inteligență artificială și modul în care aceste sisteme evoluează în timp. Orice sistem de inteligență artificială este la fel de fiabil ca și datele pe care este antrenat și de la care învață continuu, iar mediile de date ale spitalelor sunt notoriu fragmentate, inconsistente și predispuse la lacune.

Înregistrările electronice de sănătate, sistemele de imagistică și platformele administrative adesea funcționează în silozuri, creând discrepanțe care pot afecta direct ieșirile inteligenței artificiale. Un model antrenat pe seturi de date incomplete sau biasate poate produce recomandări defectuoase care pot rămâne nedetectate până când prejudiciul a fost deja cauzat. Acest lucru este deosebit de periculos în medii clinice, unde deviațiile mici de acuratețe pot se traduce în consecințe semnificative pentru pacienți.

Problema este și mai gravă de ” deriva modelului “: tendința sistemelor de inteligență artificială de a se abate de la instrucțiuni și context pe măsură ce mai multe date intră în sistem. Pe măsură ce populațiile de pacienți evoluează, noi protocoale de tratament sunt introduse, și factorii externi afectează operațiunile, ipotezele de bază ale uneltelor de inteligență artificială pot să se schimbe. Fără monitorizare și recalibrare continuă, un sistem de inteligență artificială care a funcționat odată în mod fiabil poate începe să ia acțiuni sau să sugereze soluții care se abat de la instruirea sa.

Pentru a aborda deriva modelului, spitalele trebuie să trateze sistemele de inteligență artificială ca active dinamice cu risc ridicat, și nu ca unelte statice. Acest lucru înseamnă implementarea monitorizării continue a performanței, stabilirea unor praguri clare pentru acuratețe acceptabilă, și definirea proprietății pentru reantrenare și validare. Guvernanța datelor trebuie, de asemenea, să fie consolidată, cu practici standardizate pentru calitatea datelor, interoperabilitate și detectarea biasului.

Fără confruntarea riscurilor legate de calitatea datelor și deriva modelului, chiar și cele mai bune cadre de guvernanță a inteligenței artificiale vor fi incomplete. Pentru sistemele de inteligență artificială din sănătate, care sunt la fel de bune ca datele care le susțin, ignorarea acestui strat de risc creează potențialul pentru o eșuare sistemică mai devreme sau mai târziu.

Asigurați-vă că faceți lucrurile corect înainte de a le pune în funcțiune

Inteligența artificială are potențialul de a transforma sănătatea prin îmbunătățirea eficienței, acurateței și rezultatelor pacienților. Dar fără o răspundere clară a riscurilor pe care le ridică, acel potențial poate deveni rapid o problemă.

Spitalele nu își pot permite să trateze guvernanța inteligenței artificiale ca pe un exercițiu de conformitate. Ea trebuie tratată ca o prioritate operațională de bază: definiți proprietatea, structurați supravegherea și evaluați continuu. Pentru că în sănătate, atunci când ceva merge prost, consecințele pot fi mult mai grave decât a cărui este vina.