Google publică un cadru cu metode multiple pentru evaluarea IA în domeniul sănătății

Google a anunțat publicarea unei cărți albe la 4 noiembrie 2026, prezentând modul în care evaluează IA generativă de uz general în domeniul sănătății. Cadrul combină evaluări comparative cu întrebări cu răspuns închis, evaluatori automați bazați pe IA și analiza experților umani pentru a evalua acuratețea, siguranța și utilitatea în scenarii obișnuite și cu risc ridicat.

Autoarea, dr. Sarah Montgomery-Taylor, coordonează evaluarea clinică la Google for Health; dr. Elizabeth McGlynn și dr. Dana Gelb Safran au colaborat la această inițiativă. Google afirmă că a elaborat această abordare și continuă să o folosească pentru a evalua dacă modelele sale oferă răspunsuri utile și exacte, care susțin interacțiuni sigure în domeniul sănătății. Publicarea metodologiei urmărește să promoveze transparența și să-i ajute pe dezvoltatori, cercetători și medici să creeze instrumente în care oamenii să poată avea încredere.

Corelarea evaluării cu practica clinică reală

Autorii susțin că metodele de evaluare concepute pentru sarcini izolate nu acoperă în mod adecvat modelele de uz general. Ei dau exemplul unui model de IA anterior IA generative, care poate detecta cancerul pulmonar într-o tomografie computerizată, dar nu poate detecta cancerul mamar într-o mamografie sau rezuma o conversație într-o notă. Când un singur model poate îndeplini sute, mii sau chiar mai multe sarcini, dezvoltatorii și organizațiile din domeniul sănătății au nevoie de o modalitate de a prioritiza interacțiunile și riscurile.

Înainte de a alege cazurile de testare, evaluatorii stabilesc Parcursul critic al utilizatorului: cine folosește sistemul, ce dorește să realizeze și care sunt pașii implicați. Printre utilizatori se pot număra pacienți, membri ai familiei, medici sau administratori. Această cartografiere ajută la stabilirea unor date de testare și a unor indicatori reprezentativi. Ea acoperă și utilizarea preconizată, precum și formele frecvente de utilizare incorectă, inclusiv încrederea în sistem în afara indicațiilor aprobate și încercările de a ocoli filtrele de siguranță.

Fiecare aplicație este apoi evaluată în trei domenii. Acuratețea include concordanța cu consensul medical, susținerea prin dovezi, exactitatea factuală, raționamentul clinic și adecvarea la context; pentru sarcini precum rezumarea informațiilor medicale se evaluează și fundamentarea în surse. Siguranța ține seama nu doar de corectitudinea afirmațiilor, ci și de prejudiciile care pot apărea atunci când cineva interpretează un răspuns și acționează în consecință sau nu acționează. Evaluările iau în considerare atât gravitatea, cât și probabilitatea acestor prejudicii. Utilitatea vizează nivelul de înțelegere a informațiilor despre sănătate, relevanța, gradul de cuprindere și măsura în care cineva poate acționa pe baza răspunsului. Prin urmare, un răspuns poate fi exact, dar nesigur, sau exact și sigur, dar prea complex ori lipsit de indicații aplicabile pentru a-i fi de ajutor utilizatorului.

Exemplele din lucrare arată cum se schimbă riscul principal în funcție de sarcină. Pentru un consumator care verifică simptome, principala problemă de siguranță este neindicarea simptomelor de alarmă care necesită îngrijire urgentă; un răspuns exagerat de alarmist poate provoca, în schimb, anxietate inutilă, iar îndrumările neclare pentru autoevaluare pot împiedica parcurgerea pașilor următori adecvați. În cazul unui rezumat al externării, redactat de IA pentru un medic, halucinațiile, omisiunile și erorile factuale pun în pericol acuratețea, alergiile omise sau medicamentele contraindicate creează riscuri pentru siguranță, iar formatarea confuză sau cronologiile inconsecvente pot reduce utilitatea.

Combinarea evaluării automate la scară largă cu judecata umană

Prima metodă de evaluare se bazează pe teste cu răspunsuri definitive, precum întrebările cu variante multiple, care permit verificarea relativ ieftină a cunoștințelor de bază pe volume mari de date. Testele statice nu pot reproduce complexitatea și reprezentativitatea interacțiunilor reale. Contaminarea datelor reprezintă o altă limitare: când întrebările de testare apar în datele de antrenare, rezultatele pot reflecta pregătirea pentru test, nu capacitatea generalizată de raționament medical. Prin urmare, cadrul folosește aceste evaluări comparative pentru a stabili un nivel de referință și a orienta evaluările ulterioare; pentru validarea performanței în condiții reale sunt necesare și alte metode.

A doua metodă atribuie notarea unui alt sistem de IA. Acești evaluatori automați aplică grile de evaluare scrise răspunsurilor deschise, ceea ce permite examinarea unui număr mult mai mare de scenarii decât ar putea evalua în mod rezonabil experții. Ei pot analiza conversații simulate cu mai multe schimburi, în care utilizatorii nu oferă de la început detalii clinice, pentru a testa dacă modelul pune întrebări de clarificare înainte de a oferi îndrumări. Evaluatorii automați trebuie totuși validați în raport cu date de referință create de experți, deoarece pot recompensa răspunsurile prolixe, pot prefera răspunsurile generate de modele din propria familie și pot propaga adnotări umane cu mult zgomot.

Medicii și alți experți în domeniu analizează apoi cazurile pentru care grilele automate sunt cel mai puțin eficiente, inclusiv prezentările complexe, cazurile-limită și subiectele asupra cărora există un consens clinic limitat. Ei evaluează și dacă rezultatele corespund normelor clinice locale și diferitelor populații de pacienți. Testarea adversarială separată verifică limitele de siguranță prin tactici precum apelurile emoționale, prezentarea fictivă a situației sau asumarea identității unui profesionist din domeniul sănătății pentru a determina sistemul să genereze rezultate dincolo de domeniul de utilizare prevăzut al produsului. Și evaluarea umană este supusă erorilor: autorii menționează că doi medici pot ajunge la evaluări diferite cu 30–40% sau chiar mai mult într-o sarcină de notare, ceea ce impune măsuri de control al variabilității dintre evaluatori și o analiză adecvată.

Monitorizarea continuă după implementare

Evaluarea începe înainte ca produsul să existe, prin testarea capacităților generale și a siguranței modelului de bază. După ce modelul este integrat într-o aplicație, evaluarea se adaptează utilizatorilor și fluxului de lucru specifice produsului respectiv. Înainte de lansare, implementarea controlată poate include teste-pilot în umbră, fără ca utilizatorii să vadă rezultatele, proiecte-pilot clinice sau lansări etapizate, însoțite de testarea factorilor umani și a ușurinței în utilizare înainte de extinderea accesului.

Echipele clinice și cele de dezvoltare trebuie să stabilească împreună pragurile de promovare și ponderile grilei de evaluare la fiecare etapă de decizie privind produsul, în funcție de profilul de risc clinic al aplicației, nu pe baza unor praguri numerice universale sau arbitrare. După implementare, dezvoltatorii urmăresc deriva algoritmică și stabilitatea sistemului. Organizațiile care adoptă aceste soluții monitorizează siguranța fluxurilor de lucru clinice în cazul instrumentelor profesionale sau siguranța utilizatorilor și tiparele de utilizare în cazul produselor pentru consumatori.

Autorii afirmă că semnalele reactive, precum reclamațiile utilizatorilor și evenimentele santinelă, nu pot asigura singure monitorizarea după implementare. Seturile de testare diferă de interacțiunile reale, iar utilizatorii își schimbă solicitările și așteptările pe măsură ce capătă experiență. Concluziile monitorizării trebuie să fie reintegrate în cerințe, instruire și prioritățile evaluărilor ulterioare. Monitorizarea pe termen mai lung a interacțiunilor și a rezultatelor privind sănătatea se lovește de compartimentarea datelor, precum și de obstacole legate de confidențialitate și de aspecte tehnice și organizaționale. Articolul identifică, de asemenea, responsabilitățile comune ale dezvoltatorilor și sistemelor de sănătate, costurile implementării, validarea independentă și consensul științific drept aspecte de guvernanță care mai trebuie abordate.

Pentru dezvoltatori și sistemele de sănătate, cadrul mută accentul de la întrebarea dacă un model a trecut un test de referință static la întrebarea dacă acuratețea, siguranța și utilitatea pot fi demonstrate pe parcursul dezvoltării și implementării. Provocarea principală este una practică: conectarea monitorizării la responsabilizare, atribuirea responsabilităților, finanțarea activității și validarea independentă a rezultatelor dincolo de granițele organizaționale și de date.