Raportul GEPI „Cum le dezamăgește inteligența artificială pe femei” analizează modul în care algoritmii amplifică prejudecățile de gen

Un scor de angajare, o evaluare a bonității sau o recomandare clinică pot părea imparțiale, deși perpetuează inegalitățile din datele pe care se bazează. Acesta este avertismentul central al noului raport al Gender Equity Policy Institute, Cum le dezamăgește inteligența artificială pe femei: când prejudecățile sunt amplificate, care reunește cercetări despre modul în care sistemele automatizate pot reproduce și, uneori, intensifica discriminarea de gen.

Redactat de cercetătoarea în învățare automată și cercetătoarea principală asociată GEPI, Myriam Shiran, PhD, raportul trece în revistă literatura academică și literatura gri din domenii precum oportunitățile economice, sănătatea, justiția penală, conținutul generat, proiectarea sistemelor de inteligență artificială pentru consumatori și abuzul sexual bazat pe imagini, facilitat de inteligența artificială. Este o sinteză a dovezilor existente, nu un experiment nou care evaluează fiecare sistem de inteligență artificială în raport cu un singur standard de referință.

Cel mai important argument al raportului privește ce se întâmplă după ce un rezultat părtinitor iese dintr-un model. Recomandările influențează deciziile, conținutul generat modelează așteptările, iar unele rezultate devin material pentru antrenări viitoare. Prin urmare, un tipar inechitabil poate deveni mai greu de identificat pe măsură ce trece prin sisteme succesive.

Datele de intrare neutre din perspectiva genului nu garantează rezultate echitabile

Eliminarea câmpului referitor la gen este o reacție intuitivă la discriminare. Analiza GEPI explică de ce această măsură, de una singură, nu este suficientă: numele, educația, istoricul profesional și alte detalii pot transmite în continuare indicii legate de gen. Rezultatele istorice pot, de asemenea, să codifice tratamente inegale înainte ca modelul să le întâlnească.

Un audit al procesului de recrutare citat în raport, realizat de Wilson și Caliskan în 2024, a inclus peste trei milioane de comparații simulate între CV-uri, în nouă ocupații. Modelele de selecție testate au favorizat semnificativ numele asociate bărbaților în 51,9% dintre comparații și numele asociate femeilor în 11,1% dintre acestea. În restul de 37% nu s-a observat o preferință semnificativă. Acestea sunt rezultate ale unor teste controlate ale modelelor, nu procente ale candidaților reali cărora li s-a refuzat un loc de muncă.

Dovezile variază și în funcție de modul de concepere a testelor. Raportul descrie un audit separat, din 2025, în care mai multe modele lingvistice nu au prezentat diferențe de gen atunci când cercetătorii au schimbat doar numele, în timp ce modificarea detaliilor despre educație a influențat scorurile. Un test restrâns poate să nu surprindă informații relevante în alte etape ale aceluiași flux de lucru.

În domeniul creditării, analiza face trimitere la o cercetare asupra a aproximativ 80.000 de împrumuturi personale negarantate acordate de o importantă companie fintech din SUA. Împrumuturile acordate femeilor au generat randamente mai mari pentru creditor; studiul a pus acest rezultat pe seama unui model care le supraestima riscul de nerambursare și stabilea prețul împrumuturilor în consecință. În acest caz, problema ține de relația dintre riscul estimat, rambursarea efectivă și prețul plătit de împrumutat, nu doar de prezența sau absența genului în cerere.

Inteligența artificială medicală are nevoie de mai mult decât un scor mediu ridicat

Sănătatea oferă un exemplu deosebit de clar al modului în care performanța la nivelul întregii populații poate ascunde diferențe importante. Un model poate avea rezultate bune în general, dar poate comite mai multe erori în cazul persoanelor subreprezentate în datele sale de antrenare sau validare.

GEPI citează un studiu din 2024 realizat de Zack și colegii săi, în care GPT-4 a primit cazuri de durere toracică identice în toate privințele, cu excepția faptului că pacientul era descris fie ca bărbat, fie ca femeie. În 200 de rulări pentru fiecare descriere, modelul a evaluat testarea cardiacă de efort ca fiind foarte importantă în 71% dintre cazurile cu bărbați și în 58% dintre cele cu femei — o diferență de 13 puncte procentuale.

Această constatare se referă la recomandările modelului într-o evaluare controlată, nu la decizii de tratament observate sau la rezultatele obținute de pacienți. Distincția este importantă, mai ales că raportul include studii exploratorii despre modele, boli și sarcini clinice diferite, desfășurate în perioade diferite.

Analiza adaugă și o precizare esențială: diferențele biologice relevante din punct de vedere clinic nu ar trebui pur și simplu eliminate. Provocarea este să se determine dacă o diferență între recomandările modelului reflectă o particularitate biologică relevantă sau o presupunere nefondată. Pentru aceasta sunt necesare date de evaluare reprezentative și o examinare atentă a erorilor, nu cerința ca toate recomandările să fie identice.

Prejudecățile pot influența atât reprezentarea, cât și deciziile

Raportul face distincția între prejudiciul adus accesului unei persoane la resurse — precum un împrumut sau îngrijirea medicală — și prejudiciul produs de modul în care sunt reprezentate grupurile. Scrisorile de recomandare, articolele de presă și imaginile despre diferite ocupații generate de inteligența artificială pot consolida stereotipuri chiar și atunci când nu urmează imediat o decizie de alocare a resurselor.

Cercetările sintetizate de GEPI au constatat că modelele lingvistice descriau femeile mai ales prin calități interpersonale, iar bărbații mai ales prin capacitatea de conducere sau competențe. Studiile despre generatoarele de imagini au identificat o segregare de gen exagerată în reprezentarea ocupațiilor. Aceste rezultate se referă la modelele și versiunile examinate; ele nu trebuie interpretate ca un nou audit al fiecărui sistem disponibil în prezent.

Asistenții pentru consumatori și companionii virtuali ridică o altă problemă. Vocile, personalitățile și reacțiile lor la hărțuire sunt alegeri deliberate de produs. Evaluarea exclusivă a echilibrului statistic al răspunsurilor lor poate trece cu vederea presupunerile încorporate în concepția produsului.

Analiza examinează și imaginile sexuale sintetice realizate fără consimțământ, în cazul cărora IA poate facilita producerea și distribuirea abuzului. Este vorba despre mai mult decât o reprezentare inexactă: folosirea, fără consimțământ, a imaginii unei persoane reale poate provoca daune directe. Acest lucru necesită un răspuns diferit de cel destinat corectării unui stereotip profesional în imaginile generate.

De ce contează testarea independentă

GEPI descrie patru mecanisme recurente: învățarea din date istorice inegale, reproducerea stereotipurilor, prezentarea judecăților drept măsurători obiective și posibilitatea ca rezultatele părtinitoare să influențeze deciziile sau modelele ulterioare.

Auditurile independente ajută la scoaterea la iveală a acestor mecanisme. Cercetătorii pot modifica un singur atribut în intrări comparabile din toate celelalte puncte de vedere și pot analiza cum se schimbă rezultatele, chiar și fără acces la arhitectura internă a unui model proprietar. Totuși, un test reușit pe un singur prompt sau pe un singur set de evaluare nu demonstrează echitatea întregului proces de implementare.

Pentru organizațiile care adoptă IA, implicația practică este că trebuie testat cazul concret de utilizare. O echipă de recrutare trebuie să analizeze traseul de la scorurile de selecție până la alegerea candidaților pentru interviu. Un creditor trebuie să compare estimările de risc cu rezultatele rambursărilor. O organizație din domeniul sănătății trebuie să înțeleagă ce pacienți sunt reprezentați în datele de validare și unde se concentrează erorile. Aceste verificări răspund unor întrebări diferite de cele privind fluența unui model sau acuratețea sa medie.

Ce stabilește raportul — și ce rămâne necunoscut

Raportul se bazează în principal pe dovezi din SUA, menționând totodată studii internaționale relevante. Sursele sale acoperă tehnologii, perioade și metode diferite. Unele documentează rezultate; altele scot la iveală comportamente îngrijorătoare în simulări. Analiza nu stabilește o rată universală a discriminării și nici nu arată că toate sistemele produc aceleași prejudecăți.

Raportul identifică și o problemă de măsurare: cercetătorii nu au adesea acces la datele instituționale necesare pentru a corela un rezultat cu consecințele sale. Este important să observi o disparitate, dar pentru a-i înțelege costul în lumea reală poate fi nevoie de documente deținute de angajatori, furnizori, creditori sau furnizori de servicii medicale.

Contribuția GEPI constă în reunirea unor constatări discutate adesea separat și în analizarea măsurii în care testarea și responsabilizarea însoțesc IA în deciziile pe care aceasta le influențează. Raportul complet, Cum le dezavantajează IA pe femei: când prejudecățile se amplifică, include metodologia, referințele studiilor și dovezile pe sectoare care susțin acest argument.