Inteligența artificială nu elimină prejudecățile umane. Le amplifică.

Inteligența artificială este adesea prezentată ca o modalitate de a lua decizii mai obiective: se consideră că, dacă eliminăm judecata umană, eliminăm și prejudecățile umane. Tot mai multe cercetări infirmă această idee.

Sistemele de inteligență artificială învață din istoria oamenilor. Sunt antrenate pe baza deciziilor noastre, a limbajului nostru, a instituțiilor noastre și, inevitabil, a punctelor noastre oarbe. Când aceste sisteme selectează candidați, alocă servicii medicale sau evaluează angajați, pot reproduce acele prejudecăți la o scară și cu o viteză de neatins pentru orice om luat individual.

Problema mai gravă este că deciziile par neutre. Apare un scor. Se afișează o ierarhie. Este generată o recomandare. Nu există indicii vizibile despre presupunerile care stau la baza lor și nimeni din încăpere nu se simte neapărat răspunzător pentru rezultat.

De aceea, prejudecățile din inteligența artificială nu sunt, în primul rând, o problemă a modelului. Sunt o problemă de guvernanță. Un model poate fi reantrenat, însă întrebările mai dificile țin de organizație: cine răspunde de fiecare decizie, ce urmărește să optimizeze sistemul și cine are autoritatea de a-l contesta.

Prejudecățile umane intră în inteligența artificială și se întorc la viteza mașinilor

Mecanismul nu este misterios. Modelele identifică tipare statistice în datele de antrenare, iar dacă rezultatele istorice (cine a fost angajat, cine a primit îngrijiri medicale) reflectă deja discriminarea, ținta pe care modelul învață să o prezică este distorsionată încă de la început. Studii recente arată cât de ușor se întâmplă acest lucru în cazul diferiților furnizori și al diverselor sarcini:

• Angajare la scară largă. O analiză realizată de Stanford pe 4 milioane de candidaturi reale la locuri de muncă a constatat că 26% dintre candidații de culoare și 15% dintre candidații asiatici au aplicat pentru posturi la care sistemul de inteligență artificială discrimina grupul lor rasial. Modelele învățaseră pe baza deciziilor de angajare luate de oameni de-a lungul mai multor decenii.
• Ierarhizarea CV-urilor. Cercetători de la University of Washington au evaluat peste 550 de CV-uri reale cu modele lingvistice actuale și au constatat că numele asociate persoanelor albe au fost favorizate în 85% dintre cazuri, în timp ce numele bărbaților de culoare au fost rareori preferate.
• Comunicarea la locul de muncă. Cercetări publicate de Johns Hopkins la începutul acestui an au arătat că GPT-4, Llama, Gemma și Mistral au generat e-mailuri profesionale mai puțin sofisticate și mai puțin formale atunci când instrucțiunile conțineau tipare de limbaj asociate mai frecvent cu femeile.

Odată implementat un astfel de sistem, aceste tipare nu mai țin doar de datele de antrenare, ci devin parte a deciziilor de zi cu zi.

Adevăratul pericol este amploarea și tăcerea

Un recrutor părtinitor ar putea analiza câteva sute de CV-uri într-un an. Un sistem de selecție părtinitor poate procesa milioane de candidaturi peste noapte, aplicând aceeași logică greșită fiecăreia. O decizie părtinitoare luată de un om este adesea un caz izolat; deciziile părtinitoare ale unui model pot deveni rapid politică.

Sistemul de sănătate oferă unul dintre cele mai grăitoare exemple. Un algoritm utilizat pe scară largă, care a afectat milioane de pacienți, a fost conceput pentru a-i identifica pe cei care ar beneficia de îngrijiri suplimentare. A evaluat pacienții de culoare ca fiind mai sănătoși decât pacienții albi la fel de bolnavi. Nimeni nu scrisese o regulă rasistă. Algoritmul folosea cheltuielile pentru servicii medicale ca indicator indirect al nevoii de îngrijiri medicale și, pentru că pacienții de culoare primiseră în trecut mai puține îngrijiri și, prin urmare, generaseră cheltuieli mai mici, interpreta cheltuielile mai mici drept un semn de sănătate mai bună. Potrivit analizei cercetătorilor publicate în Science, corectarea acelei singure alegeri de proiectare ar fi crescut de la 17,7% la 46,5% ponderea pacienților de culoare identificați ca având nevoie de ajutor suplimentar.

Sistemele de inteligență artificială nu reflectă pur și simplu indicatorii pe care le cerem să îi urmărească, ci și presupunerile care stau la baza acestor indicatori. Prejudecățile umane sunt la fel de reale; doar că sunt mai greu de observat și de testat, motiv pentru care soluția constă într-o guvernanță mai bună, nu în renunțarea la automatizare.

Includeți responsabilitatea în procesul decizional

Abordarea standard pentru implementarea inteligenței artificiale constă în alegerea unui model, integrarea lui în fluxul de lucru, monitorizarea performanței și îmbunătățirea lui în timp. Când rezultatele sistemului afectează oamenii, acest lucru nu este suficient.

Eu numesc alternativa integrare înaintea implementării: persoana responsabilă rămâne parte a procesului decizional și are autoritatea reală de a schimba decizia, în loc să verifice tablouri de bord o dată pe trimestru, după ce aceasta a fost luată. Abordarea începe cu trei pași:

1. Cartografiați fiecare decizie pe care inteligența artificială o filtrează, o evaluează sau o aprobă în prezent și desemnați pentru fiecare un responsabil uman nominalizat.
2. Auditați istoricul pe baza căruia este antrenat modelul, înainte ca acesta să devină politică.
3. Asigurați-le angajaților posibilitatea de a se opune deciziilor modelului și urmăriți frecvența acestor intervenții.

Al treilea pas este cel mai important. Dacă angajații învață că dezacordul cu mașina va fi considerat o greșeală, încetează să se mai opună, iar inteligența artificială devine, de facto, factorul de decizie, chiar dacă, din punct de vedere tehnic, un om rămâne „în circuitul decizional”. Întrebarea nu este dacă un om are ultimul cuvânt, ci dacă acea persoană are autoritatea, informațiile și siguranța psihologică necesare pentru a spune: „Mașina greșește.”

Reantrenarea ajută, dar prejudecățile pătrund prin decizii: ce urmărește să optimizeze modelul, ce date sunt luate în considerare, cine verifică rezultatul. Acolo trebuie să căutăm. Este nevoie și de lideri în domeniul inteligenței artificiale care să poată întreba de ce a ierarhizat sistemul anumite lucruri într-un anumit fel și care să aibă autoritatea de a acționa în funcție de răspuns.

Rata intervențiilor asupra sistemului este utilă tocmai pentru că poate fi interpretată în mai multe feluri. Dacă oamenii intervin foarte rar asupra sistemului, este posibil ca acesta să fie pur și simplu precis. Sau poate că au învățat că nu este sigur să nu fie de acord. Dacă doar persoanele cu funcții superioare intervin asupra lui, angajații juniori ar putea să fi învățat să tacă, deși adesea ei sunt cei mai apropiați de rezultate și de persoanele afectate. Scopul nu este să nu existe nicio intervenție. Scopul este o cultură în care o intervenție bine argumentată este considerată un semn că sistemul funcționează. Când cineva intervine asupra modelului și se dovedește că are dreptate, spuneți povestea pe larg. Ar putea fi cel mai bun material de instruire despre IA pe care îl produce vreodată compania dumneavoastră.

Testați rezultatele, nu intențiile

Organizațiile nu trebuie să aștepte un eșec major pentru a începe să depisteze prejudecățile. Trei teste pot fi efectuate chiar acum:

1. O comparație controlată. Efectuați aceeași sarcină, modificând doar indiciul demografic, cum ar fi numele dintr-un CV sau dialectul folosit într-un prompt. Mențineți constante toate celelalte elemente, inclusiv șablonul promptului și ordinea intrărilor. Deoarece rezultatele modelului variază de la o rulare la alta, repetați fiecare pereche de mai multe ori și folosiți suficiente perechi pentru ca diferența să nu poată fi pusă pe seama întâmplării. În esență, așa au identificat cercetătorii disparitățile din clasamentele CV-urilor și din comunicările generate la locul de muncă, iar o echipă internă poate realiza o primă versiune într-o după-amiază.
2. Un audit al variabilelor-proxy. Pentru fiecare indicator pe care îl optimizează sistemul, puneți-vă două întrebări: ce măsoară de fapt acest număr și pe cine ar putea să nu ia în calcul? Algoritmul din domeniul sănătății nu prezicea prost indicatorul ales. Prezicea bine costurile. Problema era că acestea țineau locul nevoilor medicale. Un sistem poate fi precis potrivit propriului indicator și, cu toate acestea, poate greși grav în privința persoanelor pe care le afectează.
3. O comparație a rezultatelor. Comparați ratele de selecție sau de aprobare între grupuri, în condiții reale de utilizare. Regula empirică a celor patru cincimi, folosită în practicile de angajare din SUA și care semnalează un grup a cărui rată scade sub 80% din rata celui mai bine situat grup, este un test preliminar frecvent utilizat. Asociați-o cu monitorizarea intervențiilor descrisă mai sus.

Aceste teste au limite. Înlocuirea numelui identifică indiciile demografice explicite, dar nu și variabilele-proxy, precum codul poștal, întreruperile studiilor sau ale activității profesionale, motiv pentru care este importantă comparația rezultatelor. Măsurile tehnice de atenuare (reechilibrarea ponderii datelor de antrenare, adăugarea unor constrângeri de echitate, ajustarea pragurilor de decizie) pot reduce disparitățile, dar impun o alegere. Cercetările realizate de Kleinberg, Mullainathan și Raghavan, precum și, separat, de Chouldechova, au arătat că atunci când grupurile au rate de bază diferite, în general, un model nu poate asigura simultan calibrarea și rate egale de eroare. Modelul nu poate decide ce definiție a echității ar trebui să aibă prioritate. Este o decizie pe care cineva trebuie să și-o asume și să o documenteze, ceea ce readuce problema la guvernanță.

Evaluați echitatea alături de precizie

Prea des, echitatea este tratată ca o inițiativă separată, pe care departamentul de resurse umane sau cel juridic o analizează după ce echipa tehnică a evaluat precizia, eficiența și costurile. Tocmai această separare face parte din problemă. Echitatea ar trebui evaluată în aceeași ședință cu precizia și costurile, cu aceeași responsabilitate și cu o persoană desemnată să răspundă de ea.

La această discuție ar trebui să participe departamentele de resurse umane și juridic, dar și persoane care au fost judecate greșit de sisteme de acest fel. Persoanele subestimate observă adesea primele ce nu sesizează un sistem. Aceasta este o idee centrală a cărții mele, The Bias Advantage: perspectivele pe care organizațiile le-au ignorat în mod tradițional devin o sursă valoroasă de informații odată ce sunt incluse în procesul decizional.

Obiectivul nu este un sistem de IA care să nu greșească niciodată, lucru nerealist. Obiectivul este o organizație capabilă să recunoască atunci când IA greșește, să înțeleagă de ce și să intervină înainte ca eroarea să devină realitatea altcuiva.