Graficele spectaculoase pot face ca și cercetarea “rea” să pară de încredere

Noi cercetări arată că adăugarea de grafice elaborate și complexe poate face ca oamenii să aibă încredere în deciziile părtinitoare ale inteligenței artificiale, chiar dacă acestea sunt în mod evident injuste.

Deși practica de a “‘orbi cu știința’” precede semnificativ actuala eră a inteligenței artificiale, ea este, în mod evident, perfecționată în această eră – și nu în ultimul rând pentru că creșterea recentă a depunerilor de lucrări științifice a făcut ca raportul semnal-zgomot să fie nefavorabil, iar “trucurile ieftine” să fie, probabil, mai frecvente.

Conform vechii zicale “minciuni, minciuni blestemate și statistici“, instrumentul central utilizat pentru a înșela sau a induce în eroare cititorii, atunci când se prezintă noi sisteme și dovezi științifice care explică sau justifică afirmații despre acestea, sunt graficele și vizualizările de date.

Într-un studiu din 2019 privind efectul graficelor asupra participanților din Pennsylvania rurală, autorii lucrării au observat:

‘Oamenii care au fost afectați de abuz sau dependență s-au îndreptat spre grafice care reprezentau aceste substanțe. Oamenii au determinat, de obicei, calitatea unui grafic care conținea informații geografice în funcție de cât de ușor sau de greu era să-și găsească statul de origine.

‘Alți oameni au tendința de a valoriza graficele nu pe baza propriei lor înțelegeri, ci pe baza eficacității percepute a graficului în comunicarea cu alți oameni.

‘În cele din urmă, un participant a sugerat chiar că ar acorda mai multă atenție vizualizărilor de la surse locale de știri decât celor naționale.’

Unele dintre graficele prezentate locuitorilor din Pennsylvania rurală într-un studiu din 2019. Sursă

Efectul hipnotic al graficelor de date devine din ce în ce mai pertinent în noua eră a învățării automate, unde încrederea este esențială pentru menținerea economiei inteligenței artificiale (și, probabil, pentru a preveni un crash).

Colaborarea din 2024 dintre SUA și Regatul Unit introduce conceptul de Trust Junk: o vizualizare XAI ‘care nu are nicio legătură semnificativă cu modelul sau datele subiacente [și] este utilizată pentru a îmbunătăți încrederea’:

Din lucrarea ‘Trust Junk and Evil Knobs: Calibrating Trust in AI Visualization’, un exemplu de date distorsionate pentru a servi un scop anterior (dreapta), în loc de a fi afișate în mod explicit (stânga). Acest tip de abordare ‘încurajează suprapunerea și oferă o iluzie de control’, conform lucrării. Sursă

Un studiu rapid

De la introducerea conceptului de Trust Junk, acesta nu a fost testat – o omisiune corectată de o nouă lucrare din SUA, în care participanții au fost prezentați cu rezultate dintr-un studiu presupus al inteligenței artificiale, referitor la care dintre un grup de candidați era probabil să promoveze examenul de bar din SUA.

Dacă se uită cu atenție, se poate observa că criteriile de filtrare erau a) toți bărbații de culoare și b) toată lumea – cu prezicerea că toți bărbații de culoare vor eşua la examen:

Din noua lucrare: un stimul annotat utilizat în experimentele autorilor, care arată o decizie a modelului (C) cu privire la faptul dacă un candidat (B) va promova examenul de bar, alături de componente explicative care funcționează ca ‘trust junk’ (A, D, E, F). Modelul este discriminatoriu, dar cantități crescânde de informații explicative în mare parte irelevante duc la faptul că participanții sunt de acord mai mult cu ieșirile sale și le consideră corecte. Sursă

Majoritatea participanților au mers pe linia prezicțiilor modelului și l-au evaluat ca corect și demn de încredere, cu acordul, încrederea și percepția corectitudinii crescând pe măsură ce au fost adăugate mai multe grafice și detalii irelevante – chiar dacă mai puțini oameni au observat evidentul și văditul bias rasial.

Unii utilizatori au obiectat la studiu, dar nu din motive aparent legate de problema centrală:

‘Am notat 19 cazuri în care participanții au descris în mod explicit modelul nostru ca fiind corect (de exemplu, [un participant] a spus: “Este corect întrucât nu are nicio bias rasială sau de gen”). Cu toate acestea, participanții au exprimat, ocazional, neliniști cu privire la model. [Un participant] a spus că era îngrijorat de “ce fel de întuneric oamenii ar putea folosi pentru asta.”

Cu toate acestea, în cadrul celor trei grupuri de studiu din rândul participanților, fiecare grup fiind supus unor cantități crescânde de Trust Junk, niciunul nu a identificat adevărata problemă.

Autorii concluzionează*:

‘În sinteză, am constatat că trust junk a funcționat: participanții au fost fie “liniștiți” de informațiile irelevante, fie “amorțiți” de cantitatea uriașă de date din explicații.

‘Toate aceste manipulări și persuasiuni au avut loc în contextul unui model care era superficial și profund injust, exact cazul în care am spera ca XAI să împuternicească auditoriul larg să ia decizii corecte.’

Deoarece suntem din ce în ce mai sfătuiți să verificăm ce ne spune inteligența artificială (indiferent dacă este vorba de motive suspecte de a-și servi interesele sau de ieșiri eronate), suntem înclinați să săpăm mai adânc decât titlurile și să analizăm materialul sursă al lucrărilor de cercetare, rapoartelor trimestriale ale companiilor și altor formate de livrare a informației departe de neutre.

Dar suntem pregătiți să acordăm mai multă atenție graficelor “liniștitoare” care ne asigură de acuratețe – sau, cel puțin, să diminuăm “miasma de veracitate” pe care o pot evoca o mulțime de grafice?

Noua lucrare se intitulează “Trust Junk” conduce la susținerea nejustificată a unor modele predictive extrem de discriminatorii și provine de la trei cercetători de la Universitatea Northeastern din Boston, Massachusetts. Un site suplimentar a fost, de asemenea, pus la dispoziție.

Metoda

Autorii au efectuat un experiment crowdsourced între subiecți (adică, participanți diferiți au fost repartizați în condiții diferite) pe “trust junk” în explicațiile XAI, testând dacă cantități crescânde de detalii tehnice corecte, dar irelevante, ar putea convinge utilizatorii că un model părtinitor este corect și util.

Stimulii s-au bazat pe lucrări anterioare, iar panourile XAI rezultate au combinat multiple tehnici de explicație într-un singur interfață.

Pentru ieșirea “părtinitoare” menționată anterior, cercetătorii au dezvoltat explicații “deșeuri” pentru studiu, cu explicații intenționat tematice pe “tehnici înșelătoare” de prezentare a datelor:

‘Am furnizat o cantitate excesivă de informații pentru sarcina noastră de clasificare binară a modelului. Includerea noastră a unei cantități mari de detalii complexe, dar în cele din urmă irelevante, a fost menită să copleșească participanții la studiu, mai degrabă decât să furnizeze date cu adevărat utile.

‘Această tehnică [metaforic] amorțește utilizatorul, făcându-l să accepte propria lui incapacitate de a înțelege pe deplin datele […].’

Studiul se bazează pe controverse anterioare legate de notarea inteligenței artificiale la examenele Internaționale Baccalaureate și General Certificate of Education Advanced Level, utilizând baza de date Law School Admissions Bar Passage dataset, care conține date demografice, academice și de rezultat pentru 20.000 de candidați din perioada 1991-1997.

Aceste date au fost utilizate pentru a construi un model intenționat părtinitor, care prezice eșecul pentru candidații de culoare, în timp ce toți ceilalți sunt declarați admiși; cu toate acestea, modelul atinge o acuratețe de 93,7%, datorită dezechilibrelor de clasă în cadrul raselor și genurilor.

O strategie de “apel la autoritate” a fost, de asemenea, testată, cu indicii superficial impresionanți, cum ar fi o afiliere universitară prestigioasă, dimensiunea setului de date și acuratețea înșelătoare, adăugate.

În plus, măsurile care ar fi expus dependența modelului de rasă și gen au fost omise, iar doar rezultatele favorabile au fost prezentate. Un set mic de candidați asemănători a fost prezentat alături de rezultatele lor reale de examen, și nu de prezicțiile modelului – și acest lucru a ajutat la mascarea modelului consistent de eșec atribuit candidaților de culoare.

Pentru a modela și mai bine modul în care participanții au interpretat sistemul, informațiile au fost prezentate într-un mod care i-a încurajat să formeze explicații simple, dar înșelătoare, despre modul în care funcționa modelul. Toate detaliile despre caracteristicile disponibile au fost afișate, creând impresia că multe factori influențau decizia, chiar dacă doar rasa și genul au fost utilizați. Un accent cinic pe atributele individuale a încurajat, de asemenea, participanții să construiască povești plauzibile, dar incorecte, despre de ce un candidat a fost prezis a promova sau a eşua.

“Victimele”

În grupul de testare, fiecare explicație a fost atribuită unuia dintre cele trei niveluri de Trust Junk, în trei condiții de studiu: participanții din condiția Baseline au văzut doar proveniența de bază, un profil de candidat și decizia modelului; cei din condiția Model au văzut, de asemenea, statistici de acuratețe; și cei din condiția Everything au văzut, de asemenea, histograme de caracteristici și profile de candidați asemănători din setul de date de antrenare.

Studiul a fost aprobat de un consiliu de revizuire instituțională și a fost efectuat pe Prolific, cu participanți plătiți cu 15 dolari pe oră, și repartizați aleatoriu în condiții.

Fiecare participant a examinat opt profile de candidați la examenul de bar în ordine aleatoare și a judecat dacă fiecare ar promova, cu acordul utilizat ca metrică de încredere, urmată de chestionare pentru a evalua încrederea și un eșantion final de 28, 27 și 28 de participanți în condițiile Baseline, Model și Everything.

Autorii au presupus că adăugarea de informații mai bogate, dar în cele din urmă înșelătoare sau incomplete, ar putea “spăla” modelul prin crearea unei încrederi nejustificate în ieșirile sale. Ei se așteptau ca participanții din condițiile Model și Everything să arate un acord și o percepție mai puternică a corectitudinii, a încrederii și a utilității decât cei din condiția Baseline. Ei au analizat, de asemenea, explicațiile scrise ale participanților, pentru a vedea cum au făcut aceștia sens din deciziile modelului, concentrându-se pe faptul dacă au observat părtinirea sau lacunele din informațiile furnizate.

Rezultatele testelor

În ceea ce privește acordul modelului, participanții umani au identificat rezultatul corect în 66,6% din timp, dar au fost de acord cu modelul în 73,9% din timp – demonstrând o tendință de a urma deciziile modelului, chiar și atunci când acestea erau greșite. Acest efect se întărește pe măsură ce se adaugă mai multe detalii explicative, cu condiția cea mai detaliată care crește acordul la 82,6% și mărește probabilitatea ca participanții să se supună în mod greșit modelului:

Scoruri agregate pentru acord (stânga), încredere (mijloc) și satisfacție (dreapta); participanții din condiția ‘Everything’, expuși la conținut explicativ suplimentar irelevant pentru corectitudine, au raportat scoruri semnificativ mai mari în toate măsurile, în ciuda faptului că modelul a rămas identic și demonstrabil injust.

În ceea ce privește încrederea, evaluările variază semnificativ în funcție de condiție, participanții din condiția Everything raportând o încredere mai mare (M = 25,3) decât cei din condiția Baseline (M = 16,8), în timp ce condiția Model (M = 20,1) nu se diferențiază semnificativ de niciuna dintre acestea.

Satisfacția cu explicația a diferit semnificativ în funcție de condiție, participanții din condiția Everything raportând o satisfacție mai mare (M = 34,2) decât cei din celelalte două condiții (M = 26,4).

Participanții au evaluat corectitudinea utilizând patru întrebări pe o scară de șapte puncte, care acoperă biasul de gen, biasul general și etica, fără diferențe semnificative între condiții în ceea ce privește aceste măsuri:

Distribuția evaluărilor participanților în funcție de condiție pentru percepția corectitudinii în ceea ce privește rasa și genul, absența părtinirii și etica generală. Niveluri mai mari de detalii explicative sunt asociate cu evaluări ușor mai mari de corectitudine și lipsă de părtinire, în ciuda faptului că modelul subiacent rămâne neschimbat și injust.

O diferență a apărut în ceea ce privește corectitudinea în ceea ce privește rasa, grupul Baseline evaluând modelul ca fiind cel mai puțin corect (M = 3,9), în timp ce atât grupul Model, cât și cel Everything, l-au evaluat mai corect (M = 4,8). Mai îngrijorător este faptul că cea mai mare parte a participanților care au evaluat modelul evident injust ca fiind corect a provenit din cele două grupuri care au văzut cele mai multe detalii explicative – care au fost, de asemenea, cele mai puțin probabil să observe părtinirea.

Controlul calității

Răspunsurile calitative au arătat că participanții care au primit cele mai puține informații au fost mai predispuși să observe probleme cu modelul – în special dependența sa de rasă și gen. Ei au fost, de asemenea, mai predispuși să spună că informații importante lipseau.

În schimb, cei care au văzut explicații mai elaborate au ridicat aceste îngrijorări mai puțin frecvent. Cu toate acestea, doar trei participanți din toate condițiile au demonstrat o înțelegere parțială a factorilor cheie care au condus la deciziile modelului; și niciunul nu a identificat pe deplin modul în care funcționa.

Grafice care arată cât de des participanții au raportat posibilă părtinire rasială sau de gen și informații explicative lipsă în funcție de condiție, niveluri mai mari de detalii explicative fiind asociate cu mai puțini participanți care observă părtinirea sau raportează lipsa informațiilor – chiar dacă modelul se baza doar pe rasă și gen.

Mulți participanți au descris în mod explicit modelul ca fiind corect, cu 19 astfel de răspunsuri înregistrate, în ciuda părtinirii sale evidente.

În același timp, o anumită neliniște a apărut, cu mai mulți participanți exprimând îngrijorări cu privire la modul în care un astfel de sistem ar putea fi utilizat, și 15 răspunsuri care au pus la îndoială dacă modelul ar putea captura cu adevărat complexitatea candidaților individuali.

Autorii afirmă:

‘Doar o minoritate de participanți au descris modelul ca fiind injust sau părtinitor. Câțiva participanți care au raportat îngrijorări cu privire la model nu au putut să articuleze în mod corect de ce modelul era defectuos și, în absența unor informații cruciale ale modelului, au recurs la raționamente informale, adesea incorecte, pentru a explica de ce modelul ar fi putut fi greșit sau injust.’

Lucrarea concluzionează*^†:

‘În timp ce unele dintre problemele pe care le descoperim pot fi abordate prin creșterea alfabetizării în date a publicului, educația singură nu este suficientă (chiar și experții auto-declarați în inteligență artificială interpretează în mod obișnuit greșit sau nu înțeleg tehnici XAI).

‘Reiterăm afirmația lui Hullman et al.: succesul explicațiilor inteligenței artificiale poate fi evaluat corect doar atunci când se iau în considerare obiectivele acestor explicații.

‘Îi îndemnăm pe comunitate să acorde atenție obiectivelor retorice ale explicațiilor XAI și puterii lor de persuasiune ca artefacte intrinsec persuasive.’

Concluzii

Pe măsură ce se face tot mai evident că modelele de frontieră sunt inclinate să “împodobească” afirmațiile cu grafice false, devine din ce în ce mai evident nu numai că graficele generate de inteligența artificială nu ar trebui să fie folosite pentru a-și spori autoritatea, ci și că efectul general “ambiental” al vizualizărilor asociate este ceva pe care ar trebui să îl începem să diminuăm – la fel cum încrederea în fotografiile a fost erodată de apariția deepfakes-urilor.

Acesta este, probabil, un dezvoltare alarmantă, deoarece constituie încă un “punct de oboseală” în disponibilitatea publicului de a evalua riguros ceea ce vede și aude în mass-media, și riscă o formă de “acquiescență terminală” în ceea ce privește informațiile false.

* Înlocuirea mea a citărilor inline ale autorilor cu linkuri.

^† Formatarea originală a autorilor, nu a mea.

Publicat pentru prima dată luni, 20 iulie 2026