Flashiga diagram kan göra även “onda” forskning se trovärdig ut

Nya studier visar att man kan göra människor att lita på fördomsfulla AI-beslut genom att lägga till elaborerade och komplexa diagram, även när de är uppenbart orättvisa.

Praktiken att ‘blinda någon med vetenskap’ föregår den nuvarande AI-eran betydligt, men det är möjligt att den perfekteras i denna era – inte minst på grund av den senaste tillväxten av vetenskapliga artiklar, som har gjort signal-till-brus-förhållandet ofördelaktigt och “billiga tricks” mer vanliga.

Troget till den gamla devisen ‘lögner, förbannade lögner och statistik‘, är det centrala verktyget som används för att bedra eller vilseleda läsare, när man presenterar nya system och vetenskapliga bevis som förklarar eller motiverar påståenden om dem, grafer och datavisualiseringar.

I en studie från 2019 om effekten av grafer på deltagare i rurala Pennsylvania, observerade författarna till arbetet:

‘Personer som påverkades av missbruk eller beroende drogs till grafer som representerade dessa ämnen. Människor bestämde ofta kvaliteten på en graf som innehöll geografisk information baserat på hur lätt eller svårt det var att hitta deras hemstat.

‘Andra människor tenderade att värdera grafer inte baserat på sin egen förståelse, utan på grafens upplevda effektivitet i att kommunicera till andra människor.

‘Slutligen föreslog en deltagare till och med att de skulle fokusera mer på visualiseringar från lokala nyhetskällor än nationella.’

Några av graferna som visades för invånare i rurala Pennsylvania i en studie från 2019. Källa

Den hypnotiska effekten av datagrafer blir särskilt relevant i den nya maskinlärningsåldern, där förtroende är avgörande för att upprätthålla AI-ekonomin (och, möjligtvis, förhindra en krasch).

Det amerikansk-brittiska samarbetet Trust Junk and Evil Knobs: Calibrating Trust in AI Visualization introducerade begreppet Trust Junk: en XAI-visualisering ‘som inte har någon meningsfull koppling till den underliggande modellen eller data [och] används för att förbättra förtroendet’:

Från artikeln ‘Trust Junk and Evil Knobs: Calibrating Trust in AI Visualization’, ett exempel på data som vrids för att tjäna ett tidigare syfte (höger), istället för att visas explicit (vänster). Denna typ av tillvägagångssätt ‘uppmuntrar till överbelastning och överväldigar användaren samtidigt som det ger en illusion av kontroll’, enligt artikeln. Källa

En snabb översikt

Sedan begreppet Trust Junk introducerades, har det inte testats – ett förbiseende som åtgärdas av en ny artikel från USA, där deltagarna presenterades med resultat från en påstådd AI-studie, om vilken av en grupp kandidater som sannolikt skulle klara en juristexamen i USA.

Om man tittade noggrant, kunde man se att urvalskriterierna var a) alla svarta män och b) alla andra – med förutsägelsen att alla svarta män skulle misslyckas med examen:

Från den nya artikeln: en annoterad stimulus som användes i författarnas experiment, som visar ett modellbeslut (C) om en kandidat (B) ska klara bar-examen, tillsammans med förklarande komponenter som fungerar som ‘trust junk’ (A, D, E, F). Modellen är diskriminerande, men ökande mängder av i stort sett irrelevanta förklarande information leder deltagarna att hålla med dess utdata och bedöma den som rättvis. Källa

De flesta deltagare gick med på modellens förutsägelser och bedömde den som rättvis och tillförlitlig, med överensstämmelse, förtroende och upplevd rättvisa som alla ökade när fler irrelevanta diagram och detaljer lades till – även när färre människor lade märke till den uppenbara och renodlade rasistiska fördomen.

Några användare invände mot studien, men inte av skäl som tycks ha att göra med det centrala problemet:

‘Vi noterade 19 instanser där deltagarna uttryckligen beskrev vår modell som rättvis (t.ex. sa en deltagare: “Det är rättvist eftersom det inte har någon ras- eller könstillhörighet.”). Trots det uttryckte deltagarna ibland obehag med modellen. [En deltagare] sa att de var oroliga för “vilken typ av mörker människor kan använda det för.”

Ändå identifierade inte en enda av de tre studiegrupperna inom deltagarna det verkliga problemet.

Författarna slutsats*:

‘Sammanfattningsvis fann vi att trust junk fungerade: deltagarna blev antingen “lugnade” av den irrelevanta informationen eller “bedövade” av den renodlade mängden data i förklaringarna.

‘All denna manipulation och övertalning skedde i sammanhanget av en modell som var ytlig och djupt orättvis, precis det fall där vi hoppas att XAI skulle ge lekmannapublik möjlighet att fatta korrekta bedömningar.’

Eftersom vi alltmer råds att kontrollera vad AI berättar för oss (antingen på grund av misstänkta egenintressen eller på grund av felbenägna utdata), kan vi vara benägna att gräva djupare än rubrikerna och analysera källmaterial från forskningsartiklar, företags kvartalsrapporter och olika andra långt ifrån neutrala format för informationsöverföring.

Men är vi beredda att fokusera mer på de “lugnande” grafer som ger oss en känsla av korrekthet – eller åtminstone att rabattera “dimman av trovärdighet” som en salva av grafer kan framkalla?

Den nya artikeln heter “Trust Junk” leder till oförsvarlig stöd för högt diskriminerande prediktiva modeller, och kommer från tre forskare vid Northeastern University i Boston, Massachusetts. En suppleant webbplats har också skapats.

Metod

Författarna genomförde ett mellan-subjektsbaserat crowdsourcat-experiment (dvs. olika deltagare tilldelades olika villkor) om “trust junk” i XAI-förklaringar, och testade om ökande mängder av tekniskt korrekt men irrelevanta detaljer kunde övertyga användare om att en fördomsfull modell var rättvis och användbar.

Stimuli byggde på tidigare arbete, och resulterade i XAI-instrumentpaneler som kombinerade flera förklaringstekniker i ett gränssnitt.

För det ovan nämnda högt fördomsfulla fallet utvecklade forskarna “skräp”-förklaringar för studien, med förklaringar som medvetet tematiserades kring “vilseledande” tekniker för datapresentation:

‘Vi tillhandahöll en överdriven mängd information för vår modells binära klassificeringsuppgift. Vår inkludering av stora mängder komplexa men i slutändan irrelevanta detaljer var avsedd att överväldiga deltagarna i studien snarare än att tillhandahålla genuint användbar data.

‘Denna teknik [metaforiskt] bedövar användaren till att acceptera sin egen oförmåga att fullständigt förstå data […].’

Studien bygger på tidigare kontroverser kring AI-betyg i International Baccalaureate och General Certificate of Education Advanced Level-examina, och använder Law School Admissions Bar Passage dataset, som innehåller demografisk, akademisk och resultatdata för 20 000 kandidater från 1991–1997.

Denna data användes för att konstruera en medvetet fördomsfull modell, som förutsade misslyckande för svarta manliga kandidater, medan alla andra skulle klara – men modellen uppnår fortfarande 93,7 % korrekthet på grund av klassobalanser över ras och kön.

En “appell till auktoritet”-strategi testades också, med ytligt imponerande ledtrådar som en prestigefylld universitetsaffiliering, datamängd och vilseledande korrekthet lades till.

Dessutom utelämnades åtgärder som skulle ha avslöjat modellens beroende av ras och kön, och endast fördelaktiga resultat presenterades. En liten uppsättning liknande kandidater presenterades sedan tillsammans med deras riktiga examensresultat – snarare än modellens förutsägelser – och detta hjälpte till att maskera den konsekventa mönstret av misslyckande som tilldelades svarta manliga kandidater.

För att ytterligare forma hur deltagarna tolkade systemet, presenterades information på ett sätt som uppmuntrade dem att bilda enkla men vilseledande förklaringar om hur modellen fungerade. Detaljer om alla tillgängliga funktioner visades, vilket skapade intrycket att många faktorer påverkade beslutet, även om endast ras och kön användes. En cynisk betoning på individuella attribut uppmuntrade också deltagarna att konstruera trovärdiga men felaktiga berättelser om varför en kandidat förutsades klara eller misslyckas med examen.

Offer

I testgruppen tilldelades varje förklaring ett av tre Trust Junk-nivåer över tre studieförhållanden: deltagare i Bas-förhållandet såg endast grundläggande proveniens, en kandidatprofil och modellens beslut; de i Modell-förhållandet såg också korrekthetsstatistik; och de i Allt-förhållandet visades dessutom funktionshistogram och profiler av liknande kandidater från träningsdata.

Studien godkändes av en institutionell granskningsnämnd och genomfördes på Prolific, med deltagare som betalades 15 dollar i timmen och slumpmässigt tilldelades förhållanden.

Varje deltagare granskade åtta kandidatprofiler för bar-examen i slumpmässig ordning och bedömde om de skulle klara, med överensstämmelse som användes som ett beroendemått, följt av enkätfrågor för att bedöma förtroende och en slutlig urval av 28, 27 och 28 deltagare i Bas, Modell och Allt-förhållandena.

Författarna antog att tillägg av mer “rikt” men i slutändan irrelevant information kunde fairwash modellen genom att skapa obefogat förtroende för dess utdata. De förväntade sig att deltagare i Modell och Allt-förhållandena skulle visa högre överensstämmelse och starkare uppfattningar om rättvisa, trovärdighet och användbarhet än de i Bas-förhållandet. De analyserade också deltagarnas skriftliga förklaringar för att se hur bidragsgivarna gjorde sig möjliga att förstå modellens beslut, med fokus på om de lade märke till dess fördom eller luckor i den tillhandahållna informationen.

Testresultat

När det gäller modellens överensstämmelse identifierade de mänskliga studiedeltagarna den korrekta utgången 66,6 % av tiden, men höll med modellen 73,9 % av tiden – vilket visar en tendens att följa modellens beslut även när de var fel. Denna effekt stärktes när mer förklarande information lades till, med det mest detaljerade förhållandet som ökade överensstämmelsen till 82,6 %, och ökade sannolikheten för att deltagarna felaktigt skulle följa modellen:

Sammanlagda poäng för överensstämmelse (vänster), förtroende (mitten) och tillfredsställelse (höger); deltagare i ‘Allt’-förhållandet, som exponerades för ytterligare förklarande innehåll som var irrelevanta för rättvisa, rapporterade betydligt högre poäng över alla mått, trots att modellen förblev identisk och uppenbart orättvis.

Förtroendebetyg varierade betydligt beroende på förhållande, med deltagare i Allt-förhållandet som rapporterade högre förtroende (M = 25,3) än de i Bas-förhållandet (M = 16,8), medan Modell-förhållandet (M = 20,1) inte skilde sig betydligt från något av de andra.

Tillfredsställelse med förklaringen skilde sig betydligt åt beroende på förhållande, med deltagare i Allt-förhållandet som rapporterade högre tillfredsställelse (M = 34,2) än de i de andra två förhållandena (M = 26,4).

Deltagarna bedömde rättvisa med hjälp av fyra frågor på en sju-punkters skala, som täckte könsskillnader, allmän fördom och etik, med inga betydande skillnader mellan förhållandena på dessa mått:

Fördelning av deltagarbedömningar över förhållanden för upplevd rättvisa över ras och kön, frånvaro av fördom och allmän etik. Högre nivåer av förklarande information är associerade med något högre rättvis och fördomsfria betyg, trots att den underliggande modellen förblir oförändrad och orättvis.

En skillnad framträdde för rättvisa över ras, där Bas-gruppen bedömde modellen som minst rättvis (M = 3,9), medan både Modell- och Allt-grupperna bedömde den som mer rättvis (M = 4,8). Av större oro är att den största andelen deltagare som bedömde den uppenbart orättvisa modellen som rättvis kom från de två grupper som visades mest förklarande information – som också var de minst benägna att känna till dess fördom.

Kvalitetskontroll

Kvalitativa svar visade att deltagare som fick minst information var mer benägna att lägga märke till problem med modellen – särskilt dess beroende av ras och kön. De var också mer benägna att säga att viktiga detaljer saknades.

Omvänt var de som visades mer elaborerade förklaringar mindre benägna att uttrycka dessa farhågor. Trots det visade endast tre deltagare över alla förhållanden en partiell förståelse av de nyckelfaktorer som drev modellens beslut; och ingen identifierade fullständigt hur den fungerade.

Grafer som visar hur ofta deltagare rapporterade möjlig ras- eller könstillhörighetsfördom och saknad förklarande information över förhållanden, med högre nivåer av förklarande information associerade med färre deltagare som lade märke till fördom eller rapporterade saknad information – trots att modellen enbart berodde på ras och kön.

Många deltagare beskrev uttryckligen modellen som rättvis, med 19 sådana svar registrerade, trots dess uppenbara fördom.

Samtidigt framträdde viss obehag, med flera deltagare som uttryckte oro över hur ett sådant system kunde användas, och 15 svar som ifrågasatte om modellen kunde gripa komplexiteten hos enskilda kandidater.

Författarna påstår:

‘Endast en minoritet av deltagarna beskrev modellen som orättvis eller fördomsfull. De få deltagare som rapporterade farhågor med modellen kunde inte korrekt artikulera varför modellen var bristfällig, och i avsaknad av avgörande modellinformation, vände de sig till informell, ofta felaktig resonemang för att förklara varför modellen kunde vara fel eller orättvis.’

Artikeln slutsats*^†:

‘Medan några av de problem vi avslöjar kan åtgärdas genom ökad datakompetens hos publiken, räcker utbildning ensam inte (även självutnämnda AI-experter tolkar ofta felaktigt eller förstår inte XAI-tekniker).

‘Vi instämmer i påståendet av Hullman et al.: framgången för AI-förklaringar kan endast bedömas rättvist när man överväger målen för sådana förklaringar.

‘Vi uppmanar samhället att uppmärksamma de retoriska målen för XAI-förklaringar och deras manipulerande kraft som intrinsikalt övertygande artefakter.’

Slutsats

Sedan omfattningen av vilka frontmodeller som är benägna att ‘dekorera’ uttalanden med falska grafer blir tydlig, är det alltmer uppenbart att inte bara AI-genererade grafer inte bör lita på för att stärka auktoritet, utan att den allmänna “ambient”-effekten av tillhörande visualiseringar är något vi bör börja rabattera – liknande hur förtroendet för fotografering har eroderats av deepfakes.

Detta är möjligtvis en alarmerande utveckling, eftersom det utgör en annan “utmattning” i allmänhetens vilja att noggrant bedöma vad de ser och hör i media, och riskerar en slags “terminal underkastelse” i desinformation.

* Min substitution av författarnas inline-citat för hyperlänkar.

^† Författarnas ursprungliga formatering, inte min.

Publicerad första gången måndagen den 20 juli 2026