Flotte diagrammer kan gjøre selv “onde” forskning troverdig

Ny forskning viser at å legge til komplekse og detaljerte diagrammer kan gjøre folk mer tillitsfulle til feilaktige AI-beslutninger, selv når de er åpenbart urimelige.

Skikken med å ‘blinde noen med vitenskap’ går langt tilbake i tid, før den nåværende AI-æraen, men det kan argumenteres for at det blir perfeksjonert i denne æraen – ikke minst på grunn av den nylige veksten i vitenskapelige artikler som har ført til en ugunstig signal-til-støy-forhold, og “billige triks” er muligens mer vanlige.

Trofast til den gamle advarselen ‘løgner, fordømte løgner og statistikk‘, er det sentrale verktøyet som brukes til å bedra eller misle lesere, når man presenterer nye systemer og vitenskapelige bevis som forklarer eller berettiger krav rundt dem, er grafiske og data-visuelle fremstillinger.

I en studie fra 2019 om effekten av grafiske fremstillinger på deltakere i rural Pennsylvania, observerte forfatterne av arbeidet følgende:

‘Personer som var berørt av misbruk eller avhengighet, tenderte mot grafiske fremstillinger som representerte disse stoffene. Personer ofte bestemte kvaliteten på en grafisk fremstilling som inneholdt geografisk informasjon basert på hvor lett eller vanskelig det var å finne deres hjemstat.

‘Andre personer tenderte til å verdsette grafiske fremstillinger ikke basert på deres egen forståelse, men på grafikkens antatte evne til å kommunisere til andre personer.

‘Til slutt foreslo en av deltakerne at de ville være mer oppmerksomme på visualiseringer fra lokale nyhetskilder enn nasjonale.’

Noen av grafikkene som ble vist til innbyggerne i rural Pennsylvania i en studie fra 2019. Kilde

Den hypnotiske effekten av data-grafikken blir spesielt relevant i den nye maskinlæringsæraen, der tillit er kritisk for å opprettholde AI-økonomien (og, muligens, for å forhindre en krise).

Det amerikansk-britiske samarbeidet Trust Junk and Evil Knobs: Calibrating Trust in AI Visualization innførte begrepet Trust Junk: en XAI-visualisering ‘som ikke har noen meningsfull tilknytning til den underliggende modellen eller dataen [og] brukes til å øke tillit’:

Fra papiret ‘Trust Junk and Evil Knobs: Calibrating Trust in AI Visualization’, et eksempel på data som blir vridd for å tjene en forhåndsbestemt hensikt (høyre), i stedet for å bli vist eksplisitt (venstre). Dette tilnærmingen ‘oppmuntrer til over-avhengighet og overveldende brukeren mens den gir en illusjon av kontroll’, ifølge papiret. Kilde

En rask gjennomgang

Siden konseptet Trust Junk ble lansert, har det ikke blitt testet – en oversikt som nå blir adressert av en ny rapport fra USA, hvor deltakere ble presentert med resultater fra en påstått AI-studie, om hvem av en gruppe kandidater som sannsynligvis ville bestå en juridisk bar-eksamen i USA.

Hvis en så nøye, kunne en merke at filterkriteriet var a) alle svarte menn og b) alle andre – med forutsigelsen at alle svarte menn ville ikke bestå eksamen:

Fra den nye rapporten: en annotert stimulus som ble brukt i forfatternes eksperimenter, som viser en modellbeslutning (C) om hvorvidt en kandidat (B) vil bestå bar-eksamen, sammen med forklarende komponenter som fungerer som ‘trust junk’ (A, D, E, F). Modellen er diskriminerende, men økende mengder av i stor grad irrelevante forklarende informasjon fører til at deltakerne er enig mer med dens utgang og vurderer den som rettferdig. Kilde

De fleste deltakerne gikk med på modellens forutsigelser og vurderingen som rettferdig og troverdig, med enighet, tillit og oppfattet rettferdighet økende når flere irrelevante diagrammer og detaljer ble lagt til – selv om færre mennesker merket den åpenbare og åpenbart rasistiske bias.

Noen brukere motsatte seg studien, men ikke av grunner som åpenbart var relatert til det sentrale problemet:

‘Vi noterte 19 eksempler hvor deltakere uttrykkelig beskrev vår modell som rettferdig (f.eks. [en deltaker] sa, “Det er rettferdig fordi det ikke har noen rasistisk eller kjønnsbasert bias.”). Likevel uttrykte deltakere noen ganger uro med modellen. [En deltaker] sa at de var bekymret for “hvordan denne typen modell kunne bli brukt”.’

Likevel, over tre studiegrupper blant deltakerne, hvor hver gruppe ble utsatt for stadig større mengder av Trust Junk, identifiserte ingen den virkelige problemet.

Forfatterne konkluderer*:

‘Kort sagt, fant vi at Trust Junk fungerte: deltakere ble enten “beroliget” av den irrelevante informasjonen eller “bedøvet” av den store mengden data i forklaringene.

‘Alt dette manipuleringen og overtalelsen skjedde i sammenheng med en modell som var overfladisk og dypt urettferdig, nøyaktig det tilfellet hvor vi håper XAI vil gi lekfolk mulighet til å fatte korrekte avgjørelser.’

Ettersom vi øker blir advart om å sjekke hva AI forteller oss (enten for mistenkte selvbetjeningsmotiver eller på grunn av feilaktige utgang), kan vi være mer tilbøyelige til å grave dypere enn overskriftene og analysere kildekoden til forskningsrapporter, selskapskvartalsrapporter og andre ikke-neytrale formater for informasjonsformidling.

Men er vi forberedt på å være mer oppmerksomme på de ‘beroligende’ grafikkene som forsikrer oss om nøyaktighet – eller å diskontere den ‘dimmen av troverdighet’ som en rekke grafikker kan vekke?

Den nye rapporten har tittelen “Trust Junk” fører til urettferdig støtte for høyt diskriminerende prediktive modeller, og kommer fra tre forskere ved Northeastern University i Boston, Massachusetts. En supplerende nettsted har også blitt lagt ut.

Metode

Forfatterne gjennomførte et crowdsourced eksperiment (dvs. forskjellige deltakere ble tildelt forskjellige betingelser) på ‘trust junk’ i XAI-forklaringer, og testet om økende mengder av teknisk korrekt, men irrelevante detaljer, kunne overtale brukerne til å tro at en feilaktig modell var rettferdig og nyttig.

Stimulene bygde på tidligere arbeid, og de resulterende XAI- dashbordene kombinerte flere forklaringsteknikker i ett grensesnitt.

For det ovennevnte høyt diskriminerende utgangen, utviklet forskerne ‘junk’-forklaringer for studien, med forklaringer som var medvirket til å være ‘misvisende’ teknikk for data-presentasjon:

‘Vi tilbød en overflod av informasjon for vår modells binære klassifiseringsoppgave. Vår inkludering av store mengder komplekse, men ultimate irrelevante detaljer, var ment å overvelde brukerstudie-deltakerne, snarere enn å gi nyttig data.

‘Denne teknikken [metaforisk] bedøver brukeren til å akseptere sin egen evne til å fullstendig forstå data […].’

Studien bygger på tidligere kontroverser rundt AI-gradert i International Baccalaureate og General Certificate of Education Advanced Level-eksamen, og bruker Law School Admissions Bar Passage datasettet, som inneholder demografisk, akademisk og resultatinformasjon for 20 000 kandidater fra 1991–1997.

Dette datasettet ble brukt til å konstruere en bevisst diskriminerende modell, som forutså at alle svarte menn ville ikke bestå eksamen, mens alle andre ville bestå – selv om modellen likevel oppnår 93,7% nøyaktighet, på grunn av klasse-ubalanse over rase og kjønn.

En ‘appell til autoritet’-strategi ble også testet, med overfladisk imponerende signaler som en prestisjefylt universitetsaffiliasjon, datasett-størrelse og misvisende nøyaktighet ble lagt til.

I tillegg ble mål som ville ha avdekket modellens avhengighet av rase og kjønn, utelatt, og bare positive resultater ble presentert. En liten samling av lignende kandidater ble så presentert sammen med deres faktiske eksamensresultater, snarere enn modellens forutsigelser – og dette hjalp til å maskere den konsekvente mønsteret av feil som ble tildelt svarte menn.

For å ytterligere forme hvordan deltakerne tolket systemet, ble informasjonen presentert på en måte som oppmuntret dem til å danne enkle, men misvisende forklaringer av hvordan modellen fungerte. Detaljer om alle tilgjengelige funksjoner ble vist, og skapte inntrykket av at mange faktorer påvirket avgjørelsen, selv om kun rase og kjønn ble brukt. En kynisk vektlegging av individuelle attributter oppmuntret også deltakerne til å konstruere plausiblene, men feilaktige historier om hvorfor en kandidat ble forutsagt å bestå eller ikke bestå.

‘Ofrene’

I testgruppen ble hver forklaring tildelt ett av tre Trust Junk-nivåer over tre studiebetingelser: deltakere i Baseline-betingelsen så bare grunnleggende proveniens, en kandidatprofil og modellens avgjørelse; de i Modell-betingelsen så også nøyaktighetsstatistikk; og de i Alt ble også vist funksjons-histogrammer og profiler av lignende kandidater fra treningsdataene.

Studien ble godkjent av et institusjonelt gjennomgangsorgan, og ble gjennomført på Prolific, med deltakere som ble betalt 15 dollar per time, og tilfeldig tildelt betingelser.

Hver deltaker gjennomgikk åtte kandidatprofiler i tilfeldig rekkefølge, og bedømte om hver ville bestå, med enighet som et mål for avhengighet, etterfulgt av spørreskjemaer for å vurdere tillit, og en sluttsample på 28, 27 og 28 deltakere i Baseline, Modell og Alt-betingelsene.

Forfatterne antok at å legge til mer synlig rik, men ultimate irrelevante informasjon, kunne fairwash modellen ved å skape ufortjent tillit til dens utgang. De forventet at deltakere i Modell og Alt-betingelsene ville vise høyere enighet og sterkere oppfatninger av rettferdighet, tillit og nytte enn de i Baseline-betingelsen. De analyser også deltakernes skriftlige forklaringer for å se hvordan bidragsyterne ga mening til modellens avgjørelser, og fokuserte på om de merket dens bias eller mangler i informasjonen som ble gitt.

Testresultater

I forhold til modellens enighet, identifiserte menneskelige studie-deltakere den riktige utfallet 66,6% av tiden, men var enig med modellen 73,9% av tiden – og viste en tendens til å følge modellens avgjørelser selv når de var feil. Denne effekten økte når mer forklarende detalj ble lagt til, med den mest detaljerte betingelsen som økte enigheten til 82,6%, og økte sannsynligheten for at deltakere feilaktig ville følge modellen:

Samlede poeng for enighet (venstre), tillit (midten) og tilfredshet (høyre); deltakere i ‘Alt’-betingelsen, som ble eksponert for ekstra forklarende innhold som var irrelevant for rettferdighet, rapporterte signifikant høyere poeng over alle mål, selv om modellen forble identisk og åpenbart urettferdig.

Tillitsvurderinger varierte betydelig med betingelsen, med deltakere i Alt-betingelsen som rapporterte høyere tillit (M = 25,3) enn de i Baseline-betingelsen (M = 16,8), mens Modell-betingelsen (M = 20,1) ikke forskjellige signifikant fra noen av dem.

Tilfredshet med forklaringen varierte signifikant med betingelsen, med deltakere i Alt-betingelsen som rapporterte høyere tilfredshet (M = 34,2) enn de i de andre to betingelsene (M = 26,4).

Deltakere vurderingen av rettferdighet ved hjelp av fire spørsmål på en syv-punkts skala, som dekket kjønnsbias, total bias og etikk, med ingen meningsfulle forskjeller mellom betingelsene på disse målene:

Fordeling av deltakernes vurderinger over betingelsene for oppfattet rettferdighet over rase og kjønn, fravær av bias og total etikk. Høyere nivåer av forklarende detalj er funnet å være forbundet med noe høyere rettferdighet og bias-frie vurderinger, selv om den underliggende modellen forble uendret og urettferdig.

En forskjell oppstod for rettferdighet over rase, hvor Baseline-gruppen vurderingen modellen som minst rettferdig (M = 3,9), mens både Modell- og Alt-gruppene vurderingen den høyere (M = 4,8). Av større bekymring er det at den største andelen av deltakere som vurderingen den åpenbart urettferdige modellen som rettferdig kom fra de to gruppene som ble vist mest forklarende detalj – som også var minst sannsynlig til å merke dens bias.

Kvalitetskontroll

Kvalitative responser viste at deltakere som fikk minst informasjon, var mer sannsynlig til å merke problemer med modellen – spesielt dens avhengighet av rase og kjønn. De var også mer sannsynlig til å si at viktige detaljer var fraværende.

Omverto, de som ble vist mer omfattende forklaringer, reiste disse bekymringene mindre ofte. Likevel, bare tre deltakere over alle betingelsene, viste en delvis forståelse av de nøkelfaktorene som drev modellens avgjørelser; og ingen fullstendig identifiserte hvordan den fungerte.

Grafiske fremstillinger av hvor ofte deltakere rapporterte mulig rase- eller kjønnsbias og manglende forklarende informasjon over betingelsene, med høyere nivåer av forklarende detalj forbundet med færre deltakere som merket bias eller rapporterte manglende informasjon – selv om modellen bare avhengig av rase og kjønn.

Mange deltakere beskrev uttrykkelig modellen som rettferdig, med 19 slike responser registrert, til tross for dens åpenbare bias.

Samtidig, noen uro dukket opp, med flere deltakere som uttrykte bekymring om hvordan et slikt system kunne bli brukt, og 15 responser som spurte om modellen kunne fange kompleksiteten til enkeltkandidater.

Forfatterne fastslår:

‘Kun en minoritet av deltakerne beskrev modellen som urettferdig eller diskriminerende. De få deltakerne som rapporterte bekymring med modellen, var ikke i stand til å nøyaktig artikulere hvorfor modellen var feilaktig, og i fravær av kritisk modellinformasjon, tok de til uformelle, ofte feilaktige resonnementer for å forklare hvorfor modellen kunne være feil eller urettferdig.’

Rapporten konkluderer*^†:

‘ Mens noen av problemene vi avdekker kan løses ved økt datalitteratur blant publikum, er utdanning alene ikke nok (selv selv-erklærte AI-eksperter misforstår ofte eller forstår ikke XAI-teknikker).

‘Vi gjentar påstanden til Hullman et al.: suksessen til AI-forklaringer kan bare bli rettferdig vurdert når målene med slike forklaringer blir vurdert.

‘Vi oppfordrer samfunnet til å være oppmerksom på de rhetoriske målene med XAI-forklaringer og deres manipulerende kraft som intrinsisk overbevisende artefakter.’

Konklusjon

Ettersom omfanget av frontier-modeller som er tilbøyelige til å ‘pynter’ uttalelser med falske grafikker blir tydelig, er det stadig mer åpenbart at ikke bare AI-genererte grafikker ikke bør bli brukt til å støtte autoritet, men at den generelle ‘omgivende’ effekten av tilhørende visualiseringer er noe vi bør begynne å diskontere – på samme måte som tilliten til fotografi har blitt erodert av oppfinnelsen av deepfakes.

Dette er et bekymringsfullt utvikling, ettersom det utgjør en annen ‘utmattelsespunkt’ i publikums villighet til å grundig vurdere hva de ser og hører i media, og risikerer en slags ‘terminal aksept’ av desinformasjon.

* Min erstatning av forfatterens inline-citater med lenker.

^† Forfatterens opprinnelige formatering, ikke min.

Først publisert mandag, 20. juli 2026