Flashy Grafieken Kunnen Zelfs ‘Slecht’ Onderzoek Betrouwbaar Lijken

Nieuw onderzoek toont aan dat het opstapelen van ingewikkelde en complexe grafieken mensen kan doen vertrouwen op vooroordelen van AI-beslissingen, zelfs als ze duidelijk oneerlijk zijn.

Hoewel de praktijk van ‘iemand blind maken met wetenschap’ aanzienlijk voorafgaat aan de huidige leeftijd van AI, wordt het naar verluidt in deze tijd perfect gemaakt – niet in de laatste plaats omdat de recente groei van wetenschappelijke paperaanvragen het signaal-ruisverhouding ongunstig heeft gemaakt en ‘goedkope trucs’ naar verluidt vaker voorkomen.

Getrouw aan het oude spreekwoord ‘leugens, verdomde leugens en statistieken‘, is het centrale instrument dat wordt gebruikt om lezers te misleiden of te bedriegen wanneer ze nieuwe systemen en wetenschappelijk bewijs presenteren dat claims rondom hen verklaart of rechtvaardigt, grafieken en gegevensvisualisaties.

In een studie uit 2019 over het effect van grafieken op deelnemers in plattelands Pennsylvania, observeerden de auteurs van het werk het volgende:

‘Mensen die getroffen werden door misbruik of verslaving, gingen naar grafieken die die stoffen vertegenwoordigden. Mensen beoordeelden vaak de kwaliteit van een grafiek met geografische informatie op basis van hoe gemakkelijk of moeilijk het was om hun thuisstaat te vinden.

‘Andere mensen waardeerden grafieken niet op basis van hun eigen begrip, maar op de waargenomen effectiviteit van de grafiek bij het communiceren met andere mensen.

‘Ten slotte suggereerde een deelnemer zelfs dat hij meer aandacht zou besteden aan visualisaties van lokale nieuwsbronnen dan van nationale bronnen.’

Enkele van de grafieken die werden getoond aan inwoners van plattelands Pennsylvania in een studie uit 2019. Bron

Het hypnotiserende effect van gegevensgrafieken wordt vooral relevant in de nieuwe machine learning-tijdperk, waar vertrouwen cruciaal is voor het behoud van de AI-economie (en, naar verluidt, het voorkomen van een crash).

De samenwerking uit 2024 tussen de VS en het VK Trust Junk en Evil Knobs: Calibrating Trust in AI Visualization introduceerde het concept van Trust Junk: een XAI-visualisatie ‘die geen zinvolle verbinding heeft met het onderliggende model of gegevens [en] wordt gebruikt om vertrouwen te vergroten’:

Uit het paper ‘Trust Junk en Evil Knobs: Calibrating Trust in AI Visualization’, een voorbeeld van gegevens die worden verdraaid om een vooraf bepaald doel te dienen (rechts), in plaats van expliciet te worden weergegeven (links). Deze benadering ‘moedigt overmatig vertrouwen aan en overweldigt de gebruiker, terwijl ze een illusie van controle biedt’, volgens het paper. Bron

Een Snelkoppige Studie

Sinds het concept van Trust Junk werd geïntroduceerd, is het nog niet getest – een lacune die wordt aangepakt door een nieuw paper uit de VS, waarin deelnemers werden gepresenteerd met resultaten van een vermeende AI-studie over welke van een groep kandidaten waarschijnlijk zou slagen voor een juridische bar-examen in de VS.

Als men goed keek, kon men opmerken dat de filtercriteria waren a) alle zwarte mannen en b) iedereen anders – met de voorspelling dat alle zwarte mannen zouden falen voor het examen:

Uit het nieuwe paper: een geannoteerde stimulus die werd gebruikt in de experimenten van de auteurs, met een modelbeslissing (C) over of een kandidaat (B) zou slagen voor het bar-examen, naast verklarende componenten die fungeren als ‘trust junk’ (A, D, E, F). Het model is discriminerend, maar het toevoegen van steeds meer irrelevante verklarende informatie leidt ertoe dat deelnemers vaker instemmen met de uitvoer van het model en het als eerlijk beoordelen. Bron

De meeste deelnemers gingen akkoord met de voorspellingen van het model en beoordeelden het als eerlijk en betrouwbaar, met overeenstemming, vertrouwen en waargenomen eerlijkheid die allemaal toenamen naarmate er meer irrelevante grafieken en details werden toegevoegd – zelfs toen minder mensen de voor de hand liggende en flagrante racistische vooroordeel opmerkten.

Sommige gebruikers maakten bezwaar tegen de studie, maar niet om redenen die ogenschijnlijk verband hielden met het centrale probleem:

‘We noteerden 19 gevallen waarin deelnemers ons model expliciet beschreven als eerlijk (bijv., [een deelnemer] zei: “Het is eerlijk omdat het geen raciale of geslachtsgebonden vooroordeel heeft.”). Toch uitten deelnemers soms ongemak met het model. [Een deelnemer] zei dat hij zich zorgen maakte over “wat voor soort duisternis mensen ervoor zouden kunnen gebruiken.”

Nonetheless, over drie studiegroepen binnen de deelnemers, waarvan elke groep werd onderworpen aan steeds grotere hoeveelheden Trust Junk, identificeerde geen enkele deelnemer het echte probleem.

De auteurs concluderen*:

‘Kortom, we vonden dat trust junk werkte: deelnemers werden of “gerustgesteld” door de irrelevante informatie of “verdoofd” door de grote hoeveelheid gegevens in de verklaringen.

‘Alles bij elkaar vond plaats in de context van een model dat oppervlakkig en diep oneerlijk was, precies het geval waarin we zouden hopen dat XAI lay-audiënties in staat zou stellen om accurate oordelen te vellen.’

Aangezien we steeds vaker worden geadviseerd om te controleren wat AI ons vertelt (of het nu gaat om vermoede zelfzuchtige motieven, of door foutgevoelige output), zouden we geneigd kunnen zijn om dieper te graven dan de koppen en bronmateriaal van onderzoeksrapporten, bedrijfskwartaalrapporten en andere verre van neutrale formaten voor informatiedistributie te analyseren.

Maar zijn we bereid om meer aandacht te besteden aan de ‘geruststellende’ grafieken die ons vertellen over nauwkeurigheid – of tenminste om de ‘miasma van geloofwaardigheid’ die een barrage van grafieken kan opwekken te negeren?

Het nieuwe paper heet “Trust Junk” Leidt tot Ongeoorloofde Steun voor Hoge Discriminatoire Voorspellingsmodellen, en komt van drie onderzoekers aan de Northeastern University in Boston, Massachusetts. Een aanvullende site is ook beschikbaar.

Methode

De auteurs voerden een tussen-subjecten crowdsourced experiment uit (d.w.z. verschillende deelnemers werden toegewezen aan verschillende condities) over ‘trust junk’ in XAI-verklaringen, waarbij werd getest of het toevoegen van steeds meer technisch correcte maar irrelevante details deelnemers kon overtuigen dat een vooroordeel-model eerlijk en nuttig was.

De stimuli waren gebaseerd op eerder werk, waarbij de resulterende XAI-dashboards meerdere verklaringstechnieken combineerden in een enkele interface.

Voor het eerdergenoemde zeer ‘vooroordeel’-model ontwikkelden de onderzoekers ‘junk’-verklaringen voor de studie, met verklaringen die expres waren gethematiseerd rond ‘misleidende’ technieken van gegevenspresentatie:

‘We boden een overmatige hoeveelheid informatie voor onze modelbinningstaken. Onze opname van grote hoeveelheden complexe maar uiteindelijk irrelevante details was bedoeld om deelnemers te overweldigen in plaats van hen echt nuttige gegevens te bieden.

‘Deze techniek [metaforisch] verdooft de gebruiker in het accepteren van zijn eigen onvermogen om de gegevens volledig te begrijpen […].’

De studie is gebaseerd op eerder controverse rond AI-beoordeling in het International Baccalaureate en General Certificate of Education Advanced Level-examens, met behulp van de Law School Admissions Bar Passage dataset, die demografische, academische en resultaatgegevens bevat voor 20.000 kandidaten uit 1991-1997.

Deze gegevens werden gebruikt om een intentioneel vooroordeel-model te construeren, dat voorspelde dat zwarte mannelijke kandidaten zouden falen, terwijl alle anderen zouden slagen; maar het model bereikte nog steeds 93,7% nauwkeurigheid, vanwege klasse-ongelijkheden over ras en geslacht.

Een ‘appeal to authority’-strategie werd ook getest, met oppervlakkig indrukwekkende hints zoals een prestigieuze universitaire affiliatie, datasetgrootte en misleidende nauwkeurigheid toegevoegd.

Bovendien werden maatregelen die het model zouden hebben blootgesteld aan ras en geslacht weggelaten, en alleen gunstige resultaten werden gepresenteerd. Een kleine set van soortgelijke kandidaten werd vervolgens gepresenteerd naast hun echte examenresultaten, in plaats van de voorspellingen van het model – en dit hielp om het consistente patroon van falen dat aan zwarte mannelijke kandidaten werd toegewezen te maskeren.

Om te bepalen hoe deelnemers het systeem interpreteerden, werd informatie gepresenteerd op een manier die deelnemers aanmoedigde om eenvoudige maar misleidende verklaringen te vormen over hoe het model werkte. Details over alle beschikbare kenmerken werden getoond, waardoor de indruk werd gewekt dat veel factoren de beslissing beïnvloedden, terwijl slechts ras en geslacht werden gebruikt. Een cynische nadruk op individuele kenmerken moedigde deelnemers ook aan om plausibele maar onjuiste verhalen te construeren over waarom een kandidaat zou slagen of falen.

De ‘Slachtoffers’

In de testgroep werd elke verklaring toegewezen aan een van de drie Trust Junk-niveaus over drie studiecondities: deelnemers in de Baseline-conditie zagen alleen basisprovenance, een kandidaatprofiel en het modelbesluit; die in de Model-conditie zagen ook nauwkeurigheidsstatistieken; en die in de Alles-conditie werden ook feature-histogrammen en profielen van soortgelijke kandidaten getoond, afkomstig uit de trainingsgegevens.

De studie werd goedgekeurd door een institutioneel reviewboard en werd uitgevoerd op Prolific, waarbij deelnemers $15 per uur werden betaald en willekeurig werden toegewezen aan condities.

Elke deelnemer beoordeelde acht bar-examkandidaatprofielen in willekeurige volgorde en beoordeelde of elke kandidaat zou slagen, met overeenstemming als een maatstaf voor vertrouwen, gevolgd door vragenlijsten om vertrouwen te beoordelen en een eindmonster van 28, 27 en 28 deelnemers in de Baseline, Model en Alles-condities.

De auteurs stelden dat het toevoegen van meer schijnbaar rijke maar uiteindelijk afleidende of onvolledige informatie het model kon fairwashen door ongepaste vertrouwen in de uitvoer te creëren. Ze verwachtten dat deelnemers in de Model en Alles-condities hogere overeenstemming en sterker waargenomen eerlijkheid, betrouwbaarheid en bruikbaarheid zouden vertonen dan die in de Baseline-conditie. Ze analyseerden ook de geschreven verklaringen van deelnemers om te zien hoe de bijdragers de beslissingen van het model begrepen, met de focus op of ze het vooroordeel van het model opmerkten of gaten in de verstrekte informatie.

Testresultaten

In termen van modelovereenstemming identificeerden de menselijke studiedeelnemers de juiste uitkomst 66,6% van de tijd, maar stemden 73,9% van de tijd in met het model – wat een neiging aangaf om het modelbesluit te volgen, zelfs als het onjuist was. Deze effecten versterkten naarmate meer verklarende details werden toegevoegd, waarbij de meest gedetailleerde conditie de overeenstemming verhoogde tot 82,6% en de kans vergrootte dat deelnemers ten onrechte het model zouden volgen:

Gecombineerde scores voor overeenstemming (links), vertrouwen (midden) en tevredenheid (rechts); deelnemers in de ‘Alles’-conditie, die werden blootgesteld aan aanvullende verklarende inhoud die niet relevant was voor eerlijkheid, rapporteerden significant hogere scores over alle maatregelen, ondanks dat het model identiek en duidelijk oneerlijk bleef.

Vertrouwensbeoordelingen verschilden aanzienlijk per conditie, waarbij deelnemers in de Alles-conditie hoger vertrouwen rapporteerden (M = 25,3) dan die in de Baseline-conditie (M = 16,8), terwijl de Model-conditie (M = 20,1) niet significant afweek van een van beide.

Tevredenheid met de verklaring verschilden significant per conditie, waarbij deelnemers in de Alles-conditie hogere tevredenheid rapporteerden (M = 34,2) dan die in de andere twee condities (M = 26,4).

Deelnemers beoordeelden eerlijkheid met behulp van vier vragen op een zevenpuntsschaal, die geslachtsgebonden vooroordeel, algehele vooroordeel en ethiek dekten, met geen significante verschillen tussen condities op deze maatregelen:

Verdeling van deelnemerbeoordelingen over condities voor waargenomen eerlijkheid over ras en geslacht, afwezigheid van vooroordeel en algehele ethiek. Hogere niveaus van verklarende details worden geassocieerd met licht hogere eerlijkheids- en vooroordeelvrije beoordelingen, ondanks dat het onderliggende model ongewijzigd en oneerlijk bleef.

Een verschil werd gevonden voor eerlijkheid over ras, waarbij de Baseline-groep het model als minst eerlijk beoordeelde (M = 3,9), terwijl zowel de Model- als de Alles-groep het hoger beoordeelden (M = 4,8). Van groter belang is dat de grootste groep deelnemers die het duidelijk oneerlijke model als eerlijk beoordeelden, afkomstig waren uit de twee groepen die de meeste verklarende details zagen – die ook het minst waarschijnlijk waren om het vooroordeel te herkennen.

Kwaliteitscontrole

Kwalitatieve reacties toonden aan dat deelnemers die de minst informatie kregen, vaker problemen met het model opmerkten – met name de afhankelijkheid van ras en geslacht. Ze waren ook vaker geneigd om te zeggen dat belangrijke details ontbraken.

Omgekeerd zagen degenen die meer uitgebreide verklaringen zagen, deze zorgen minder vaak. Toch demonstreerden slechts drie deelnemers over alle condities een partiële begrip van de sleutelfactoren die de beslissingen van het model aandreven; en geen enkele identificeerde volledig hoe het model werkte.

Grafieken die aantonen hoe vaak deelnemers mogelijke raciale of geslachtsgebonden vooroordeel en ontbrekende verklarende informatie over condities meldden, met hogere niveaus van verklarende details geassocieerd met minder deelnemers die vooroordeel of ontbrekende informatie meldden – ondanks dat het model alleen afhankelijk was van ras en geslacht.

Vele deelnemers beschreven het model expliciet als eerlijk, met 19 dergelijke reacties geregistreerd, ondanks het duidelijke vooroordeel.

Tegelijkertijd kwam enige onrust aan het licht, waarbij enkele deelnemers bezorgdheid uitten over hoe een dergelijk systeem zou kunnen worden gebruikt, en 15 reacties vroegen of het model de complexiteit van individuele kandidaten echt kon vatten.

De auteurs stellen:

‘Slechts een minderheid van de deelnemers beschreef het model als oneerlijk of vooroordeel. De weinige deelnemers die wel bezorgdheid over het model meldden, konden niet nauwkeurig uitleggen waarom het model gebrekkig was, en, in het ontbreken van cruciale modelinformatie, vielen ze terug op informele, vaak onjuiste redenering om uit te leggen waarom het model onjuist of oneerlijk zou zijn.’

Het paper concludeert*^†:

‘Terwijl enkele van de problemen die we ontdekken kunnen worden aangepakt door verhoogde dataliteratuur bij de audiëntie, is onderwijs alleen niet genoeg (zelfs zelfbenoemde AI-experts interpreteren of begrijpen XAI-technieken vaak verkeerd).

‘We herhalen de bewering van Hullman et al.: het succes van AI-verklaringen kan alleen eerlijk worden beoordeeld wanneer de doelen van dergelijke verklaringen in overweging worden genomen.

‘We dringen er bij de gemeenschap op aan om aandacht te besteden aan de rhetorische doelen van XAI-verklaringen en hun manipulatieve kracht als intrinsiek overtuigende artefacten.’

Conclusie

Aangezien de mate waarin frontiermodellen geneigd zijn om ‘statements te versieren met valse grafieken duidelijk wordt, is het steeds duidelijker dat AI-gegenereerde grafieken niet mogen worden vertrouwd om autoriteit te ondersteunen, maar dat het algemene ‘ambient’ effect van bijbehorende visualisaties iets is dat we moeten beginnen te negeren – net zoals het vertrouwen in fotografie is ondermijnd door de komst van deepfakes.

Dit is naar verluidt een verontrustende ontwikkeling, aangezien het een andere ‘vermoeidheidspunt’ vormt in de bereidheid van het publiek om wat het ziet en hoort in de media grondig te beoordelen, en het risico loopt op een soort ‘terminale overgave’ aan desinformatie.

* Mijn vervanging van de inline-citaten van de auteurs door hyperlinks.

^† Originele opmaak van de auteurs, niet van mij.

Publicatie op maandag 20 juli 2026