In het rapport van GEPI wordt onderzocht hoe AI vrouwen benadeelt en algoritmen genderbias versterken

Een score bij een sollicitatie, een kredietbeoordeling of een klinische aanbeveling kan er onpartijdig uitzien, terwijl die de ongelijkheden in de onderliggende data in stand houdt. Dat is de centrale waarschuwing in het nieuwe rapport van het Gender Equity Policy Institute, Hoe AI vrouwen benadeelt: wanneer bias wordt versterkt, waarin onderzoek wordt samengebracht naar de manier waarop geautomatiseerde systemen genderdiscriminatie kunnen reproduceren en soms zelfs versterken.

Het rapport is geschreven door machinelearningwetenschapper en senior fellow bij GEPI Myriam Shiran, PhD, en bespreekt wetenschappelijke en grijze literatuur over economische kansen, gezondheidszorg, strafrecht, gegenereerde content, het ontwerp van AI voor consumenten en door AI mogelijk gemaakt seksueel misbruik met beelden. Het is een synthese van bestaand bewijs, geen nieuw experiment waarin elk AI-systeem aan de hand van één benchmark wordt gemeten.

Het belangrijkste argument gaat over wat er gebeurt nadat een bevooroordeeld resultaat een model verlaat. Aanbevelingen beïnvloeden beslissingen, gegenereerde content vormt verwachtingen en sommige resultaten worden gebruikt als materiaal voor toekomstige training. Een oneerlijk patroon kan daardoor moeilijker te herkennen worden naarmate het zich door opeenvolgende systemen verspreidt.

Genderneutrale invoer garandeert geen eerlijke uitkomsten

Het verwijderen van een gendervermelding is een voor de hand liggende reactie op discriminatie. In de beoordeling van GEPI wordt uitgelegd waarom die stap op zichzelf niet volstaat: namen, opleiding, werkverleden en andere gegevens kunnen nog steeds signalen bevatten die verband houden met gender. Ook kunnen historische uitkomsten ongelijke behandeling vastleggen, nog voordat een model ermee in aanraking komt.

Een in het rapport aangehaalde audit van sollicitaties door Wilson en Caliskan uit 2024 omvatte meer dan drie miljoen gesimuleerde vergelijkingen van cv’s in negen beroepsgroepen. De geteste selectiemodellen gaven in 51,9% van de vergelijkingen significant de voorkeur aan namen die met mannen werden geassocieerd, en in 11,1% aan namen die met vrouwen werden geassocieerd. In de overige 37% was geen sprake van een significante voorkeur. Dit zijn resultaten van gecontroleerde modeltests, geen percentages van echte sollicitanten die een baan zijn misgelopen.

De uitkomsten hangen ook af van de opzet van de test. Het rapport beschrijft een afzonderlijke audit uit 2025 waarin verschillende taalmodellen geen verschil tussen genders lieten zien toen onderzoekers alleen de namen veranderden, terwijl wijzigingen in opleidingsgegevens wel invloed hadden op de scores. Een beperkte test kan informatie over het hoofd zien die elders in dezelfde werkwijze van belang is.

Op het gebied van kredietverlening verwijst de beoordeling naar onderzoek onder ongeveer 80.000 ongedekte persoonlijke leningen van een grote Amerikaanse fintech-kredietverstrekker. De leningen aan vrouwen leverden de kredietverstrekker hogere rendementen op. Volgens het onderzoek kwam dat doordat een model hun wanbetalingsrisico overschatte en de leningen dienovereenkomstig prijsde. Het gaat hier om het verband tussen het voorspelde risico, de daadwerkelijke terugbetaling en de prijs die een kredietnemer betaalt, niet alleen om de vraag of gender in de aanvraag wordt vermeld.

Voor medische AI is meer nodig dan een hoge gemiddelde score

De gezondheidszorg laat bijzonder duidelijk zien waarom prestaties op populatieniveau belangrijke verschillen kunnen verhullen. Een model kan over het geheel genomen goed presteren, maar meer fouten maken bij mensen die ondervertegenwoordigd zijn in de trainings- of validatiedata.

GEPI verwijst naar een studie uit 2024 van Zack en collega’s, waarin GPT-4 verder identieke gevallen van pijn op de borst kreeg voorgelegd, met de beschrijving dat het om een man of een vrouw ging. In 200 runs per beschrijving beoordeelde het model een cardiale stresstest als zeer belangrijk in 71% van de gevallen met een man en in 58% van de gevallen met een vrouw: een verschil van 13 procentpunten.

Die bevinding betreft modelaanbevelingen in een gecontroleerde evaluatie, niet geobserveerde behandelbeslissingen of patiëntuitkomsten. Dat onderscheid is belangrijk, vooral omdat het rapport verkennende studies bespreekt van verschillende modellen, aandoeningen en klinische taken, die op verschillende momenten zijn uitgevoerd.

De beoordeling bevat ook een essentiële kanttekening: klinisch relevante sekseverschillen moeten niet zomaar worden uitgewist. De uitdaging is vast te stellen of een verschil in het advies van een model berust op relevante biologie of op een ongefundeerde aanname. Daarvoor zijn representatieve evaluatiedata en een zorgvuldige analyse van fouten nodig, niet de eis dat elke aanbeveling identiek is.

Bias kan zowel beeldvorming als beslissingen beïnvloeden

Het rapport maakt onderscheid tussen schade aan iemands toegang tot middelen, zoals een lening of medische zorg, en schade door de manier waarop groepen worden afgebeeld. Gegenereerde aanbevelingsbrieven, nieuwsartikelen en afbeeldingen van beroepen kunnen stereotypen versterken, ook als er niet direct een beslissing over de verdeling van middelen op volgt.

In onderzoek dat GEPI samenvat, beschreven taalmodellen vrouwen vaker aan de hand van interpersoonlijke kwaliteiten en mannen vaker op basis van leiderschap of bekwaamheid. Uit studies naar beeldgeneratoren bleek dat die de genderscheiding tussen beroepen overdreven sterk weergaven. Die resultaten gelden voor de onderzochte modellen en versies; ze mogen niet worden opgevat als een nieuwe audit van elk systeem dat momenteel beschikbaar is.

Assistenten en gezelschapsapps voor consumenten roepen een andere vraag op. Hun stemmen, persoonlijkheden en reacties op intimidatie zijn bewuste productkeuzes. Wie alleen de statistische balans van hun antwoorden beoordeelt, kan de aannames over het hoofd zien die besloten liggen in wat een product moet zijn.

In de review wordt ook gekeken naar synthetische seksuele beelden die zonder toestemming zijn gemaakt, waarbij AI het gemakkelijker kan maken om misbruik te produceren en te verspreiden. Het gaat om meer dan een onjuiste afbeelding: het zonder toestemming gebruiken van iemands gelijkenis kan rechtstreeks schade veroorzaken. Dit vraagt om een andere aanpak dan het corrigeren van een beroepsstereotype in door AI gegenereerde beelden.

Waarom onafhankelijk testen belangrijk is

GEPI beschrijft vier terugkerende mechanismen: leren van historische gegevens die ongelijkheid weerspiegelen, stereotypen reproduceren, oordelen presenteren als objectieve metingen en bevooroordeelde resultaten laten doorwerken in latere beslissingen of modellen.

Onafhankelijke audits helpen deze mechanismen zichtbaar te maken. Onderzoekers kunnen één kenmerk veranderen in verder vergelijkbare invoer en nagaan hoe de resultaten veranderen, zelfs als ze geen toegang hebben tot de interne architectuur van een bedrijfseigen model. Maar een geslaagde test met één prompt of benchmark toont niet aan dat een systeem in zijn geheel eerlijk is.

Voor organisaties die AI inzetten, betekent dit in de praktijk dat ze de concrete toepassing moeten testen. Een wervingsteam moet nagaan hoe scores bij de eerste selectie doorwerken in de keuze van kandidaten voor een sollicitatiegesprek. Een kredietverstrekker moet risicoramingen vergelijken met de daadwerkelijke terugbetalingen. Een zorgorganisatie moet inzicht krijgen in welke patiënten vertegenwoordigd zijn in de validatiegegevens en waar fouten zich concentreren. Deze controles beantwoorden andere vragen dan de vraag of een model gemiddeld genomen vloeiend of nauwkeurig is.

Wat het rapport vaststelt — en wat onbekend blijft

Het rapport baseert zich voornamelijk op bewijs uit de VS en wijst waar relevant op internationale studies. De bronnen bestrijken verschillende technologieën, jaren en methoden. Sommige documenteren uitkomsten; andere brengen zorgwekkend gedrag in simulaties aan het licht. De review stelt geen universeel discriminatiepercentage vast en toont evenmin aan dat elk systeem dezelfde vooringenomenheid vertoont.

Ook wijst het rapport op een meetprobleem: onderzoekers hebben vaak geen toegang tot de institutionele gegevens die nodig zijn om een resultaat te koppelen aan de gevolgen ervan. Een verschil constateren is belangrijk, maar om de kosten ervan in de praktijk te begrijpen, zijn mogelijk gegevens nodig die in handen zijn van werkgevers, leveranciers, kredietverstrekkers of zorgaanbieders.

GEPI brengt bevindingen die vaak los van elkaar worden besproken met elkaar in verband en vraagt zich af of tests en verantwoordingsplicht AI blijven volgen tot in de beslissingen waarop het van invloed is. Het volledige rapport, Hoe AI vrouwen benadeelt: wanneer vooringenomenheid wordt versterkt, bevat de methodologie, verwijzingen naar studies en bewijs per sector waarop dat betoog is gebaseerd.