AI neemt menselijke vooringenomenheid niet weg. Het schaalt die op.

AI wordt vaak voorgesteld als een manier om beslissingen objectiever te maken: zo is de gedachte, haal het menselijk oordeel weg en je neemt ook de menselijke vooringenomenheid weg. Een groeiende hoeveelheid onderzoek spreekt dit tegen.

AI-systemen leren van de menselijke geschiedenis. Ze worden getraind op basis van onze beslissingen, onze taal, onze instituties en onvermijdelijk ook onze blinde vlekken. Wanneer zulke systemen kandidaten selecteren, zorg toewijzen of werknemers beoordelen, kunnen ze die vooringenomenheid reproduceren op een schaal en met een snelheid die geen mens afzonderlijk kan evenaren.

Het grotere probleem is dat de beslissingen neutraal lijken. Er verschijnt een score. Er verschijnt een rangschikking. Er wordt een aanbeveling gegenereerd. De aannames erachter zijn niet zichtbaar en niemand in de ruimte voelt zich noodzakelijkerwijs verantwoordelijk voor de uitkomst.

Daarom is vooringenomenheid in AI in de eerste plaats geen modelprobleem, maar een governanceprobleem. Een model kan opnieuw worden getraind, maar de moeilijkere vragen zijn organisatorisch van aard: wie is verantwoordelijk voor elke beslissing, waarop optimaliseert het systeem en wie is bevoegd om het ter discussie te stellen?

Menselijke vooringenomenheid gaat AI in en komt er op machinesnelheid weer uit

Het mechanisme is niet mysterieus. Modellen passen statistische patronen toe op hun trainingsgegevens. Als historische uitkomsten (wie werd aangenomen, wie kreeg zorg) al discriminatie weerspiegelen, is het doel dat het model leert voorspellen vanaf het begin vertekend. Recent onderzoek laat zien hoe gemakkelijk dit gebeurt bij verschillende aanbieders en taken:

• Werving op grote schaal. Uit een analyse van Stanford van 4 miljoen echte sollicitaties bleek dat 26% van de zwarte sollicitanten en 15% van de Aziatische sollicitanten hadden gesolliciteerd op functies waarbij het AI-systeem discrimineerde tegen hun etnische groep. De modellen hadden geleerd van tientallen jaren aan menselijke aanwervingsbeslissingen.
• Rangschikking van cv’s. Onderzoekers van de University of Washington beoordeelden meer dan 550 echte cv’s met actuele taalmodellen. Ze ontdekten dat namen die met witte mensen werden geassocieerd in 85% van de gevallen de voorkeur kregen, terwijl namen van zwarte mannen zelden de voorkeur kregen.
• Communicatie op de werkvloer. Uit onderzoek van Johns Hopkins dat eerder dit jaar werd gepubliceerd bleek dat GPT-4, Llama, Gemma en Mistral minder verfijnde en minder formele werkmails genereerden wanneer prompts taalpatronen bevatten die vaker met vrouwen worden geassocieerd.

Zodra een systeem als dit wordt ingezet, zijn die patronen niet langer alleen een kenmerk van de trainingsgegevens, maar ook van alledaagse beslissingen.

Het echte gevaar schuilt in schaal en stilzwijgen

Een bevooroordeelde recruiter kan in een jaar honderden cv’s beoordelen. Een bevooroordeeld selectiesysteem kan in één nacht miljoenen sollicitaties verwerken en daarbij op elke sollicitatie dezelfde gebrekkige logica toepassen. Een bevooroordeelde beslissing van een mens is vaak een op zichzelf staand incident; bevooroordeelde beslissingen van een model kunnen snel beleid worden.

De gezondheidszorg biedt een van de duidelijkste voorbeelden. Een veelgebruikt algoritme, dat gevolgen had voor miljoenen patiënten, was ontworpen om mensen te identificeren die baat zouden hebben bij extra zorg. Het beoordeelde zwarte patiënten als gezonder dan witte patiënten die even ziek waren. Niemand had een racistische regel geschreven. Het algoritme gebruikte de zorguitgaven als maatstaf voor de medische zorgbehoefte. Omdat zwarte patiënten historisch gezien minder zorg kregen en daardoor lagere zorguitgaven veroorzaakten, interpreteerde het lagere uitgaven als een betere gezondheid. Volgens de analyse van de onderzoekers in Science zou het corrigeren van die ene ontwerpkeuze het aandeel zwarte patiënten dat voor extra hulp werd aangemerkt, hebben verhoogd van 17,7% naar 46,5%.

AI-systemen weerspiegelen niet alleen de meetgegevens die we ze meegeven, maar ook de aannames achter die gegevens. Menselijke vooringenomenheid is net zo reëel; ze is alleen moeilijker te zien en te toetsen. Daarom ligt de oplossing in beter bestuur, niet in het afzweren van automatisering.

Veranker verantwoordelijkheid in de besluitvorming

De gebruikelijke aanpak bij de invoering van AI is een model selecteren, het in de werkprocessen integreren, de prestaties bewaken en het na verloop van tijd verbeteren. Als de uitkomsten van het systeem gevolgen hebben voor mensen, is dat niet genoeg.

Ik noem het alternatief integratie vóór implementatie: de verantwoordelijke mens maakt deel uit van de besluitvorming en heeft daadwerkelijk de bevoegdheid om een besluit te wijzigen, in plaats van achteraf eens per kwartaal dashboards te bekijken. Het begint met drie stappen:

1. Breng elke beslissing in kaart waarbij AI nu selecteert, beoordeelt of goedkeuring verleent, en wijs voor elke beslissing een met naam genoemde menselijke verantwoordelijke aan.
2. Controleer de voorgeschiedenis die het model krijgt voordat die voorgeschiedenis beleid wordt.
3. Maak het veilig om het model te overrulen en houd bij hoe vaak dat gebeurt.

De derde stap is het belangrijkst. Als werknemers leren dat het als een fout wordt gezien wanneer ze het niet met de machine eens zijn, houden ze daarmee op. Dan wordt AI de feitelijke besluitvormer, ook al blijft er formeel een mens “in de loop”. De vraag is niet of een mens het laatste woord heeft. Het gaat erom of die persoon de bevoegdheid, de informatie en de psychologische veiligheid heeft om te zeggen: “De machine zit fout.”

Opnieuw trainen helpt, maar vooringenomenheid sluipt binnen via beslissingen: waarop het model optimaliseert, welke gegevens meetellen en wie de uitkomsten controleert. Dáár moet je kijken. Daarvoor zijn ook AI-leiders nodig die kunnen vragen waarom een systeem iets op een bepaalde manier heeft gerangschikt en die bevoegd zijn om op basis van het antwoord in te grijpen.

Het percentage gevallen waarin mensen het systeemadvies terzijde schuiven, is nuttig omdat het op meerdere manieren kan worden geïnterpreteerd. Als mensen het systeem bijna nooit overrulen, kan dat simpelweg betekenen dat het nauwkeurig is. Maar het kan ook zijn dat ze hebben geleerd dat tegenspreken niet veilig is. Als alleen senior medewerkers ervan afwijken, hebben junior medewerkers misschien geleerd hun mond te houden, terwijl zij vaak het dichtst bij de uitkomsten en de mensen die erdoor worden geraakt staan. Het doel is niet om afwijkingen helemaal uit te bannen. Het gaat om een cultuur waarin een goed onderbouwde afwijking wordt gezien als bewijs dat het systeem werkt. Vertel het breeduit wanneer iemand het model terzijde schuift en achteraf gelijk blijkt te hebben. Dat is misschien wel het beste AI-trainingsmateriaal dat uw bedrijf ooit voortbrengt.

Toets de uitkomsten, niet de intenties

Organisaties hoeven niet te wachten op een grote misser om vooroordelen op te sporen. Er zijn drie tests die nu al kunnen worden uitgevoerd:

1. Een gecontroleerde vergelijking. Voer dezelfde taak uit en verander alleen het demografische signaal, zoals de naam op een cv of het dialect van een prompt. Houd al het overige gelijk, waaronder de promptsjabloon en de volgorde van de invoer. Omdat modeluitkomsten per uitvoering verschillen, moet u elk paar meerdere keren testen en voldoende paren gebruiken om te voorkomen dat een verschil als ruis kan worden afgedaan. Zo hebben onderzoekers in wezen de verschillen in cv-rangschikkingen en automatisch gegenereerde werkcommunicatie vastgesteld; een intern team kan in één middag een eerste versie van zo’n test uitvoeren.
2. Een controle van de gebruikte maatstaf. Stel bij elke maatstaf waarop het systeem optimaliseert twee vragen: wat meet dit getal precies, en wie telt het mogelijk niet mee? Het zorgalgoritme voorspelde de gekozen maatstaf niet slecht. Het voorspelde de kosten goed. Het probleem was dat kosten als maatstaf voor de medische behoefte werden gebruikt. Een systeem kan volgens zijn eigen maatstaf nauwkeurig zijn en toch ernstig tekortschieten voor de mensen die erdoor worden geraakt.
3. Een vergelijking van de uitkomsten. Vergelijk in de praktijk de selectie- of goedkeuringspercentages tussen groepen. De vuistregel van vier vijfde, die in de Amerikaanse arbeidspraktijk wordt gebruikt om groepen te signaleren waarvan het percentage lager ligt dan 80% van dat van de groep met het hoogste percentage, is een veelgebruikte eerste toets. Combineer die met de hierboven beschreven monitoring van afwijkingen van het systeemadvies.

Deze tests hebben beperkingen. Een naamswijziging brengt expliciete demografische signalen aan het licht, maar niet indirecte aanwijzingen zoals postcode, school of onderbrekingen in het arbeidsverleden. Daarom is de vergelijking van de uitkomsten van belang. Technische maatregelen (de trainingsgegevens herwegen, eerlijkheidsvoorwaarden toevoegen en beslisdrempels aanpassen) kunnen verschillen verkleinen, maar dwingen tot een keuze. Onderzoek van Kleinberg, Mullainathan en Raghavan, en afzonderlijk onderzoek van Chouldechova, toonde aan dat een model bij verschillende basispercentages tussen groepen doorgaans niet tegelijkertijd aan kalibratie en gelijke foutpercentages kan voldoen. Welke definitie van eerlijkheid prioriteit moet krijgen, is geen vraag die een model kan beantwoorden. Het is een beslissing waarvoor iemand verantwoordelijkheid moet nemen en die iemand moet documenteren; zo komt het probleem weer neer op governance.

Beoordeel eerlijkheid naast nauwkeurigheid

Eerlijkheid wordt maar al te vaak behandeld als een afzonderlijk initiatief, iets wat HR of de juridische afdeling beoordeelt nadat het technische team de nauwkeurigheid, efficiëntie en kosten heeft geëvalueerd. Die scheiding is zelf een deel van het probleem. Eerlijkheid moet in dezelfde vergadering als nauwkeurigheid en kosten worden beoordeeld, met dezelfde verantwoordingsplicht en een duidelijk aangewezen verantwoordelijke.

Bij dat gesprek moeten HR en de juridische afdeling betrokken zijn, maar ook mensen die door dit soort systemen verkeerd zijn beoordeeld. Mensen die zijn onderschat, zien vaak als eersten wat een systeem over het hoofd ziet. Dat is een centrale gedachte in mijn boek, The Bias Advantage: de perspectieven die organisaties van oudsher over het hoofd hebben gezien, worden een krachtige bron van inzicht zodra ze deel uitmaken van het besluitvormingsproces.

Het doel is niet een AI-systeem dat nooit fouten maakt; dat is onrealistisch. Het gaat om een organisatie die kan herkennen wanneer AI het bij het verkeerde eind heeft, begrijpen waarom dat zo is en ingrijpen voordat de fout de werkelijkheid van iemand anders wordt.