AI fjerner ikke menneskelig bias. Den skalerer den op.

AI fremstilles ofte som en måde at gøre beslutninger mere objektive på: Tanken er, at hvis man fjerner den menneskelige dømmekraft, fjerner man også menneskelig bias. En voksende mængde forskning modbeviser dette.

AI-systemer lærer af menneskets historie. De trænes på vores beslutninger, vores sprog, vores institutioner og uundgåeligt også vores blinde vinkler. Når systemerne screener kandidater, fordeler sundhedsydelser eller vurderer medarbejdere, kan de videreføre denne bias i et omfang og med en hastighed, som intet enkelt menneske kan matche.

Det største problem er, at beslutningerne ser neutrale ud. En score dukker op. En rangering vises. En anbefaling genereres. Der er ingen synlige spor af de antagelser, der ligger bag, og ingen i rummet føler nødvendigvis ansvar for resultatet.

Derfor handler bias i AI ikke først og fremmest om modellen. Det handler om styring. En model kan trænes på ny, men de sværere spørgsmål er organisatoriske: Hvem ejer hver beslutning, hvad optimerer systemet efter, og hvem har mandat til at udfordre det?

Menneskelig bias føres ind i AI og kommer tilbage med maskinens hastighed

Mekanismen er ikke mystisk. Modeller tilpasser sig statistiske mønstre i deres træningsdata, og når historiske resultater (hvem der blev ansat, og hvem der fik behandling) allerede afspejler diskrimination, er det mål, modellen lærer at forudsige, skævvredet fra begyndelsen. Nyere studier viser, hvor let det sker på tværs af forskellige leverandører og opgaver:

• Ansættelser i stor skala. En analyse fra Stanford af 4 millioner reelle jobansøgninger viste, at 26 % af sorte ansøgere og 15 % af asiatiske ansøgere søgte stillinger, hvor AI-systemet diskriminerede mod deres racegruppe. Modellerne havde lært af årtiers menneskelige ansættelsesbeslutninger.
• Rangering af CV’er. Forskere fra University of Washington vurderede mere end 550 reelle CV’er ved hjælp af aktuelle sprogmodeller og fandt, at navne forbundet med hvide personer blev foretrukket 85 % af tiden, mens navne på sorte mænd sjældent blev foretrukket.
• Kommunikation på arbejdspladsen. Forskning fra Johns Hopkins, offentliggjort tidligere i år, viste, at GPT-4, Llama, Gemma og Mistral genererede mindre sofistikerede og mindre formelle arbejdsmails, når prompts indeholdt sprogmønstre, der oftere forbindes med kvinder.

Når et system som dette først er taget i brug, ophører disse mønstre med blot at være en egenskab ved træningsdataene og bliver i stedet en del af hverdagens beslutninger.

Den virkelige fare er skalaen og tavsheden

En forudindtaget menneskelig rekrutteringsmedarbejder kan måske gennemgå hundredvis af CV’er på et år. Et forudindtaget screeningssystem kan behandle millioner af ansøgninger natten over og anvende den samme fejlagtige logik på hver eneste. En forudindtaget beslutning truffet af et menneske er ofte en isoleret hændelse; en models forudindtagede beslutninger kan hurtigt blive til politik.

Sundhedsvæsenet rummer et af de tydeligste eksempler. En algoritme, der blev brugt i vid udstrækning og påvirkede millioner af patienter, var udviklet til at identificere personer, der ville have gavn af yderligere behandling. Den vurderede sorte patienter som sundere end hvide patienter, der var lige så syge. Ingen havde skrevet en racistisk regel. Algoritmen brugte sundhedsudgifter som mål for behandlingsbehov, og fordi sorte patienter historisk set fik mindre behandling og derfor havde lavere udgifter, tolkede den lavere udgifter som tegn på bedre helbred. Ifølge forskernes analyse i Science ville en ændring af dette ene designvalg have øget andelen af sorte patienter, der blev udpeget til at få ekstra hjælp, fra 17,7 % til 46,5 %.

AI-systemer afspejler ikke blot de målinger, vi giver dem; de afspejler også antagelserne bag målingerne. Menneskelig bias er lige så reel; den er blot sværere at få øje på og undersøge. Derfor ligger løsningen i bedre styring, ikke i at opgive automatisering.

Placér ansvaret i selve beslutningen

Den gængse tilgang til implementering af AI er at vælge en model, integrere den i arbejdsgangen, overvåge dens ydeevne og forbedre den over tid. Når systemets resultater påvirker mennesker, er det ikke nok.

Jeg kalder alternativet integration frem for implementering: Det ansvarlige menneske indgår i selve beslutningen og har reel myndighed til at ændre den i stedet for at gennemgå dashboards én gang i kvartalet, efter at beslutningen er truffet. Det begynder med tre trin:

1. Kortlæg alle beslutninger, som AI nu screener, scorer eller godkender, og udpeg en navngiven menneskelig ansvarlig for hver enkelt.
2. Undersøg historikken, der tilføres modellen, før den bliver til politik.
3. Gør det trygt at tilsidesætte modellen, og følg op på, hvor ofte det sker.

Det tredje trin er det vigtigste. Hvis medarbejderne lærer, at det bliver betragtet som en fejl at være uenig med maskinen, holder de op med det, og AI bliver i praksis den, der træffer beslutningerne, selv om et menneske teknisk set stadig er “med i processen”. Spørgsmålet er ikke, om et menneske har det sidste ord. Det er, om vedkommende har myndigheden, informationen og den psykologiske tryghed til at sige: “Maskinen tager fejl.”

At træne modellen på ny hjælper, men bias sniger sig ind gennem beslutningerne: Hvad modellen optimerer efter, hvilke data der tæller, og hvem der kontrollerer resultatet. Det er dér, man skal lede. Det kræver også AI-ledere, der kan spørge, hvorfor et system rangerede noget, som det gjorde, og som har mandat til at handle på svaret.

Det er nyttigt at følge med i, hvor ofte systemet bliver overstyret, fordi det tal kan tolkes på flere måder. Hvis folk næsten aldrig overstyrer systemet, kan det ganske enkelt være, fordi det er præcist. Eller også har de måske lært, at det ikke er trygt at være uenig. Hvis det kun er ledende medarbejdere, der overstyrer systemet, kan junioransatte have lært at tie stille, selv om de ofte er tættest på både resultaterne og de mennesker, det går ud over. Målet er ikke, at systemet aldrig bliver overstyret. Målet er en kultur, hvor en velbegrundet overstyring ses som et tegn på, at systemet fungerer. Når nogen overstyrer modellen og viser sig at have ret, så fortæl den historie vidt og bredt. Det kan blive det bedste undervisningsmateriale om AI, jeres virksomhed nogensinde producerer.

Undersøg resultaterne, ikke intentionerne

Organisationer behøver ikke vente på et alvorligt svigt, før de begynder at opdage skævheder. Tre tests kan gennemføres allerede nu:

1. En kontrolleret sammenligning. Udfør den samme opgave, og ændr kun det demografiske signal, for eksempel navnet på et CV eller dialekten i en prompt. Hold alt andet konstant, herunder promptskabelonen og rækkefølgen af input. Da modellens resultater varierer fra kørsel til kørsel, skal hvert par gentages flere gange, og der skal bruges tilstrækkeligt mange par til, at en forskel ikke kan afvises som tilfældig støj. Det er grundlæggende sådan, forskere fandt forskellene i rangeringen af CV’er og i genereret kommunikation på arbejdspladsen, og et internt team kan gennemføre en første version på en eftermiddag.
2. En revision af stedfortrædende mål. Stil to spørgsmål til hvert måltal, systemet optimerer efter: Hvad måler tallet faktisk, og hvem risikerer det at tælle for lavt? Sundhedsalgoritmen var ikke dårlig til at forudsige det måltal, den var indstillet til. Den var god til at forudsige omkostninger. Problemet var, at omkostninger blev brugt som mål for det medicinske behov. Et system kan være præcist efter sit eget måltal og stadig tage grundlæggende fejl, når det gælder de mennesker, det påvirker.
3. En sammenligning af resultater. Sammenlign udvælgelses- eller godkendelsesprocenter på tværs af grupper i den faktiske drift. Den såkaldte fire-femtedele-regel, der bruges i amerikansk arbejdsmarkedspraksis, markerer en gruppe, hvis andel falder til under 80 % af andelen for gruppen med den højeste rate, og er et almindeligt udgangspunkt for en indledende screening. Kombinér den med den ovenfor beskrevne overvågning af overstyringer.

Disse tests har begrænsninger. Et navneskift afslører tydelige demografiske signaler, men ikke stedfortrædende indikatorer som postnummer, skolegang eller huller i ansættelseshistorikken. Derfor er sammenligningen af resultater vigtig. Tekniske tiltag (omvægtning af træningsdata, tilføjelse af lighedskrav og justering af beslutningstærskler) kan mindske forskellene, men kræver, at man træffer et valg. Forskning udført af Kleinberg, Mullainathan og Raghavan samt separat af Chouldechova viste, at når grupper har forskellige grundrater, kan en model som regel ikke samtidig opfylde kravene til kalibrering og ens fejlprocenter. En model kan ikke afgøre, hvilken definition af retfærdighed der skal prioriteres. Det er en beslutning, som nogen må tage ansvar for og dokumentere, og dermed er vi tilbage ved spørgsmålet om forvaltning.

Vurder retfærdighed på linje med præcision

Alt for ofte behandles retfærdighed som et særskilt initiativ, som HR eller juraafdelingen gennemgår, efter at det tekniske team har vurderet præcision, effektivitet og omkostninger. Denne adskillelse er i sig selv en del af problemet. Retfærdighed bør vurderes på samme møde som præcision og omkostninger, med samme grad af ansvarlighed og en navngiven ansvarlig.

Samtalen bør omfatte HR og juraafdelingen, men også mennesker, der er blevet fejlbedømt af systemer som disse. Mennesker, der er blevet undervurderet, opdager ofte først, hvad systemet overser. Det er en central tanke i min bog, The Bias Advantage: De perspektiver, som organisationer historisk har overset, bliver en stærk kilde til indsigt, når de inddrages i beslutningsprocessen.

Målet er ikke et AI-system, der aldrig begår fejl; det er urealistisk. Målet er en organisation, der kan opdage, når AI tager fejl, forstå hvorfor og gribe ind, før fejlen bliver en andens virkelighed.