GEPI’s rapport om, hvordan AI svigter kvinder, undersøger, hvordan algoritmer forstærker kønsbias

En ansættelsesvurdering, en kreditvurdering eller en klinisk anbefaling kan se upartisk ud, samtidig med at den viderefører de uligheder, der findes i dataene bag den. Det er hovedadvarslen i Gender Equity Policy Institutes nye rapport, Hvordan AI svigter kvinder: Når bias forstærkes, som samler forskning i, hvordan automatiserede systemer kan reproducere – og undertiden forstærke – kønsdiskrimination.

Rapporten er skrevet af maskinlæringsforskeren og GEPI’s seniorforsker Myriam Shiran, ph.d., og gennemgår akademisk litteratur og grå litteratur om økonomiske muligheder, sundhedsvæsenet, strafferetssystemet, genereret indhold, design af AI til forbrugere og billedbaseret seksuelt misbrug muliggjort af AI. Den sammenfatter eksisterende forskningsresultater frem for at være et nyt eksperiment, der måler alle AI-systemer op imod én fælles standard.

Rapportens mest vidtrækkende argument handler om, hvad der sker, efter at et skævt resultat forlader en model. Anbefalinger påvirker beslutninger, genereret indhold former forventninger, og nogle resultater bliver en del af grundlaget for fremtidig træning. Et uretfærdigt mønster kan derfor blive sværere at opdage, efterhånden som det bevæger sig gennem successive systemer.

Kønsblinde input garanterer ikke retfærdige resultater

Det er nærliggende at fjerne et felt om køn som reaktion på diskrimination. GEPI’s gennemgang forklarer, hvorfor det ikke er tilstrækkeligt i sig selv: Navne, uddannelse, arbejdshistorik og andre oplysninger kan stadig indeholde signaler om køn. Historiske resultater kan også afspejle ulige behandling, før en model overhovedet får adgang til dem.

En ansættelsesundersøgelse, som rapporten henviser til, blev udført af Wilson og Caliskan i 2024 og omfattede mere end 3 millioner simulerede CV-sammenligninger på tværs af ni erhverv. De afprøvede screeningsmodeller favoriserede i signifikant grad navne, der forbindes med mænd, i 51,9 % af sammenligningerne og navne, der forbindes med kvinder, i 11,1 %. De resterende 37 % viste ingen signifikant præference. Det er resultater fra kontrollerede modeltest, ikke andele af virkelige ansøgere, der blev nægtet et job.

Resultaterne varierer også afhængigt af testens udformning. Rapporten beskriver en særskilt undersøgelse fra 2025, hvor flere sprogmodeller ikke viste nogen kønsforskel, når forskerne alene ændrede navnene, mens ændringer i uddannelsesoplysninger påvirkede vurderingerne. En snævert afgrænset test kan overse oplysninger, der har betydning andre steder i den samme arbejdsgang.

På låneområdet henviser gennemgangen til forskning i omkring 80.000 lån uden sikkerhed fra en stor amerikansk långiver inden for finansiel teknologi. Kvindernes lån gav långiveren et højere afkast, hvilket undersøgelsen satte i forbindelse med, at en model overvurderede deres risiko for misligholdelse og fastsatte lånepriserne derefter. Her handler det om forholdet mellem den forudsagte risiko, den faktiske tilbagebetaling og den pris, låntageren betaler – ikke blot om, hvorvidt køn fremgår af ansøgningen.

Medicinsk AI kræver mere end en høj samlet score

Sundhedsvæsenet giver et særligt tydeligt eksempel på, hvorfor resultater for hele befolkningen kan skjule vigtige forskelle. En model kan klare sig godt samlet set, samtidig med at den begår flere fejl for personer, der er underrepræsenteret i dens trænings- eller valideringsdata.

GEPI henviser til en undersøgelse fra 2024 af Zack og kolleger, hvor GPT-4 blev præsenteret for ellers identiske tilfælde af brystsmerter, der blev beskrevet som tilfælde hos henholdsvis en mand og en kvinde. På tværs af 200 kørsler for hver beskrivelse vurderede modellen belastningstest af hjertet som meget vigtig i 71 % af tilfældene med mænd og 58 % af tilfældene med kvinder – en forskel på 13 procentpoint.

Resultatet handler om modellens anbefalinger i en kontrolleret evaluering, ikke om observerede behandlingsbeslutninger eller patientresultater. Den forskel er vigtig, især fordi rapporten også omfatter eksplorative studier af forskellige modeller, sygdomme og kliniske opgaver, som blev gennemført på forskellige tidspunkter.

Gennemgangen fremhæver også en vigtig præcisering: Klinisk betydningsfulde forskelle mellem kønnene bør ikke bare udviskes. Udfordringen er at afgøre, om en forskel i modellens råd afspejler relevant biologi eller en udokumenteret antagelse. Det kræver repræsentative evalueringsdata og en omhyggelig undersøgelse af fejlene – ikke et krav om, at alle anbefalinger skal være identiske.

Bias kan påvirke både fremstillinger og beslutninger

Rapporten skelner mellem skade på en persons adgang til ressourcer – for eksempel et lån eller lægehjælp – og skade på den måde, grupper fremstilles på. Genererede anbefalingsbreve, nyhedsartikler og billeder af forskellige erhverv kan forstærke stereotyper, selv når der ikke umiddelbart træffes en beslutning om tildeling af ressourcer.

Forskning, som GEPI sammenfatter, viste, at sprogmodeller oftere beskrev kvinder ud fra deres mellemmenneskelige egenskaber og mænd ud fra deres lederevner eller kompetencer. Undersøgelser af billedgeneratorer viste en overdrevet kønsopdeling på tværs af erhverv. Resultaterne gælder de undersøgte modeller og versioner; de skal ikke læses som en ny undersøgelse af alle systemer, der er tilgængelige i dag.

AI-assistenter og virtuelle ledsagere til forbrugere rejser et andet spørgsmål. Deres stemmer, personligheder og reaktioner på chikane er bevidste produktvalg. Hvis man kun vurderer den statistiske balance i deres svar, kan man overse de antagelser, der ligger indlejret i den måde, produktet er designet på.

Rapporten undersøger også syntetiske seksuelle billeder, der er skabt uden samtykke, og hvordan AI kan gøre det lettere at fremstille og distribuere krænkende materiale. Det handler om mere end en unøjagtig fremstilling: Brug af en virkelig persons udseende uden samtykke kan være direkte skadelig. Det kræver en anden reaktion end at korrigere en erhvervsmæssig stereotyp i AI-genererede billeder.

Hvorfor uafhængig testning er vigtig

GEPI beskriver fire tilbagevendende mekanismer: at lære af historiske data præget af ulighed, at reproducere stereotyper, at fremstille vurderinger som objektive målinger og at lade skævvredne resultater påvirke efterfølgende beslutninger eller modeller.

Uafhængige revisioner bidrager til at synliggøre disse mekanismer. Forskere kan ændre én egenskab ad gangen i ellers sammenlignelige input og undersøge, hvordan resultaterne ændrer sig, selv uden adgang til en proprietær models interne arkitektur. Men en vellykket test af én prompt eller ét benchmark dokumenterer ikke, at systemet er retfærdigt i hele sin anvendelse.

For organisationer, der tager AI i brug, er den praktiske konsekvens, at de bør teste den konkrete anvendelse. Et rekrutteringsteam skal undersøge forløbet fra screeningsresultater til udvælgelse til jobsamtaler. En långiver skal sammenligne risikovurderinger med resultaterne af tilbagebetaling. En sundhedsorganisation skal forstå, hvilke patienter der er repræsenteret i valideringsdataene, og hvor fejlene koncentrerer sig. Disse undersøgelser besvarer andre spørgsmål end spørgsmålet om, hvorvidt en model i gennemsnit formulerer sig flydende eller er præcis.

Hvad rapporten fastslår – og hvad der fortsat er ukendt

Rapporten bygger primært på amerikansk evidens, men inddrager også internationale studier, hvor det er relevant. Kilderne spænder over forskellige teknologier, årstal og metoder. Nogle dokumenterer resultater, mens andre afdækker bekymrende adfærd i simuleringer. Gennemgangen fastslår ikke én universel diskriminationsrate, og den viser heller ikke, at alle systemer frembringer den samme bias.

Rapporten peger også på et måleproblem: Forskere har ofte ikke adgang til de institutionelle data, der er nødvendige for at forbinde et resultat med dets konsekvenser. Det er vigtigt at få øje på forskelle, men det kan kræve adgang til data hos arbejdsgivere, leverandører, långivere eller sundhedsudbydere at forstå de reelle omkostninger.

GEPI’s bidrag består i at sammenkoble resultater, der ofte diskuteres hver for sig, og undersøge, om testning og ansvarlighed følger med AI ind i de beslutninger, som AI påvirker. Den fulde rapport, Hvordan AI svigter kvinder: Når bias forstærkes, indeholder metodologien, henvisninger til studier og evidens fra de enkelte sektorer, der ligger til grund for argumentet.