GEPI-rapport undersøker hvordan algoritmer forsterker kjønnsdiskriminering

En ansettelsesvurdering, en kredittvurdering eller en klinisk anbefaling kan virke upartisk, samtidig som den viderefører ulikhetene i dataene den bygger på. Dette er hovedadvarselen i den nye rapporten fra Gender Equity Policy Institute, Hvordan KI svikter kvinner: Når skjevheter forsterkes, som samler forskning på hvordan automatiserte systemer kan gjenskape – og noen ganger forsterke – kjønnsdiskriminering.

Rapporten er skrevet av maskinlæringsforskeren og GEPI-seniorforskeren Myriam Shiran, PhD, og gjennomgår akademisk litteratur og grålitteratur om økonomiske muligheter, helsevesen, strafferett, generert innhold, utforming av KI for forbrukere og KI-støttet seksuelt misbruk ved hjelp av bilder. Den sammenfatter eksisterende kunnskap og er ikke et nytt eksperiment som måler alle KI-systemer mot én felles referanse.

Det viktigste argumentet handler om hva som skjer etter at et skjevt resultat forlater en modell. Anbefalinger påvirker beslutninger, generert innhold former forventninger, og enkelte resultater blir brukt som materiale i senere trening. Et urettferdig mønster kan derfor bli vanskeligere å oppdage når det beveger seg gjennom flere systemer etter hverandre.

Kjønnsblinde inndata garanterer ikke rettferdige resultater

Å fjerne et kjønnsfelt er en nærliggende reaksjon på diskriminering. GEPI-rapporten forklarer hvorfor dette alene ikke er nok: navn, utdanning, arbeidshistorikk og andre opplysninger kan fortsatt røpe signaler knyttet til kjønn. Historiske resultater kan også gjenspeile ulik behandling før en modell i det hele tatt får tilgang til dem.

En ansettelsesrevisjon som rapporten viser til, utført av Wilson og Caliskan i 2024, omfattet over tre millioner simulerte sammenligninger av CV-er fordelt på ni yrker. Screeningmodellene som ble testet, foretrakk navn forbundet med menn i 51.9% av sammenligningene og navn forbundet med kvinner i 11.1%. De resterende 37% viste ingen signifikant preferanse. Dette er resultater fra kontrollerte modelltester, ikke andeler av reelle søkere som fikk avslag på jobb.

Resultatene varierer også med hvordan testene utformes. Rapporten beskriver en separat revisjon fra 2025 der flere språkmodeller ikke viste noen kjønnsforskjell når forskerne bare endret navnene, mens endringer i utdanningsopplysninger påvirket vurderingene. En snevert utformet test kan overse informasjon som har betydning andre steder i den samme arbeidsflyten.

Når det gjelder utlån, viser rapporten til forskning på rundt 80,000 usikrede personlige lån fra en stor amerikansk långiver innen finansteknologi. Lånene til kvinner ga långiveren høyere avkastning, noe studien knyttet til at en modell overvurderte risikoen for at kvinnene ikke ville betale tilbake, og prissatte lånene deretter. Her dreier spørsmålet seg om forholdet mellom beregnet risiko, faktisk tilbakebetaling og prisen låntakeren betaler – ikke bare om kjønn er oppgitt i søknaden.

Medisinsk KI trenger mer enn en høy gjennomsnittsscore

Helsevesenet gir et særlig tydelig eksempel på hvordan resultater for hele befolkningen kan skjule viktige forskjeller. En modell kan prestere godt samlet sett, samtidig som den gjør flere feil for personer som er underrepresentert i trenings- eller valideringsdataene.

GEPI viser til en studie fra 2024 av Zack og kolleger, der GPT-4 ble presentert for ellers identiske tilfeller av brystsmerter, beskrevet som om de gjaldt en mann eller en kvinne. I 200 kjøringer for hver beskrivelse vurderte modellen belastningstest av hjertet som svært viktig i 71% av tilfellene med menn og 58% av tilfellene med kvinner – en forskjell på 13 prosentpoeng.

Dette funnet gjelder modellens anbefalinger i en kontrollert evaluering, ikke observerte behandlingsbeslutninger eller pasientutfall. Dette skillet er viktig, særlig fordi rapporten også omtaler utforskende studier av ulike modeller, sykdommer og kliniske oppgaver som ble gjennomført på forskjellige tidspunkter.

Rapporten tar også et viktig forbehold: Klinisk relevante kjønnsforskjeller bør ikke bare viskes ut. Utfordringen er å avgjøre om en forskjell i modellens råd gjenspeiler relevant biologi eller en antakelse uten tilstrekkelig grunnlag. Det krever representative evalueringsdata og en grundig gjennomgang av feilene, ikke et krav om at alle anbefalinger skal være identiske.

Skjevheter kan prege representasjoner så vel som beslutninger

Rapporten skiller mellom skade på en persons tilgang til ressurser – som lån eller helsehjelp – og skade gjennom måten grupper fremstilles på. Genererte anbefalingsbrev, nyhetsartikler og bilder av ulike yrker kan forsterke stereotypier, selv når det ikke følger noen umiddelbar beslutning om fordeling av ressurser.

Forskning som GEPI har oppsummert, fant at språkmodeller oftere beskrev kvinner med mellommenneskelige egenskaper og menn med lederegenskaper eller evner. Studier av bildegeneratorer fant en overdrevet kjønnsdeling mellom yrker. Resultatene gjelder modellene og versjonene som ble undersøkt; de bør ikke tolkes som en ny gjennomgang av alle systemer som er tilgjengelige nå.

Forbrukerassistenter og digitale følgesvenner reiser et annet spørsmål. Stemmer, personligheter og reaksjoner på trakassering er bevisste produktvalg. Hvis man bare vurderer den statistiske balansen i svarene, kan man overse antakelsene som ligger innebygd i hvordan produktet er utformet.

Gjennomgangen ser også på syntetiske seksualiserte bilder som er laget uten samtykke, der KI kan gjøre det enklere å produsere og spre overgrep. Dette handler om mer enn en uriktig framstilling: Bruk av en virkelig persons utseende uten samtykke kan føre til direkte skade. Det krever en annen reaksjon enn å korrigere en yrkesstereotypi i KI-generert kunst.

Hvorfor uavhengig testing er viktig

GEPI beskriver fire tilbakevendende mekanismer: å lære av historiske data preget av ulikhet, å gjenskape stereotypier, å framstille vurderinger som objektive målinger og å la skjeve resultater påvirke senere beslutninger eller modeller.

Uavhengige revisjoner bidrar til å synliggjøre disse mekanismene. Forskere kan variere én egenskap i ellers sammenlignbare inndata og undersøke hvordan resultatene endrer seg, også uten tilgang til den interne arkitekturen i en proprietær modell. Men en vellykket test av én instruks eller referansetest fastslår ikke at hele løsningen er rettferdig.

For organisasjoner som tar i bruk KI, er den praktiske konsekvensen at de må teste den faktiske bruken. Et rekrutteringsteam må undersøke veien fra poengsummer i den innledende vurderingen til utvelgelse til intervju. En långiver må sammenligne risikovurderinger med tilbakebetalingsresultater. En helseorganisasjon må forstå hvilke pasienter som er representert i valideringsdataene, og hvor feilene oppstår. Disse kontrollene besvarer andre spørsmål enn om en modell i gjennomsnitt formulerer seg flytende eller treffer riktig.

Hva rapporten fastslår – og hva som fortsatt er ukjent

Rapporten bygger først og fremst på amerikansk dokumentasjon, samtidig som den viser til internasjonale studier der det er relevant. Kildene omfatter ulike teknologier, årstall og metoder. Noen dokumenterer utfall, mens andre avdekker bekymringsfull atferd i simuleringer. Gjennomgangen fastslår ikke én universell diskrimineringsrate, og den viser heller ikke at alle systemer gir de samme skjevhetene.

Den peker også på et måleproblem: Forskere har ofte ikke tilgang til de institusjonelle dataene som trengs for å knytte et resultat til konsekvensene det får. Det er viktig å avdekke forskjeller, men det kan kreve tilgang til opplysninger hos arbeidsgivere, leverandører, långivere eller helsepersonell for å forstå hva de faktisk koster samfunnet.

GEPI bidrar ved å knytte sammen funn som ofte omtales hver for seg, og spørre om testing og ansvarlighet følger KI inn i beslutningene teknologien påvirker. Hele rapporten, Hvordan KI svikter kvinner: Når skjevheter forsterkes, inneholder metodikken, henvisningene til studiene og dokumentasjonen fra de ulike sektorene som ligger til grunn for dette argumentet.