GEPI:s rapport om hur AI sviker kvinnor undersöker hur algoritmer förstärker könsdiskriminering

Ett rekryteringsresultat, en kreditbedömning eller en klinisk rekommendation kan verka opartisk samtidigt som den för vidare ojämlikheten i de bakomliggande dataunderlagen. Det är den centrala varningen i Gender Equity Policy Institutes nya rapport, Hur AI sviker kvinnor: När partiskhet förstärks, som sammanför forskning om hur automatiserade system kan återskapa – och ibland förstärka – könsdiskriminering.

Rapporten, som har skrivits av maskininlärningsforskaren och GEPI:s seniora fellow Myriam Shiran, PhD, går igenom akademisk litteratur och grå litteratur om ekonomiska möjligheter, hälso- och sjukvård, straffrätt, genererat innehåll, utformning av AI för konsumenter och AI-baserade sexuella övergrepp med bilder. Den sammanställer befintlig forskning och är inte ett nytt experiment som mäter alla AI-system mot ett och samma riktmärke.

Rapportens mest betydelsefulla argument handlar om vad som händer när ett partiskt resultat lämnar en modell. Rekommendationer påverkar beslut, genererat innehåll formar förväntningar och vissa resultat blir underlag för framtida träning. Ett orättvist mönster kan därför bli svårare att upptäcka när det förs vidare genom flera system.

Könsneutrala indata garanterar inte rättvisa utfall

Att ta bort ett könsfält är en intuitiv åtgärd mot diskriminering. GEPI:s genomgång förklarar varför det inte räcker: namn, utbildning, anställningshistorik och andra uppgifter kan fortfarande innehålla signaler kopplade till kön. Historiska utfall kan också återspegla ojämlik behandling redan innan en modell får tillgång till dem.

En granskning av rekrytering som rapporten hänvisar till, utförd av Wilson och Caliskan 2024, omfattade mer än tre miljoner simulerade jämförelser av meritförteckningar inom nio yrken. De testade urvalsmodellerna föredrog statistiskt signifikant namn förknippade med män i 51,9 procent av jämförelserna och namn förknippade med kvinnor i 11,1 procent. I de återstående 37 procenten syntes ingen statistiskt signifikant preferens. Det här är resultat från kontrollerade modelltester, inte andelar av verkliga sökande som nekats jobb.

Resultaten varierar också beroende på hur testet utformas. Rapporten beskriver en separat granskning från 2025 där flera språkmodeller inte visade någon könsskillnad när forskarna enbart ändrade namnen, medan ändringar av utbildningsuppgifter påverkade resultaten. Ett snävt test kan missa information som har betydelse på andra ställen i samma arbetsflöde.

När det gäller utlåning hänvisar rapporten till en studie av omkring 80 000 lån utan säkerhet från en stor amerikansk fintech-långivare. Kvinnors lån gav långivaren högre avkastning, vilket studien kopplade till att en modell överskattade deras risk för betalningsinställelse och prissatte lånen därefter. Frågan gäller här sambandet mellan förutspådd risk, faktisk återbetalning och låntagarens kostnad – inte bara om kön anges i ansökan.

Medicinsk AI behöver mer än ett högt genomsnittligt resultat

Hälso- och sjukvården är ett särskilt tydligt exempel på hur resultat för hela befolkningen kan dölja viktiga skillnader. En modell kan fungera bra överlag men göra fler fel för personer som är underrepresenterade i dess tränings- eller valideringsdata.

GEPI hänvisar till en studie från 2024 av Zack och kollegor, där GPT-4 fick bedöma i övrigt identiska fall av bröstsmärta som beskrevs som att de gällde en man respektive en kvinna. Under 200 körningar för varje beskrivning bedömde modellen belastningsprov av hjärtat som mycket viktigt i 71 procent av fallen med män och 58 procent av fallen med kvinnor – en skillnad på 13 procentenheter.

Resultatet gäller modellens rekommendationer i en kontrollerad utvärdering, inte observerade behandlingsbeslut eller patientutfall. Den skillnaden är viktig, särskilt eftersom rapporten tar upp explorativa studier av olika modeller, sjukdomar och kliniska uppgifter som genomförts vid olika tidpunkter.

Genomgången gör också en viktig reservation: kliniskt betydelsefulla könsskillnader bör inte bara suddas ut. Utmaningen är att avgöra om en skillnad i modellens råd speglar relevant biologi eller ett antagande utan stöd. Det kräver representativa utvärderingsdata och en noggrann granskning av felen, inte ett krav på att alla rekommendationer ska vara identiska.

Partiskhet kan påverka både representation och beslut

Rapporten skiljer mellan skada på en individs tillgång till resurser – som ett lån eller vård – och skada genom hur grupper framställs. Genererade rekommendationsbrev, nyhetsartiklar och yrkesbilder kan förstärka stereotyper även när de inte omedelbart leder till beslut om fördelning av resurser.

Forskning som GEPI sammanfattar visade att språkmodeller oftare beskrev kvinnor med mellanmänskliga egenskaper och män med ledarskapsförmåga eller kompetens. Studier av bildgeneratorer fann en överdriven könsuppdelning mellan yrken. Resultaten gäller de modeller och versioner som undersöktes och ska inte tolkas som en ny granskning av alla system som finns tillgängliga i dag.

Konsumentassistenter och digitala följeslagare väcker en annan fråga. Deras röster, personligheter och sätt att bemöta trakasserier är medvetna produktval. Om man bara utvärderar den statistiska balansen i deras svar kan man förbise de antaganden som ligger inbäddade i hur produkten har utformats.

Översikten granskar också syntetiskt sexuellt bildmaterial som skapats utan samtycke, där AI kan göra det lättare att skapa och sprida övergreppsmaterial. Det handlar om mer än en felaktig skildring: att använda en verklig persons utseende utan samtycke kan orsaka direkt skada. Det kräver en annan typ av åtgärd än att korrigera en yrkesstereotyp i AI-genererade bilder.

Varför oberoende tester är viktiga

GEPI beskriver fyra återkommande mekanismer: att lära sig av historiska data som speglar ojämlikhet, att återge stereotyper, att framställa bedömningar som objektiva mätningar och att låta snedvridna resultat påverka efterföljande beslut eller modeller.

Oberoende granskningar hjälper till att synliggöra dessa mekanismer. Forskare kan variera en egenskap i övrigt jämförbara indata och undersöka hur resultaten förändras, även utan tillgång till en proprietär modells interna arkitektur. Men ett lyckat test med en enskild prompt eller på ett visst testunderlag visar inte att systemet är rättvist i hela sin tillämpning.

För organisationer som inför AI är den praktiska slutsatsen att testa den faktiska användningen. Ett rekryteringsteam behöver granska vägen från urvalspoäng till vilka som kallas till intervju. En långivare behöver jämföra riskbedömningar med utfall för återbetalning. En vårdorganisation behöver förstå vilka patienter som finns representerade i valideringsdata och var felen koncentreras. Dessa kontroller besvarar andra frågor än huruvida en modell i genomsnitt uttrycker sig väl eller är korrekt.

Vad rapporten visar – och vad som fortfarande är okänt

Rapporten bygger främst på belägg från USA, men tar även upp internationella studier när det är relevant. Källorna omfattar olika tekniker, tidsperioder och metoder. Vissa dokumenterar utfall, medan andra visar på oroande beteenden i simuleringar. Översikten fastställer inte någon universell nivå av diskriminering och visar inte heller att alla system ger upphov till samma slags snedvridning.

Rapporten pekar också på ett mätproblem: forskare har ofta inte tillgång till de institutionsdata som behövs för att koppla ett resultat till dess konsekvenser. Det är viktigt att upptäcka skillnader, men för att förstå vad de kostar i verkligheten kan det krävas uppgifter som innehas av arbetsgivare, leverantörer, långivare eller vårdgivare.

GEPI:s bidrag är att koppla samman resultat som ofta diskuteras var för sig och fråga om testning och ansvarstagande följer med AI in i de beslut som AI påverkar. Hela rapporten, Hur AI sviker kvinnor: när fördomar förstärks, innehåller metoden, hänvisningar till studier och belägg från olika sektorer som ligger till grund för det resonemanget.