AI eliminerar inte mänsklig partiskhet. Den förstärker den i stor skala.

AI framställs ofta som ett sätt att göra beslut mer objektiva: tanken är att om man tar bort det mänskliga omdömet, tar man också bort den mänskliga partiskheten. En växande mängd forskning motsäger detta.

AI-system lär sig av människans historia. De tränas på våra beslut, vårt språk, våra institutioner och, oundvikligen, våra blinda fläckar. När systemen granskar kandidater, fördelar vård eller utvärderar anställda kan de återskapa dessa snedvridningar i en omfattning och med en hastighet som ingen enskild människa kan mäta sig med.

Det större problemet är att besluten ser neutrala ut. En poäng presenteras. En rangordning visas. En rekommendation genereras. Det finns inga synliga spår av antagandena bakom besluten, och ingen i rummet behöver nödvändigtvis känna sig ansvarig för utfallet.

Därför är AI-partiskhet i första hand inte ett modellproblem. Det är ett styrningsproblem. En modell kan tränas om, men de svårare frågorna handlar om organisationen: vem som ansvarar för varje beslut, vad systemet optimerar för och vem som har mandat att ifrågasätta det.

Mänsklig partiskhet förs in i AI och kommer tillbaka i maskinens hastighet

Mekanismen är inte mystisk. Modeller anpassas till statistiska mönster i träningsdata, och när historiska utfall (vem som anställdes, vem som fick vård) redan återspeglar diskriminering är det mål modellen lär sig att förutsäga snedvridet redan från början. Nya studier visar hur lätt detta sker med olika leverantörer och uppgifter:

• Rekrytering i stor skala. En Stanford-analys av 4 miljoner verkliga jobbansökningar visade att 26 % av de svarta sökande och 15 % av de asiatiska sökande hade sökt tjänster där AI-systemet diskriminerade den etniska grupp de tillhörde. Modellerna hade lärt sig av årtionden av mänskliga rekryteringsbeslut.
• Rangordning av meritförteckningar. Forskare vid University of Washington utvärderade fler än 550 verkliga meritförteckningar med aktuella språkmodeller och fann att namn som förknippas med vita personer föredrogs i 85 % av fallen, medan namn på svarta män sällan föredrogs.
• Kommunikation på arbetsplatsen. Forskning från Johns Hopkins som publicerades tidigare i år visade att GPT-4, Llama, Gemma och Mistral skapade mindre sofistikerade och mindre formella arbetsmejl när instruktionerna innehöll språkmönster som oftare förknippas med kvinnor.

När ett sådant system väl tas i bruk upphör dessa mönster att vara en egenskap hos träningsdata och blir i stället en del av vardagliga beslut.

Den verkliga faran är skalan och tystnaden

En partisk rekryterare kan granska hundratals meritförteckningar på ett år. Ett partiskt granskningssystem kan behandla miljontals ansökningar över en natt och tillämpa samma bristfälliga logik på varenda en. Ett partiskt beslut av en människa är ofta en isolerad händelse; en modells partiska beslut kan snabbt bli policy.

Hälso- och sjukvården erbjuder ett av de tydligaste exemplen. En algoritm som användes i stor utsträckning och påverkade miljontals patienter var utformad för att identifiera personer som skulle ha nytta av ytterligare vård. Den bedömde svarta patienter som friskare än lika sjuka vita patienter. Ingen hade skrivit in någon rasistisk regel. Algoritmen använde sjukvårdsutgifter som en indikator på vårdbehov, och eftersom svarta patienter historiskt sett fick mindre vård och därmed genererade lägre utgifter tolkade den lägre utgifter som ett tecken på bättre hälsa. Enligt forskarnas analys i Science skulle andelen svarta patienter som identifierades som i behov av ytterligare hjälp ha ökat från 17,7 % till 46,5 % om man korrigerat just detta enda designval.

AI-system återspeglar inte bara de mått vi ger dem, utan också antagandena bakom dessa mått. Mänsklig partiskhet är lika verklig; den är bara svårare att upptäcka och pröva. Därför ligger lösningen i bättre styrning, inte i att överge automatisering.

Bygg in ansvar i beslutsfattandet

Det vanliga tillvägagångssättet vid införande av AI är att välja en modell, integrera den i arbetsflödet, övervaka prestandan och förbättra den över tid. När systemets resultat påverkar människor räcker inte det.

Jag kallar alternativet integration framför driftsättning: den ansvariga människan är en del av själva beslutsfattandet och har verklig befogenhet att ändra beslutet, i stället för att granska instrumentpaneler en gång i kvartalet i efterhand. Det börjar med tre steg:

1. Kartlägg varje beslut som AI:n nu granskar, poängsätter eller godkänner, och utse en namngiven person som ansvarar för vart och ett.
2. Granska historiken som matas in i modellen innan den historiken blir policy.
3. Gör det tryggt att åsidosätta modellen och följ upp hur ofta den åsidosätts.

Det tredje steget är viktigast. Om anställda lär sig att det betraktas som ett misstag att säga emot maskinen slutar de göra det, och AI:n blir i praktiken beslutsfattare även om en människa tekniskt sett fortfarande är ”med i loopen”. Frågan är inte om en människa har sista ordet. Frågan är om personen har befogenhet, information och psykologisk trygghet nog att säga: ”Maskinen har fel.”

Att träna om modellen hjälper, men partiskheten tar sig in genom besluten: vad modellen optimerar för, vilka data som räknas och vem som kontrollerar resultatet. Det är där man bör leta. Det krävs också AI-ledare som kan fråga varför ett system rangordnade något som det gjorde och som har mandat att agera utifrån svaret.

Andelen åsidosättanden är användbar eftersom den kan tolkas på olika sätt. Om människor nästan aldrig åsidosätter systemet kan det helt enkelt bero på att det är träffsäkert. Eller så kan de ha lärt sig att det inte är tryggt att säga emot. Om det bara är personer på högre nivåer som åsidosätter systemet kan medarbetare längre ner i organisationen ha lärt sig att hålla tyst, trots att de ofta står närmast resultaten och de människor som påverkas. Målet är inte att eliminera alla åsidosättanden. Målet är en kultur där ett välgrundat åsidosättande ses som ett tecken på att systemet fungerar. När någon åsidosätter modellen och visar sig ha rätt, berätta den historien för många. Det kan vara det bästa utbildningsmaterial om AI som företaget någonsin tar fram.

Granska resultat, inte avsikter

Organisationer behöver inte vänta på ett allvarligt misslyckande för att börja upptäcka snedvridning. Tre tester kan genomföras redan nu:

1. En kontrollerad jämförelse. Utför samma uppgift, men ändra bara den demografiska signalen, till exempel namnet på ett CV eller dialekten i en prompt. Håll allt annat konstant, inklusive promptmallen och inmatningarnas ordningsföljd. Eftersom modellens resultat varierar mellan körningar ska varje par testas flera gånger, och antalet par ska vara tillräckligt stort för att skillnaden inte ska kunna avfärdas som brus. Det är i princip så forskare upptäckte skillnader i rangordningen av CV:n och i genererad arbetsplatskommunikation, och ett internt team kan ta fram en första version på en eftermiddag.
2. En granskning av indirekta mått. Ställ två frågor för varje mått som systemet optimerar: Vad mäter det här talet egentligen, och vilka riskerar att bli underrepresenterade? Vårdal­goritmen var inte dålig på att förutsäga det mått den hade valts för. Den var bra på att förutsäga kostnader. Problemet var att kostnader användes som ersättning för medicinska behov. Ett system kan vara träffsäkert utifrån sitt eget mått och ändå ge ett mycket missvisande resultat för de människor som påverkas av det.
3. En jämförelse av utfall. Jämför urvals- eller godkännandegrader mellan grupper i den faktiska verksamheten. Tumregeln om fyra femtedelar, som används i amerikansk anställningspraxis och uppmärksammar grupper vars andel understiger 80 % av den grupps andel som är högst, är en vanlig första kontroll. Kombinera den med den ovan beskrivna uppföljningen av åsidosättanden.

De här testerna har begränsningar. Ett namnbyte fångar upp uttryckliga demografiska signaler, men inte indirekta indikatorer som postnummer, skola eller avbrott i arbetslivet. Därför är jämförelsen av utfall viktig. Tekniska åtgärder (omviktning av träningsdata, tillägg av rättvisevillkor och justering av beslutströsklar) kan minska skillnader, men innebär att man måste välja. Forskning av Kleinberg, Mullainathan och Raghavan, och separat av Chouldechova, visade att när grupper har olika grundnivåer kan en modell i allmänhet inte samtidigt uppfylla kraven på kalibrering och lika felfrekvenser. Vilken definition av rättvisa som ska prioriteras är inte en fråga som en modell kan besvara. Det är ett beslut som någon måste ta ansvar för och dokumentera, vilket för oss tillbaka till styrningen.

Granska rättvisa tillsammans med träffsäkerhet

Alltför ofta behandlas rättvisa som ett separat initiativ, något som HR eller juridik granskar efter att det tekniska teamet har utvärderat träffsäkerhet, effektivitet och kostnader. Den uppdelningen är i sig en del av problemet. Rättvisa bör granskas vid samma möte som träffsäkerhet och kostnader, med samma ansvarsskyldighet och en utsedd ansvarig.

I samtalet bör HR och juridik delta, liksom människor som har blivit felbedömda av system av det här slaget. De som har underskattats ser ofta först vad ett system missar. Det är en central tanke i min bok The Bias Advantage: de perspektiv som organisationer historiskt har förbisett blir en stark källa till insikt när de får ingå i beslutsprocessen.

Målet är inte ett AI-system som aldrig gör misstag, eftersom det är orealistiskt. Målet är en organisation som kan upptäcka när AI har fel, förstå varför och ingripa innan felet blir någon annans verklighet.