KI fjerner ikke menneskelig skjevhet. Den skalerer den opp.

KI fremstilles ofte som en måte å gjøre beslutninger mer objektive på: Tanken er at hvis man fjerner menneskelig skjønn, fjerner man også menneskelig skjevhet. Stadig mer forskning viser at dette ikke stemmer.

KI-systemer lærer av menneskets historie. De trenes på beslutningene våre, språket vårt, institusjonene våre og, uunngåelig, våre blinde flekker. Når slike systemer vurderer kandidater, fordeler helsehjelp eller evaluerer ansatte, kan de gjenskape skjevhetene i en skala og med en hastighet ingen enkeltperson kan matche.

Det større problemet er at beslutningene ser nøytrale ut. En poengsum dukker opp. En rangering vises. En anbefaling genereres. Ingen synlige spor røper hvilke antakelser som ligger bak, og ingen i rommet føler nødvendigvis ansvar for utfallet.

Derfor handler KI-skjevhet først og fremst ikke om modellen. Det handler om styring. En modell kan trenes på nytt, men de vanskeligere spørsmålene er organisatoriske: Hvem har ansvaret for hver beslutning, hva systemet optimaliserer for, og hvem som har myndighet til å utfordre det.

Menneskelig skjevhet går inn i KI og kommer tilbake i maskinell hastighet

Mekanismen er ingen gåte. Modeller tilpasser seg statistiske mønstre i treningsdataene sine, og når historiske utfall (hvem som ble ansatt, hvem som fikk helsehjelp) allerede gjenspeiler diskriminering, er målet modellen lærer å forutsi, skjevt fra første stund. Nyere studier viser hvor lett dette skjer på tvers av ulike leverandører og oppgaver:

• Ansettelser i stor skala. En Stanford-analyse av 4 millioner reelle jobbsøknader viste at 26 % av svarte søkere og 15 % av asiatiske søkere søkte på stillinger der KI-systemet diskriminerte mot deres rasegruppe. Modellene hadde lært av flere tiår med menneskelige ansettelsesbeslutninger.
• Rangering av CV-er. Forskere ved University of Washington vurderte mer enn 550 reelle CV-er med moderne språkmodeller og fant at navn forbundet med hvite personer ble foretrukket i 85 % av tilfellene, mens navn på svarte menn sjelden ble foretrukket.
• Kommunikasjon på arbeidsplassen. Forskning fra Johns Hopkins publisert tidligere i år viste at GPT-4, Llama, Gemma og Mistral genererte mindre sofistikerte og mindre formelle jobb-e-poster når instruksjonene inneholdt språkmønstre som oftere forbindes med kvinner.

Når et slikt system tas i bruk, slutter disse mønstrene å være en egenskap ved treningsdataene og blir en del av beslutningene i hverdagen.

Den virkelige faren er skalaen og tausheten

En forutinntatt menneskelig rekrutterer kan gå gjennom hundrevis av CV-er i løpet av et år. Et forutinntatt screeningsystem kan behandle millioner av søknader over natten og bruke den samme mangelfulle logikken på hver eneste en. En forutinntatt beslutning tatt av et menneske er ofte en isolert hendelse; forutinntatte beslutninger fra en modell kan raskt bli til praksis.

Helsevesenet byr på et av de tydeligste eksemplene. En mye brukt algoritme, som påvirket millioner av pasienter, var laget for å identifisere personer som ville ha nytte av ytterligere helsehjelp. Den vurderte svarte pasienter som friskere enn like syke hvite pasienter. Ingen hadde skrevet en rasistisk regel. Algoritmen brukte helseutgifter som en indikator på medisinsk behov. Fordi svarte pasienter historisk sett fikk mindre helsehjelp og dermed hadde lavere utgifter, tolket den lavere utgifter som bedre helse. Ifølge forskernes analyse i Science ville en korrigering av dette ene designvalget ha økt andelen svarte pasienter som ble flagget for ytterligere hjelp, fra 17,7 % til 46,5 %.

KI-systemer gjenspeiler ikke bare måltallene vi gir dem, men også antakelsene bak disse måltallene. Menneskelig skjevhet er like reell, men vanskeligere å oppdage og teste. Derfor ligger løsningen i bedre styring, ikke i å oppgi automatisering.

Bygg ansvarlighet inn i beslutningen

Den vanlige tilnærmingen til innføring av KI er å velge en modell, integrere den i arbeidsflyten, følge med på resultatene og forbedre den over tid. Når systemets resultater påvirker mennesker, er ikke det nok.

Jeg kaller alternativet integrering fremfor utrulling: Et ansvarlig menneske deltar i selve beslutningen og har reell myndighet til å endre den, i stedet for å gå gjennom oversikter én gang i kvartalet i etterkant. Det begynner med tre trinn:

1. Kartlegg hver beslutning KI nå vurderer, poengsetter eller godkjenner, og utpek en navngitt person som ansvarlig for hver av dem.
2. Gå gjennom historikken som modellen får tilgang til, før denne historikken blir til praksis.
3. Gjør det trygt å overstyre modellen, og følg med på hvor ofte den overstyres.

Det tredje trinnet er viktigst. Hvis ansatte lærer at det blir sett på som en feil å være uenig med maskinen, slutter de å si imot, og KI blir i praksis beslutningstakeren, selv om et menneske formelt fortsatt er «med i prosessen». Spørsmålet er ikke om et menneske har det siste ordet. Det er om vedkommende har myndighet, informasjon og psykologisk trygghet til å si: «Maskinen tar feil.»

Ny trening hjelper, men skjevhet kommer inn gjennom beslutninger: Hva modellen optimaliserer for, hvilke data som teller, og hvem som kontrollerer resultatet. Det er dette man må undersøke. Det krever også KI-ledere som kan spørre hvorfor et system rangerte noe som det gjorde, og som har myndighet til å handle ut fra svaret.

Overstyringsraten er nyttig fordi den kan tolkes på flere måter. Hvis folk nesten aldri overstyrer systemet, kan det ganske enkelt være fordi det er nøyaktig. Eller de kan ha lært at det ikke er trygt å være uenig. Hvis bare personer i ledende stillinger overstyrer det, kan ansatte lenger ned i hierarkiet ha lært seg å tie, selv om de ofte er nærmest både resultatene og menneskene som påvirkes. Målet er ikke at ingen skal overstyre systemet. Målet er en kultur der en godt begrunnet overstyring regnes som et tegn på at systemet fungerer. Når noen overstyrer modellen og det viser seg at de hadde rett, bør dere fortelle den historien vidt og bredt. Det kan bli det beste opplæringsmaterialet om KI som bedriften deres noensinne produserer.

Test resultater, ikke intensjoner

Organisasjoner trenger ikke vente på en alvorlig svikt før de begynner å avdekke skjevheter. Tre tester kan gjennomføres allerede nå:

1. En kontrollert sammenligning. Utfør samme oppgave, men endre bare det demografiske signalet, for eksempel navnet på en CV eller dialekten i en prompt. Hold alt annet konstant, også promptmalen og rekkefølgen på inndataene. Siden modellresultater varierer fra kjøring til kjøring, bør hvert par testes flere ganger. Bruk nok par til at et avvik ikke kan avfeies som tilfeldig støy. Det var i hovedsak slik forskere avdekket forskjeller i rangeringen av CV-er og i KI-generert kommunikasjon på arbeidsplassen, og et internt team kan lage en første versjon i løpet av en ettermiddag.
2. En revisjon av stedfortredende mål. For hvert mål systemet optimaliserer mot, bør dere stille to spørsmål: Hva måler dette tallet egentlig, og hvem kan det telle for lite? Helsealgoritmen var ikke dårlig til å forutsi målet den var valgt ut fra. Den var god til å forutsi kostnader. Problemet var at kostnad ble brukt som mål på medisinsk behov. Et system kan være nøyaktig målt etter sitt eget mål og likevel ta svært feil når det gjelder menneskene det påvirker.
3. En sammenligning av resultater. Sammenlign utvelgelses- eller godkjenningsrater mellom grupper i faktisk bruk. Den såkalte fire-femtedelsregelen som brukes i amerikansk arbeidsliv, og som flagger en gruppe når gruppens rate er lavere enn 80 % av raten til gruppen med høyest rate, er en vanlig innledende kontroll. Kombiner den med overvåkingen av overstyringer som er beskrevet ovenfor.

Disse testene har begrensninger. Å bytte ut et navn fanger opp eksplisitte demografiske signaler, men ikke stedfortredende signaler som postnummer, skolegang eller avbrudd i arbeidsforholdet. Derfor er det viktig å sammenligne resultatene. Tekniske tiltak (som å vekte treningsdata på nytt, legge til krav om rettferdighet og justere beslutningsterskler) kan redusere forskjeller, men de innebærer at man må velge. Forskning av Kleinberg, Mullainathan og Raghavan, og separat av Chouldechova, viste at når grupper har ulike grunnrater, kan en modell som regel ikke oppfylle kravene til både kalibrering og like feilrater samtidig. Hvilken definisjon av rettferdighet som skal prioriteres, er ikke et spørsmål en modell kan besvare. Det er en beslutning noen må ta ansvar for og dokumentere, og dermed er vi tilbake ved spørsmålet om styring.

Vurder rettferdighet sammen med nøyaktighet

Altfor ofte behandles rettferdighet som et separat initiativ som HR eller juridisk avdeling vurderer etter at det tekniske teamet har evaluert nøyaktighet, effektivitet og kostnader. Dette skillet er i seg selv en del av problemet. Rettferdighet bør vurderes i samme møte som nøyaktighet og kostnader, med samme ansvarliggjøring og en navngitt ansvarlig.

Samtalen bør omfatte HR og juridisk avdeling, men også mennesker som har blitt feilvurdert av slike systemer. De som har blitt undervurdert, oppdager ofte først hva systemet overser. Dette er en sentral idé i boken min, The Bias Advantage: Perspektivene organisasjoner historisk har oversett, blir en verdifull kilde til innsikt når de får plass i beslutningsprosessen.

Målet er ikke et KI-system som aldri gjør feil; det er urealistisk. Målet er en organisasjon som kan oppdage når KI tar feil, forstå hvorfor og gripe inn før feilen blir en del av virkeligheten til noen andre.