Tekoäly ei poista ihmisten ennakkoluuloja. Se moninkertaistaa niiden vaikutuksen.

Tekoäly esitetään usein keinona tehdä päätöksistä objektiivisempia: ajatuksena on, että kun inhimillinen harkinta poistetaan, poistuvat myös ihmisten ennakkoluulot. Kasvava tutkimusnäyttö kumoaa tämän käsityksen.

Tekoälyjärjestelmät oppivat ihmiskunnan historiasta. Niitä koulutetaan päätöstemme, kielemme, instituutioidemme ja väistämättä myös sokeiden pisteidemme pohjalta. Kun järjestelmät esikarsivat hakijoita, kohdentavat terveydenhuoltoa tai arvioivat työntekijöitä, ne voivat toisintaa näitä ennakkoluuloja mittakaavassa ja nopeudella, johon yksikään ihminen ei pystyisi.

Suurempi ongelma on se, että päätökset näyttävät neutraaleilta. Pistemäärä ilmestyy. Järjestys muodostuu. Suositus tuotetaan. Taustalla olevista oletuksista ei näy mitään, eikä kukaan huoneessa välttämättä koe olevansa vastuussa lopputuloksesta.

Siksi tekoälyn vinoumat eivät ole ensisijaisesti malliongelma vaan hallintakysymys. Malli voidaan kouluttaa uudelleen, mutta vaikeammat kysymykset ovat organisatorisia: kuka vastaa kustakin päätöksestä, mitä järjestelmä pyrkii optimoimaan ja kenellä on valtuudet kyseenalaistaa se.

Ihmisten ennakkoluulot siirtyvät tekoälyyn ja palaavat koneen nopeudella

Mekanismi ei ole mystinen. Mallit tunnistavat koulutusdatastaan tilastollisia säännönmukaisuuksia, ja jos historialliset lopputulokset (ketkä palkattiin, ketkä saivat hoitoa) jo ilmentävät syrjintää, malli oppii ennustamaan alusta asti vinoutunutta kohdetta. Viimeaikaiset tutkimukset osoittavat, kuinka helposti näin käy eri palveluntarjoajien järjestelmissä ja erilaisissa tehtävissä:

• Rekrytointi suuressa mittakaavassa. Stanfordin analyysissä tarkasteltiin 4 miljoonaa todellista työhakemusta, ja siinä havaittiin, että 26 % mustista hakijoista ja 15 % aasialaisista hakijoista oli hakenut tehtäviä, joissa tekoälyjärjestelmä syrji heidän etnistä ryhmäänsä. Mallit olivat oppineet vuosikymmenten aikana tehdyistä ihmisten rekrytointipäätöksistä.
• Ansioluetteloiden järjestäminen. Washingtonin yliopiston tutkijat arvioivat yli 550:tä todellista ansioluetteloa nykyisillä kielimalleilla ja havaitsivat, että valkoisiin yhdistettyjä nimiä suosittiin 85 prosentissa tapauksista, kun taas mustiin miehiin yhdistettyjä nimiä suosittiin harvoin.
• Työpaikkaviestintä. Johns Hopkinsin tänä vuonna julkaistussa tutkimuksessa havaittiin, että GPT-4, Llama, Gemma ja Mistral tuottivat vähemmän kehittyneitä ja vähemmän muodollisia työsähköposteja, kun kehotteissa oli kielellisiä piirteitä, jotka yhdistetään useammin naisiin.

Kun tällainen järjestelmä otetaan käyttöön, nämä säännönmukaisuudet eivät enää ole vain koulutusdatan ominaisuus, vaan niistä tulee osa jokapäiväistä päätöksentekoa.

Todellinen vaara piilee mittakaavassa ja vaikenemisessa

Ennakkoluulojen ohjaama rekrytoija saattaa käydä läpi satoja ansioluetteloita vuodessa. Vinoutunut esikarsintajärjestelmä voi käsitellä miljoonia hakemuksia yhdessä yössä ja soveltaa samaa virheellistä logiikkaa jokaiseen niistä. Ihmisen vinoutunut päätös jää usein yksittäiseksi tapaukseksi; mallin vinoutuneista päätöksistä voi nopeasti tulla käytäntö.

Terveydenhuolto tarjoaa yhden selkeimmistä esimerkeistä. Laajasti käytetty algoritmi, joka vaikutti miljooniin potilaisiin, oli suunniteltu tunnistamaan ihmiset, jotka hyötyisivät lisähoidosta. Se arvioi mustat potilaat terveemmiksi kuin yhtä sairaat valkoiset potilaat. Kukaan ei ollut kirjoittanut rasistista sääntöä. Algoritmi käytti terveydenhuoltomenoja lääketieteellisen tarpeen sijaismittarina, ja koska mustat potilaat olivat historiallisesti saaneet vähemmän hoitoa ja siksi aiheuttaneet pienempiä menoja, se tulkitsi pienemmät menot paremmaksi terveydentilaksi. Tutkijoiden Science-lehdessä julkaistun analyysin mukaan tämän yhden suunnitteluratkaisun korjaaminen olisi kasvattanut lisäapua tarvitseviksi tunnistettujen mustien potilaiden osuuden 17,7 prosentista 46,5 prosenttiin.

Tekoälyjärjestelmät eivät vain heijasta niille antamiamme mittareita, vaan myös näiden mittareiden taustalla olevia oletuksia. Ihmisten ennakkoluulot ovat aivan yhtä todellisia; niitä on vain vaikeampi havaita ja testata, minkä vuoksi ratkaisu on paremmassa hallinnassa eikä automaatiosta luopumisessa.

Tuo vastuu osaksi päätöksentekoa

Tekoälyn käyttöönotossa noudatetaan tavallisesti tätä mallia: valitaan malli, integroidaan se työnkulkuun, seurataan sen suorituskykyä ja kehitetään sitä ajan mittaan. Kun järjestelmän tulokset vaikuttavat ihmisiin, tämä ei riitä.

Kutsun vaihtoehtoista lähestymistapaa integroinniksi käyttöönoton sijaan: vastuullinen ihminen osallistuu itse päätöksentekoon ja hänellä on todellinen valta muuttaa päätöstä sen sijaan, että hän tarkastelisi koontinäyttöjä kerran vuosineljänneksessä jälkikäteen. Tämä alkaa kolmesta vaiheesta:

1. Kartoita kaikki päätökset, joita tekoäly tällä hetkellä esikarsii, pisteyttää tai hyväksyy, ja nimeä jokaiselle niistä vastuuhenkilö.
2. Tarkasta historia, jota mallille syötetään, ennen kuin siitä tulee käytäntö.
3. Tee mallin ohittamisesta turvallista ja seuraa ohitusastetta.

Kolmas vaihe on tärkein. Jos työntekijät oppivat, että koneen kanssa eri mieltä oleminen tulkitaan virheeksi, he lakkaavat tekemästä niin, ja tekoälystä tulee tosiasiallinen päätöksentekijä, vaikka ihminen teknisesti pysyisi ”silmukassa”. Kysymys ei ole siitä, onko ihmisellä viimeinen sana. Olennaista on, onko hänellä valta, tieto ja psykologisesti turvallinen ympäristö sanoa: ”Kone on väärässä.”

Uudelleenkoulutus auttaa, mutta vinoumat syntyvät päätöksistä: mitä malli optimoi, mikä data lasketaan mukaan ja kuka tarkistaa tulokset. Niihin on syytä kiinnittää huomiota. Tarvitaan myös tekoälyjohtajia, jotka osaavat kysyä, miksi järjestelmä asetti jonkin asian tiettyyn järjestykseen, ja joilla on valtuudet toimia vastauksen perusteella.

Ohitusten osuus on hyödyllinen mittari, koska sen tulkinta on monitulkintainen. Jos ihmiset ohittavat järjestelmän päätöksen vain harvoin, järjestelmä saattaa yksinkertaisesti olla tarkka. Tai he ovat ehkä oppineet, ettei eri mieltä ole turvallista olla. Jos vain kokeneemmat työntekijät ohittavat päätöksiä, nuoremmat työntekijät ovat saattaneet oppia vaikenemaan, vaikka he ovat usein lähimpänä sekä järjestelmän tuotoksia että niiden vaikutusten kohteena olevia ihmisiä. Tavoitteena ei ole, ettei ohituksia tapahtuisi lainkaan. Tavoitteena on luoda kulttuuri, jossa hyvin perusteltu ohitus nähdään merkkinä siitä, että järjestelmä toimii. Kun joku ohittaa mallin päätöksen ja osoittautuu oikeaksi, kerro siitä laajasti. Se saattaa olla parasta tekoälyn koulutusaineistoa, jota yrityksesi koskaan tuottaa.

Testaa tuloksia, älä aikomuksia

Organisaatioiden ei tarvitse odottaa suurta epäonnistumista ryhtyäkseen havaitsemaan vinoumia. Kolme testiä voidaan tehdä jo nyt:

1. Hallittu vertailu. Suorita sama tehtävä ja muuta vain demografista vihjettä, kuten ansioluettelossa olevaa nimeä tai kehotteen murretta. Pidä kaikki muu ennallaan, myös kehotepohja ja syötteiden järjestys. Koska mallin tuotokset vaihtelevat ajokerrasta toiseen, toista jokainen pari useita kertoja ja käytä riittävän montaa paria, jotta eroa ei voi sivuuttaa satunnaisvaihteluna. Näin tutkijat käytännössä tunnistivat erot ansioluetteloiden järjestyksessä ja työpaikkaviestien tuottamisessa, ja organisaation sisäinen tiimi voi tehdä ensimmäisen version yhdessä iltapäivässä.
2. Proksimuuttujien auditointi. Kysy jokaisen järjestelmän optimoiman mittarin kohdalla kaksi kysymystä: mitä tämä luku oikeastaan mittaa, ja ketkä saattavat jäädä siinä liian vähälle huomiolle? Terveydenhuollon algoritmi ei ollut huono ennustamaan valitsemaansa mittaria. Se ennusti kustannuksia hyvin. Ongelma oli, että kustannukset toimivat lääketieteellisen tarpeen sijaismittarina. Järjestelmä voi olla oman mittarinsa mukaan tarkka ja silti arvioida pahasti väärin niitä ihmisiä, joihin se vaikuttaa.
3. Tulosten vertailu. Vertaa tuotantokäytössä olevien ryhmien valinta- tai hyväksymisasteita. Yhdysvaltain työsuhdekäytännöissä käytetty nyrkkisääntö, jonka mukaan viidesosan sääntö täyttyy, kun ryhmän aste jää alle 80 prosentin korkeimman ryhmän asteesta, on yleinen alustava seulontamenetelmä. Yhdistä se edellä kuvattuun ohitusten seurantaan.

Näillä testeillä on rajoituksensa. Nimen vaihtaminen paljastaa suorat demografiset vihjeet, mutta ei sijaismuuttujia, kuten postinumeroa, koulutusta tai työhistoriassa olevia katkoksia. Siksi tulosten vertailu on tärkeää. Teknisillä korjaustoimilla, kuten koulutusdatan uudelleenpainotuksella, oikeudenmukaisuusrajoitteiden lisäämisellä ja päätöskynnysten säätämisellä, voidaan pienentää eroja, mutta ne edellyttävät valintoja. Kleinbergin, Mullainathanin ja Raghavanin sekä erikseen Chouldechovan tutkimuksissa osoitettiin, että kun ryhmien perusosuudet poikkeavat toisistaan, malli ei yleensä voi samanaikaisesti täyttää kalibroinnin ja yhtäläisten virheasteiden vaatimuksia. Malli ei voi päättää, mitä oikeudenmukaisuuden määritelmää pitäisi painottaa. Jonkun on otettava vastuu tästä päätöksestä ja dokumentoitava se, mikä palauttaa meidät hallintokysymykseen.

Arvioi oikeudenmukaisuutta tarkkuuden rinnalla

Liian usein oikeudenmukaisuutta käsitellään erillisenä hankkeena, jota henkilöstöhallinto tai lakiosasto tarkastelee vasta teknisen tiimin arvioitua tarkkuuden, tehokkuuden ja kustannukset. Tämä erottelu on itsessään osa ongelmaa. Oikeudenmukaisuutta pitäisi arvioida samassa kokouksessa tarkkuuden ja kustannusten kanssa, yhtä selkeän vastuunjaon puitteissa ja nimetyn vastuuhenkilön johdolla.

Keskusteluun pitäisi osallistua henkilöstöhallinnon ja lakiosaston edustajien lisäksi myös ihmisiä, joita tällaiset järjestelmät ovat arvioineet väärin. Aliarvioidut ihmiset huomaavat usein ensimmäisinä, mitä järjestelmä ei näe. Tämä on keskeinen ajatus kirjassani The Bias Advantage: organisaatioiden aiemmin sivuuttamista näkökulmista tulee voimakas tiedon lähde, kun ne otetaan mukaan päätöksentekoon.

Tavoitteena ei ole tekoälyjärjestelmä, joka ei koskaan tee virheitä, sillä se ei ole realistista. Tavoitteena on organisaatio, joka pystyy tunnistamaan, milloin tekoäly on väärässä, ymmärtämään miksi ja puuttumaan tilanteeseen ennen kuin virheestä tulee jonkun toisen todellisuutta.