GEPI:n raportti siitä, miten tekoäly pettää naiset, tarkastelee algoritmien tapaa voimistaa sukupuolivinoumaa

Rekrytointipisteytys, luottokelpoisuusarvio tai kliininen suositus voi vaikuttaa puolueettomalta, vaikka se samalla siirtäisi eteenpäin taustalla olevan datan eriarvoisuutta. Tämä on Gender Equity Policy Instituten uuden raportin keskeinen varoitus. Raportti Näin tekoäly pettää naiset: kun vinouma voimistuu kokoaa yhteen tutkimusta siitä, miten automatisoidut järjestelmät voivat toisintaa ja joskus jopa voimistaa sukupuoleen perustuvaa syrjintää.

Koneoppimistieteilijä ja GEPI:n vanhempi tutkija Myriam Shiran, PhD, on kirjoittanut raportin, jossa käydään läpi akateemista tutkimusta ja niin sanottua harmaata kirjallisuutta taloudellisista mahdollisuuksista, terveydenhuollosta, rikosoikeudesta, tuotetusta sisällöstä, kuluttajille suunnattujen tekoälytuotteiden suunnittelusta sekä tekoälyn mahdollistamasta kuvapohjaisesta seksuaalisesta hyväksikäytöstä. Raportti kokoaa yhteen olemassa olevaa näyttöä; se ei ole uusi koe, jossa kaikkia tekoälyjärjestelmiä arvioitaisiin yhden vertailutestin perusteella.

Raportin painavin argumentti koskee sitä, mitä tapahtuu sen jälkeen, kun vinoutunut tulos poistuu mallista. Suositukset vaikuttavat päätöksiin, tuotettu sisältö muokkaa odotuksia, ja osa tuloksista päätyy tulevan koulutuksen aineistoksi. Siksi epäoikeudenmukaisen toimintamallin tunnistaminen voi vaikeutua, kun se kulkee järjestelmästä toiseen.

Sukupuolen sivuuttaminen syötteissä ei takaa oikeudenmukaisia tuloksia

Sukupuolta koskevan kentän poistaminen on luonteva tapa pyrkiä torjumaan syrjintää. GEPI:n katsaus selittää, miksi se ei yksin riitä: nimet, koulutus, työhistoria ja muut tiedot voivat yhä sisältää sukupuoleen liittyviä vihjeitä. Myös aiemmat tulokset voivat heijastaa eriarvoista kohtelua jo ennen kuin malli käsittelee niitä.

Raportissa viitataan Wilsonin ja Caliskanin vuonna 2024 tekemään rekrytointiauditointiin, jossa vertailtiin yli kolmea miljoonaa simuloitua ansioluetteloa yhdeksällä ammattialalla. Testatut seulontamallit suosivat tilastollisesti merkitsevästi miehiin yhdistettyjä nimiä 51,9 prosentissa vertailuista ja naisiin yhdistettyjä nimiä 11,1 prosentissa. Jäljelle jääneissä 37 prosentissa ei havaittu tilastollisesti merkitsevää suosimista. Nämä ovat kontrolloiduissa mallitesteissä saatuja tuloksia, eivät osuuksia niistä todellisista työnhakijoista, joilta evättiin työpaikka.

Näyttö vaihtelee myös testiasetelman mukaan. Raportissa kuvataan erillinen, vuonna 2025 tehty auditointi, jossa useat kielimallit eivät osoittaneet sukupuolten välisiä eroja, kun tutkijat muuttivat vain nimiä. Koulutusta koskevien tietojen muutokset sen sijaan vaikuttivat pisteytyksiin. Kapea-alaisessa testissä voi jäädä huomaamatta tietoa, jolla on merkitystä muualla samassa työnkulussa.

Luotonannossa katsauksessa viitataan tutkimukseen, jossa tarkasteltiin noin 80 000 vakuudetonta henkilökohtaista lainaa suurelta yhdysvaltalaiselta finanssiteknologiayritykseltä. Naisten lainat tuottivat lainanantajalle suuremman tuoton. Tutkimuksen mukaan tämä johtui siitä, että malli yliarvioi naisten maksukyvyttömyysriskin ja hinnoitteli lainat sen mukaisesti. Olennaista on tällöin ennustetun riskin, todellisen takaisinmaksun ja lainanottajan maksaman hinnan välinen suhde – ei pelkästään se, mainitaanko hakemuksessa sukupuoli.

Lääketieteellisen tekoälyn on pärjättävä hyvin muutenkin kuin keskiarvolla mitattuna

Terveydenhuolto on erityisen selkeä esimerkki siitä, miten koko väestöä koskeva suorituskyky voi peittää alleen merkittäviä eroja. Malli voi toimia yleisesti hyvin mutta tehdä enemmän virheitä sellaisten ihmisten kohdalla, jotka ovat aliedustettuina sen koulutus- tai validointiaineistossa.

GEPI viittaa Zackin ja hänen kollegoidensa vuonna 2024 tekemään tutkimukseen, jossa GPT-4:lle esitettiin muuten samanlaisia rintakiputapauksia, joissa potilaan kerrottiin olevan joko mies tai nainen. Kummallakin kuvauksella tehtiin 200 ajoa. Malli arvioi sydämen rasitustestin erittäin tärkeäksi 71 prosentissa miesten tapauksista ja 58 prosentissa naisten tapauksista – ero oli 13 prosenttiyksikköä.

Tulos koskee mallin suosituksia kontrolloidussa arvioinnissa, ei havaittuja hoitopäätöksiä tai potilaiden terveydentilaa koskevia tuloksia. Erottelu on tärkeä etenkin siksi, että raportissa käsitellään eri aikoina tehtyjä, eri malleja, sairauksia ja kliinisiä tehtäviä koskevia alustavia tutkimuksia.

Katsauksessa esitetään myös olennainen varaus: kliinisesti merkityksellisiä biologisia sukupuolieroja ei pidä vain häivyttää. Haasteena on selvittää, johtuuko mallin antaman neuvon ero merkityksellisestä biologiasta vai perusteettomasta oletuksesta. Se edellyttää edustavia arviointiaineistoja ja virheiden huolellista tarkastelua, ei vaatimusta siitä, että jokainen suositus olisi täysin samanlainen.

Vinoumat voivat vaikuttaa sekä esittämiseen että päätöksiin

Raportissa erotetaan yksilölle aiheutuva haitta, joka rajoittaa hänen pääsyään resursseihin, kuten lainaan tai terveydenhuoltoon, siitä haitasta, joka liittyy ihmisryhmien esittämiseen. Tuotetut suosituskirjeet, uutisartikkelit ja ammattikuvaukset voivat vahvistaa stereotypioita, vaikka niihin ei liittyisi välitöntä resurssien jakamista koskevaa päätöstä.

GEPI:n kokoamassa tutkimuksessa kielimallien havaittiin kuvailevan naisia useammin ihmissuhteisiin liittyvien ominaisuuksien ja miehiä puolestaan johtajuuden tai kyvykkyyden kautta. Kuvageneraattoreita koskevissa tutkimuksissa havaittiin liioiteltua sukupuolten eriytymistä eri ammateissa. Tulokset koskevat tutkittuja malleja ja niiden versioita; niitä ei pidä tulkita uutena auditointina kaikista tällä hetkellä saatavilla olevista järjestelmistä.

Kuluttajille suunnatut avustajat ja seuralaiset herättävät toisenlaisen kysymyksen. Niiden äänet, persoonallisuudet ja vastaukset häirintään ovat tietoisia tuotevalintoja. Jos arvioidaan vain vastausten tilastollista tasapainoa, voidaan sivuuttaa oletukset, jotka sisältyvät siihen, millaiseksi tuote on suunniteltu.

Katsauksessa tarkastellaan myös ilman suostumusta tuotettua synteettistä seksuaalista kuvamateriaalia, jonka tuottamista ja levittämistä tekoäly voi helpottaa. Kyse ei ole vain virheellisestä esityksestä: todellisen henkilön näköisyyden käyttö ilman hänen suostumustaan voi aiheuttaa suoraa haittaa. Tilanne edellyttää erilaista reagointia kuin tekoälyn tuottamassa kuvataiteessa esiintyvän ammattistereotypian korjaaminen.

Miksi riippumaton testaus on tärkeää

GEPI kuvaa neljä toistuvaa mekanismia: oppiminen historiallisesti eriarvoisista aineistoista, stereotypioiden toistaminen, arvioiden esittäminen objektiivisina mittauksina sekä se, että vinoutuneet tulokset vaikuttavat myöhempiin päätöksiin tai malleihin.

Riippumattomat auditoinnit auttavat tekemään nämä mekanismit näkyviksi. Tutkijat voivat muuttaa yhtä ominaisuutta keskenään vertailukelpoisissa syötteissä ja tarkastella, miten tulokset muuttuvat, vaikka heillä ei olisi pääsyä omisteisen mallin sisäiseen arkkitehtuuriin. Yhden kehotteen tai vertailutestin läpäiseminen ei kuitenkaan osoita, että koko käyttöönotto olisi oikeudenmukainen.

Tekoälyä käyttöön ottaville organisaatioille käytännön johtopäätös on testata todellista käyttötapausta. Rekrytointitiimin on tarkasteltava, miten hakijoiden seulontapisteet vaikuttavat haastatteluun valintaan. Luotonantajan on verrattava riskiennusteita takaisinmaksun toteutuneisiin tuloksiin. Terveydenhuollon organisaation on selvitettävä, mitkä potilaat ovat edustettuina validointiaineistossa ja mihin virheet keskittyvät. Näillä tarkistuksilla vastataan eri kysymyksiin kuin siihen, tuottaako malli sujuvaa tekstiä tai onko se keskimäärin tarkka.

Mitä raportti osoittaa – ja mitä ei vielä tiedetä

Raportti perustuu ensisijaisesti Yhdysvalloista saatavaan näyttöön, mutta nostaa esiin myös kansainvälisiä tutkimuksia silloin, kun ne ovat aiheellisia. Sen lähteet kattavat eri teknologioita, vuosia ja menetelmiä. Osa dokumentoi tuloksia, kun taas toiset paljastavat huolestuttavaa toimintaa simulaatioissa. Katsaus ei määritä yhtä yleispätevää syrjinnän määrää eikä osoita, että kaikki järjestelmät tuottaisivat samanlaista vinoumaa.

Raportissa tuodaan esiin myös mittaamiseen liittyvä ongelma: tutkijat eivät usein pääse käsiksi institutionaalisiin tietoihin, joita tarvitaan tuloksen ja sen seurausten yhdistämiseen. Eriarvoisuuden havaitseminen on tärkeää, mutta sen todellisten kustannusten ymmärtäminen voi edellyttää työnantajien, toimittajien, luotonantajien tai terveydenhuollon tarjoajien hallussa olevia tietoja.

GEPI:n panos on yhdistää havaintoja, joita käsitellään usein erillään, ja kysyä, ulottuvatko testaus ja vastuuvelvollisuus tekoälyn mukana sen vaikuttamiin päätöksiin. Koko raportti, Miten tekoäly pettää naiset: kun vinouma voimistuu, sisältää menetelmäkuvauksen, tutkimusviitteet ja toimialakohtaisen näytön tämän näkemyksen tueksi.