Tekoälymallit, jotka on koulutettu sukupuolipuolisissa tiedoissa, suorittavat huonommin sairauksien diagnosoinnissa

Viime aikoina julkaistu tutkimus PNAS-lehdessä ja jota Argentiinan tutkijat suorittivat, antoi viitteitä siitä, että sukupuolipuolisten koulutusaineistojen läsnäolo johtaa huonompaan mallin suorituskykyyn sairauksien ja muiden terveydellisten ongelmien diagnosoinnissa. Statsnewsin mukaan tutkijaryhmä kokeili malleja, joissa naispotilaat olivat huomattavasti aliedustettuina tai pois jätettyjä, ja havaitsi, että algoritmi suoritti olennaisesti huonommin naispotilaiden diagnosoinnissa. Sama päti myös tilanteisiin, joissa miespotilaat olivat pois jätettyjä tai aliedustettuina.

Viimeisen puolen vuosikymmenen aikana, kun tekoälymallit ja koneoppiminen ovat yleistyneet, enemmän huomiota on kiinnitetty puolipuolisten aineistojen ongelmiin ja niistä johtuviin puolipuolisiin koneoppimismalleihin. Datapuolipuolisuus koneoppimisessa voi johtaa kömpelöihin, sosiaalisesti vahingollisiin ja sulkeutuneisiin tekoälysovelluksiin, mutta kun on kyse lääketieteellisistä sovelluksista, ihmiset voivat olla vaarassa. Kuitenkin, vaikka ongelman tiedetään, vain harvat tutkimukset ovat yrittäneet mittaamaan, kuinka vahingollisia puolipuoliset aineistot voivat olla. Tutkijaryhmän suorittama tutkimus osoitti, että datapuolipuolisuus voi olla äärimmäisempi kuin monet asiantuntijat olivat aikaisemmin arvioineet.

Yksi suosituimmista tekoälyn sovelluksista lääketieteellisissä yhteyksissä on ollut tekoälymallien käyttäminen potilaiden diagnosointiin lääketieteellisten kuvien perusteella. Tutkijaryhmä analysoi malleja, joita käytettiin erilaisten terveydellisten tilojen, kuten keuhkokuumeen, cardiomegalian tai hernian, havaitsemiseen röntgenkuvista. Tutkijaryhmä tutki kolmea avoimena lähdekoodina saatavilla olevaa mallirakennetta: Inception-v3, ResNet ja DenseNet-121. Mallit oli koulutettu röntgenkuvilla, jotka olivat peräisin Stanfordin yliopistosta ja Yhdysvaltain terveysinstituutista. Vaikka aineistot itsessään ovat melko tasapuolisia sukupuoliedustuksen suhteen, tutkijat muokkasivat aineistot tarkoituksella siten, että niissä oli sukupuolipuolisuutta.

Tutkijaryhmä loi viisi erilaista koulutusaineistoa, joista kunkin koostumus oli erilainen mies- ja naispotilaiden skannauksien suhteen. Viisi koulutusjoukkoa jaettiin seuraavasti:

• Kaikki kuvat olivat miespotilaiden
• Kaikki kuvat olivat naispotilaiden
• 25 % miespotilaita ja 75 % naispotilaita
• 75 % naispotilaita ja 25 % miespotilaita
• Puoliksi mies- ja naispotilaita

Kun malli oli koulutettu yhdellä näistä alajoukoista, se testattiin kokoelmaa skannauksia sekä mies- että naispotilailta. Eräs mielenkiintoinen havainto, joka oli läsnä eri terveydellisten tilojen suhteen, oli se, että mallien tarkkuus oli paljon huonompi, kun koulutusaineisto oli merkittävästi sukupuolipuolinen. Mielenkiintoinen seikka on, että jos toinen sukupuoli oli yliedustettuna koulutusaineistossa, se ei näyttänyt hyötyvän yliedustuksesta. Riippumatta siitä, koulutettiinko malli aineistolla, joka oli puolipuolinen toisen sukupuolen suhteen, se ei suorittanut paremmin kyseisellä sukupuolella verrattuna siihen, kun se oli koulutettu kattavalla aineistolla.

Tutkimuksen vanhempi tekijä, Enzo Ferrante, kertoi Statnewsille, että tutkimus korostaa, kuinka tärkeää on, että koulutusaineistot ovat monipuolisia ja edustavat kaikkia väestöryhmiä, joissa mallia aletaan testata.

Se ei ole täysin selvää, miksi malleja, jotka on koulutettu toisen sukupuolen kanssa, suorittavat huonommin, kun ne toteutetaan toisella sukupuolella. Jotkut eroista voivat johtua fysiologisista eroista, mutta myös sosiaaliset ja kulttuuriset tekijät voivat selittää osaa eroista. Esimerkiksi naiset voivat saada röntgenkuvia eri vaiheessa sairauden etenemisessä verrattuna miehiin. Jos tämä on totta, se voi vaikuttaa piirteisiin (ja siten malleissa opituille kuvioille) koulutuskuville. Jos näin on, se tekee tutkijoille vaikeaksi poistaa aineistojen puolipuolisuutta, koska puolipuolisuus on kiinni aineistojen keräämisen mekanismeissa.

Jopa tutkijat, jotka kiinnittävät tarkkaa huomiota aineistojen monipuolisuuteen, joutuvat toisinaan työskentelemään aineistojen kanssa, jotka ovat puolipuolisia tai puolisija. Tilanteet, joissa on epätasapuolisuus siinä, miten terveydellisiä tiloja diagnosoidaan, johtavat usein epätasapuolisiin aineistoihin. Esimerkiksi rintasyöpäpotilaiden aineistot kerätään lähes yksinomaan naisilta. Samoin autismi ilmenee eri tavoin naisilla ja miehillä, ja se johtaa siihen, että tilaa diagnosoidaan paljon useammin pojilla kuin tytöillä.

Kuitenkin on erittäin tärkeää, että tutkijat kontrolloivat puolipuolisia aineistoja ja datapuolipuolisuutta kaikilla tavoin, joilla he voivat. Tämän vuoksi tulevaisuuden tutkimukset auttavat tutkijoita mittaamaan puolipuolisten aineistojen vaikutusta.