Sukupuolivääristetyt aineistot heikentävät taudin diagnosoinnin tarkkuutta tekoälymallissa

Hiljattain julkaistussa tutkimuksessa PNAS-lehdessä ja jonka tekivät tutkijat Argentiinasta, todettiin, että sukupuolivääristetyt koulutusaineistot johtavat huonompaan mallin suorituskykyyn sairauksien diagnosoinnissa ja muiden lääketieteellisten ongelmien osalla. Statnewsin mukaan tutkijaryhmä kokeili malleja, joissa naispotilaat olivat huomattavasti aliedustettuina tai pois jätettyinä, ja totesi, että algoritmi suoritti merkittävästi huonommin naispotilaiden diagnosoinnissa. Sama päti myös tilanteisiin, joissa miespotilaat olivat pois jätettyinä tai aliedustettuina.

Viimeisen puolitoista vuotta, kun tekoälymallit ja koneoppiminen ovat yleistyneet, on kiinnitetty enemmän huomiota vääristyneiden aineistojen ja niistä johtuvien vääristyneiden koneoppimismallien ongelmiin. Aineistojen vääristymä koneoppimisessa voi johtaa kömpelöihin, sosiaalisesti vahingollisiin ja erottaviin tekoälysovelluksiin, mutta lääketieteellisissä sovelluksissa ihmiset voivat joutua vaaraan. Vaikka ongelma on tiedossa, vain harvat tutkimukset ovat yrittäneet määrittää, kuinka vahingollisia vääristyneet aineistot voivat olla. Tutkijaryhmän tekemä tutkimus osoitti, että aineistojen vääristymä voi olla äärimmäisempää kuin monet asiantuntijat olivat aikaisemmin arvioineet.

Yksi tekoälyn suosituimmista sovelluksista lääketieteellisissä yhteyksissä on ollut tekoälymallien käyttäminen potilaiden diagnosointiin lääketieteellisten kuvien perusteella. Tutkijaryhmä analysoi malleja, joita käytettiin eri lääketieteellisten tilojen, kuten keuhkokuumeen, cardiomegalian tai hernian, havaitsemiseen röntgenkuvista. Tutkijat tutkivat kolmea avoimen lähdekoodin mallirakennetta: Inception-v3, ResNet ja DenseNet-121. Mallit oli koulutettu röntgenkuvilla, jotka olivat peräisin kahdesta avoimen lähdekoodin aineistosta Stanfordin yliopistosta ja Yhdysvaltain terveysinstituuteista. Vaikka aineistot itsessään ovat suhteellisen tasapuolisia sukupuolten osalla, tutkijat muokkasivat aineistot tarkoituellaisten sukupuolivääristymien saavuttamiseksi.

Tutkijaryhmä loi viisi eri koulutusaineistoa, joista kunkin koostumus poikkesi toisistaan seuraavasti:

• Kaikki kuvat olivat miespotilaiden
• Kaikki kuvat olivat naispotilaiden
• 25 % miespotilaita ja 75 % naispotilaita
• 75 % naispotilaita ja 25 % miespotilaita
• Puoliksi mies- ja naispotilaita

Kun malli oli koulutettu yhdellä aineistojen alajoukoista, se testattiin kokoelmaa skannauksia sekä mies- että naispotilailta. Merkittävä trendi oli läsnä eri lääketieteellisten tilojen yli, mallien tarkkuus oli paljon huonompi, kun koulutusaineistot olivat merkittävästi sukupuolivääristyneitä. Mielenkiintoinen seikka on, että jos yksi sukupuoli oli yli-edustettuna koulutusaineistossa, se ei näyttänyt hyötyvän yli-edustuksesta. Riippumatta siitä, koulutettiinko malli aineistoon, joka oli vääristynyt yhden sukupuolen osalla tai toisen, se ei suorittanut paremmin kyseisellä sukupuolella verrattuna siihen, kun se oli koulutettu kattavaan aineistoon.

Tutkimuksen vanhempi tekijä, Enzo Ferrante, kertoi Statnewsille, että tutkimus korostaa, kuinka tärkeää on, että koulutusaineistot ovat monipuolisia ja edustavat kaikkia väestöryhmiä, joita malli tullaan testaamaan.

Ei ole täysin selvää, miksi mallit, jotka on koulutettu yhden sukupuolen aineistolla, suorittavat huonommin, kun ne on sovellettu toiseen sukupuoleen. Jotkut eroista voivat johtua fysiologisista eroista, mutta myös sosiaaliset ja kulttuuriset tekijät voivat vaikuttaa osaan eroista. Esimerkiksi naiset saattavat saada röntgenkuvia eri vaiheessa sairauden etenemisessä verrattuna miehiin. Jos tämä pitäisi paikkansa, se voisi vaikuttaa piirteisiin (ja siten malleissa opituille malleille) löydettyjen koulutuskuvien sisällä. Jos asia on näin, se tekee tutkijoille vaikeaksi poistaa aineistojen vääristymät, koska vääristymä on kiinni aineiston keräämisen mekanismeissa.

Joillakin tutkijoilla, jotka kiinnittävät huomiota aineistojen monipuolisuuteen, ei välttämättä ole valinnanvaraa muuta kuin työskennellä vääristyneiden tai sukupuolivääristyneiden aineistojen kanssa. Tilanteet, joissa lääketieteellisten tilojen diagnosointi poikkeaa toisistaan, usein johtavat epätasapuolisiin aineistoihin. Esimerkiksi rintasyöpäpotilaiden aineistoa kerätään lähes yksinomaan naisilta. Samoin autismi ilmenee eri tavoin naisilla ja miehillä, ja se johtaa siihen, että tila diagnosoidaan paljon useammin poikilla kuin tytöillä.

Tutkijoiden on kuitenkin erittäin tärkeää hallita vääristyneitä aineistoja ja aineistojen vääristymää millä tahansa tavalla, jolla he voivat. Tämän vuoksi tulevat tutkimukset auttavat tutkijoita määrittämään vääristyneiden aineistojen vaikutuksen.