Verenvaltimot paljastavat rodun, laajentavat näkökulmaa tekoälyssä olevaan rotuväriin

Innoittuneena viimeaikaisista paljastuksista, jotka osoittavat, että lääketieteellinen tekoälykuvantaminen voi paljastaa rodun, tutkimusyhteisö Yhdysvalloissa ja Isossa-Britanniassa on suorittanut tutkimuksen siitä, ovatko verkkokalvoveren valtimoiden kuvioita edustavat rodun mukaisia, ja on päätynyt siihen, että näin onkin, ja tekoäly pystyy ennustamaan vanhempien ilmoittaman rodun vauvojen verkkokalvokuvista – kuvista, jotka eivät paljasta rotutietoa ihmisen lääkärille, jotka tutkivat niitä, ja jotka aiemmin ajateltiin sisältävän mitään mahdollisuutta rotutiedon paljastamiseen.

Ryhmä on ilmaissut huolensa siitä, että tämä lisätty rotutason muuttuja lääketieteellisessä kuvantamisessa avaa mahdollisuuden lisääntyneelle tekoälyjärjestelmien käytölle terveydenhuollossa.

Verkkokalvokuvat mustaihoinen ja valkoihoisista henkilöistä. Ylempänä, täysivärikuvat verkkokalvolta kummaltakin rodulta joilla on rotua määrittävät piirteet värisävyjen osalta. Alempana, verkkokalvon valtimokartat, jotka on johdettu näistä kuvista, ja jotka pitäisi ”tasata” nämä rotuun liittyvät ankkurit, sisältävät itse asiassa rotutunnisteita, kuten uuden raportin mukaan. Lähde: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Kirjoittajat huomauttavat myös mahdollisuudesta, että U-Net, tekoälypohjainen lääketieteellinen viitekehys, joka on määritellyt tämän alan tekoälyyn perustuvan terveydenhuollon, ja joka on koulutettu pääasiassa valkoihoisista henkilöistä*, saattaa vaikuttaa tähän havaittuun ilmiöön. Kuitenkin kirjoittajat toteavat, että he eivät ”ole vielä täysin selittäneet näitä tuloksia pelkästään U-Net-hypoteesin perusteella”.

Kommentoidessaan tuloksia hankkeen liittyvässä GitHub-repositoriossa, kirjoittajat toteavat:

”Tekoäly voi havaita rodun harmaasävyisistä verkkokalvon valtimokartoista, jotka eivät sisällä rotutietoa” ”Kaksi mahdollista selitystä näille tuloksille on, että: verkkokalvon valtimot eroavat fysiologisesti mustaihoisten ja valkoihoisten vauvojen välillä tai U-Net jakaa verkkokalvon verisuonia eri tavoin eri pigmentaatiotasojen mukaan.”

”Joka tapauksessa, seuraamukset ovat samat: tekoälymallit voivat osoittaa rotuun perustuvaa harhaa käytännössä, vaikka alkujaan yritetään poistaa tällainen tieto taustakuvista, ja vaikka ne näyttävät onnistuneilta.”

Raportti on otsikoitu Ei väritöntä: tekoäly ennustaa rotuidentiteetin mustien ja valkoisten verkkokalvon valtimojen segmentoinnista, ja se on yhdenmukainen yhteistyö viidestä Yhdysvaltain ja yhdestä Isossa-Britanniassa olevasta tutkimuslaitoksesta ja -osastosta.

Lääkärit, jotka osallistuivat tutkimukseen, ovat R.V. Paul Chan, MD, MSc, FACS, joka on sertifioitu silmälääketieteessä ja American College of Surgeonsin jäsen; Michael F. Chiang, M.D., National Eye Instituten johtaja National Institutes of Healthissa Bethesda, Marylandissa; ja J. Peter Campbell M.D., M.P.H., apulaisprofessori silmälääketieteessä Oregon Health & Science Universityn lääketieteellisessä koulussa Portlandissa.

Silmät ovat kaikki

Raportissa todetaan aiemmin todistettu potentiaali ihmisten aiheuttamalle harhalle leviämään tekoälyjärjestelmiin, ei vähiten silmien tutkimuksessa*. Verkkokalvon täysivärikuvat (RFI, ks. yllä oleva kuvavertailu), joita käytetään silmäsairauksien arvioinnissa, sisältävät täysivärisävyt, jotka sisältävät tarpeeksi pigmenttietoa rotun määritykseen.

Harmaasävyiset verkkokalvon valtimokartat (RVM) hylkäävät suurimman osan tästä tiedosta, jotta voidaan extrahoida taustalla oleva kapillaarien kuviointi, joka todennäköisesti määrittää useita sairastumisen tiloja. On aina oletettu, että tällaisessa tiivistetyssä lääketieteellisessä kuvassa ei ole jäänyt rotuominaisuuksia.

Tutkijat ovat testanneet tämän oletuksen käyttäen aineistoa RFI:stä (täysivärisistä verkkokalvokuvista), jotka on saatu vauvoilta, jotka on tutkittu mahdollisesti sokeutta aiheuttavasta taudista. Tällaisten kuvien tutkiminen, tutkijat toteavat, on yhä enenevissä määrin osa etädiagnostiikkaa ja muita etädiagnoosimenetelmiä, ja se on yhä enenevissä määrin aiheena tekoälyanalyysille.

Uusi tutkimus tutkii, säilyttävätkö erilaiset reduktiiviset versiot rotuun viittaavista täysivärikuvista rotutietoa, kuten vanhemmat ovat ilmoittaneet, ja on havainnut, että jopa informaatiota tuhoavimmat tiivistelmät RFI:stä (rajatut, luutetut ja binarisoitujen) mahdollistavat jonkinlaisen roduntunnisteen.

Tiedot ja menetelmät

Aineisto 245 vauvasta, kerätty vuoden 2012 ja heinäkuun 2020 välisenä aikana osana monikeskustutkimusta i-ROP, jaettiin koulutus-, validointi- ja testidatamääräksi 50/20/30-suhteessa, säilyttäen luonnollisen rotujakauman, niin hyvin kuin alkuperäinen aineisto salli.

Värikuvat RFI:stä tiivistettiin kolmeen mainittuun reduktiiviseen kuvatyyppeihin, jotta ”ilmeiset” rotumerkit poistettaisiin tiedoista.

Useita konvoluutio-neuroverkkoja (CNN) koulutettiin saavuttamaan binäärluokittelu (”musta”/”valkoinen”, vanhempien ilmoittaman rodun perusteella) käyttäen PyTorchia. CNN:t suorittivat datan kaikissa kuvatyypeissä, RFI:stä aina luutettuihin versioihin, soveltaen satunnaisia käännöksiä ja rotaatioita, ja johdetuista kuvista, joiden resoluutio oli 224×244 pikseliä.

Mallit koulutettiin stokastisella gradienttilaskeutumisella enintään kymmenen epochin ajan vakion oppimisnopeudella 0,001, ja varhainen pysäytys toteutettiin, ja koulutus lopetettiin, kun havaittiin konvergenssi viiden epochin jälkeen (ts. malli ei tulisi saavuttamaan suurempaa tarkkuutta koulutuksen jatkamisella).

Koska valkoihoisten ja mustaihoisten henkilöiden demografinen epätasapaino oli luonnollinen, kompensaatio toteutettiin varmistaakseen, että vähemmistölähteet eivät joutuisi systemaattisesti syrjityiksi poikkeamista, ja tulokset tarkistettiin varmistaakseen, ettei data vuotanut kokeiden välillä.

Verkkokalvon valtimokarttoja tutkimuksesta eri kynnyksellisyyden tasolla.

Tulokset

RVM:t, jotka erottavat verisuonia ja kapillaareja täysivärisistä RFI-kuvista, eivät teoriassa pitäisi olla rodun mukaan erotettavissa CNN:llä, kirjoittajien mukaan. Kuitenkin tulokset osoittavat, että suurempi määrä suurempia arterioita on segmentoitu U-Netillä valkoisille silmille kuin mustille silmille.

Johtopäätöksissään tutkijat toteavat ‘Löysimme, että tekoäly pystyi helposti ennustamaan vauvojen rodun verkkokalvon valtimosegmentoinneista, joissa ei ollut näkyvää tietoa pigmentaatiosta‘, ja että ”jopa kuvat, jotka näyttivät sisältämättömiltä tietoa paljain silmin, sisälsivät edelleen ennustettavaa tietoa alkuperäisen vauvan rodusta”. Tutkijat esittävät myös mahdollisuuden, että mustien ja valkoisten vauvojen verkkokalvon verisuonet ”eroavat jollain tavoin, jota tekoäly voi arvostella, mutta ihmiset eivät”.

Priorinen harha?

Kirjoittajat ehdottavat myös, että diskriminaatio voi olla seuraus valkoisten henkilöiden hallitsevasta aineistosta, jolla U-Net on alun perin koulutettu. Vaikka he kuvaavat tätä ”johtavana teorianaan”, he myöntävät myös, että anturien kykyjen saattaa olla tekijänä ilmiössä, jos havaittu harha on seuraus teknisistä kuvaamiseen liittyvistä seikoista tai U-Netin dataharhasta, joka on itseään toistava vuosien varrella. Osoittaakseen nämä mahdollisuudet, raportti myöntää:

”U-Net kuitenkin koulutettiin RFI-kuvista, jotka muunnettiin ensin harmaasävyisiksi ja joille sovellettiin kontrastin rajoitettua histogrammen tasausta (CLAHE) — ja se ei ollut koskaan koulutettu värikuvilla. Emme ole vielä täysin selittäneet näitä tuloksia pelkästään U-Net-hypoteesin perusteella”.

Kuitenkin kirjoittajat toteavat, että syy on vähemmän hälyttävä kuin seuraus, ja toteavat, että tekoälymallien kyky havaita rotu sisältää mahdollisen ”riskin harhalle tekoälyalgoritmeissa, jotka käyttävät niitä syötteenä”.

Kirjoittajat huomauttavat roduryhmien korkean kontrastin ja olettavat, että ”välimaisten” roturyhmien tunnistaminen voi olla ”vaikeampaa samalla tavoin, ja tämä on yksi seikka, jonka he aikovat tutkia jatkossa ja liittyvissä tutkimuksissa”.

* Kaikki raportissa mainitut tukilinkit on muunnettu rajoitettujen PaperPile-linkkien sijaan julkisesti saataville verkkoversioiksi, missä mahdollista.