Žíly sítnice odhalují rasu, rozšiřují rozsah pro předpojatost AI

Inspirativní recentní odhalení, že lékařská AI imaging může odhalit rasu, vedlo k výzkumu konsorcia ve Spojených státech a Velké Británii, zda jsou vzory žil sítnice indikativní pro rasu, a dospělo k závěru, že tomu tak skutečně je, s AI schopnou předpovědět rasu hlášenou rodiči u dětí z obrazů sítnice – obrazů, které by neodhalily rasovou identitu lidskému lékaři, který je studuje, a které se dříve považovaly za neobsahující žádný potenciál pro rasové odhalení.

Skupina vyjádřila obavy, že tato další vektor rasové stratifikace v lékařském zobrazování otevírá možnost zvýšeného předpojatí při používání systémů umělé inteligence ve zdravotnictví.

Obrazy sítnice od černého a bílého subjektu. Nahoře, plnobarevný obraz sítnice z každé rasy již má rasově rozlišující rysy související s barevným rozložením. Dole, mapy žil sítnice odvozené z těchto obrazů, které se mají ‘vyrovnat’ tyto rasově určující znaky, ve skutečnosti obsahují rasově identifikační charakteristiky, podle nové zprávy. Zdroj: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Autorům se také nabízí možnost, že U-Net, rámec strojového učení, který se stal definujícím pro tento sektor zdravotnické AI, a který byl trénován na převážně bílých subjektech*, může mít vliv na tento pozorovaný jev. Avšak autoři tvrdí, že jsou ‘dosud nejsou schopni plně vysvětlit tato zjištění pouze na základě hypotézy U-Net’.

Komentář k výsledkům na GitHub repozitáři spojeném s projektem, autoři uvádějí:

‘AI může detekovat rasu z odstínových map žil sítnice [mapy žil sítnice] , které se nepovažovaly za obsahující rasové informace. Dvě možné vysvětlení pro tato zjištění jsou, že: žíly sítnice se fyziologicky liší mezi černými a bílými dětmi nebo že U-Net segmentuje žíly sítnice odlišně pro různé pigmentace oční duhovky.

‘…Buď jak buď, důsledky zůstávají stejné: algoritmy AI mají potenciál prokázat rasové předpojatí v praxi, i když se zdá, že se podařilo odstranit takovou informaci z podkladových obrazů.’

Článek článku se jmenuje Není barvoslepý: AI předpovídá rasovou identitu z černobílých segmentací žil sítnice, a je rovnocennou spoluprací mezi lékaři a výzkumníky z pěti institucí a výzkumných oddělení ve Spojených státech a jedním ve Velké Británii.

Lékaři, kteří se účastnili výzkumu, zahrnují R.V. Paula Chana, MD, MSc, FACS, certifikovaného v oftalmologii, a člena Americké koleje chirurgů; Michaela F. Chiang, M.D., ředitele Národního očního institutu v Národních institucích zdraví v Bethesdě, Marylandu; a J. Petera Campbella M.D., M.P.H., docenta oftalmologie na Lékařské fakultě Oregonské univerzity zdravotnických věd v Portlandu.

Žíly sítnice mají to

Článek uvádí, že dříve prokázaný potenciál pro lidsky založené předpojatí se může přenést do lékařských systémů AI, nejméně v studiu očí*. Obrazy sítnice (RFI, viz srovnávací obrázek výše), používané pro hodnocení očních onemocnění, jsou plnobarevné obrazy, které obsahují dostatek informací o pigmentaci, aby bylo možné identifikovat rasu.

Šedé mapy žil sítnice (RVM) odstraňují většinu této informace, aby extrahovaly základní vzor kapilár, které pravděpodobně definují mnoho onemocnění. Bylo vždy předpokládáno, že na této úrovni destilace nezbývají žádné rasové charakteristiky v takových reduktivních lékařských obrazech.

Autorům testovali toto předpoklad s použitím datové sady RFI (plnobarevné obrazy sítnice) získané z dětí, které byly vyšetřeny na potenciálně oslepující onemocnění. Vyšetřování těchto obrazů, autoři uvádějí, je stále častěji prováděno mimo osobní konzultace, v telemedicíně a dalších vzdálených diagnostických kontextech, a stává se stále více předmětem analýzy strojového učení.

Nový výzkum zkoumá, zda různé typy reduktivních verzí rasově identifikačních plnobarevných obrazů uchovávají rasové informace, jak je hlásili rodiče dětí, a zjistil, že i ty nejinformativnější destilace RFI (prahové, skeletizované a binarizované) umožňují určitou úroveň rasové identifikace.

Data a metodologie

Data z 245 dětí, shromážděná mezi lednem 2012 a červencem 2020 jako součást multicentrické studie i-ROP, byla rozdělena do trénovacích, validačních a testovacích dat ve výši 50/20/30, s přirozeným rozložením ras uchovaným podle možností zdrojových dat.

Plnobarevné RFI byly redukovány na tři výše zmíněné reduktivní styly obrazů, aby se ‘zjevné’ rasové znaky technicky odstranily z dat.

Byly trénovány multiple konvoluční neuronové sítě (CNN), aby dosáhly binární klasifikace (‘černá’/ ‘bílá’, založené na rasě hlášené rodiči) pomocí PyTorch. CNN procházely data napříč všemi verzemi obrazů, od RFI až po skeletizované verze, aplikovaly obvyklé náhodné otočky a rotace, s odvozenými obrazy o rozlišení 224×244 pixelů.

Modely byly trénovány se stochastickým gradientním sestupem po dobu až deseti epoch s konstantní rychlostí učení 0,001, a brzy zastavování bylo implementováno a trénink byl ukončen, kde byla identifikována perceptronová konvergence po pěti epochách (tj. model se již nezlepšoval s dalším tréninkem).

Pokud existovala demograficky přirozená nerovnováha mezi bílými a černými subjekty, byla použita kompenzace, aby se zajistilo, že menšinové zdroje nebyly systematicky diskontovány jako outliers, a výsledky byly překontrolovány, aby se potvrdilo, že neexistoval žádný únik dat napříč experimenty.

Ukázky map žil sítnice ze studie s různou úrovní prahové tolerance.

Výsledky

Mapy žil sítnice (RVM), které extrahují žíly a kapiláry z plnobarevných RFI obrazů, by teoreticky neměly být rasově rozlišitelné pomocí CNN, podle autorů. Avšak výsledky ukázaly, že vyšší počet hlavních tepen je segmentován U-Net pro bílé oči než pro černé oči.

V závěrečných poznámkách výzkumníci uvádějí ‘Zjistili jsme, že AI snadno předpovídala rasu dětí z segmentací žil sítnice, které neobsahovaly žádné viditelné informace o pigmentaci‘, a že ‘i obrazy, které se zdály být zbaveny informací pro lidské oko, uchovávaly prediktivní informace o rase původního dítěte’. Výzkumníci dále nabízejí možnost, že žíly sítnice černých a bílých dětí se ‘nějak liší způsobem, který AI může ocenit, ale lidé ne’.

Předchozí předpojatí?

Autoři také naznačují, že diskriminace by mohla být funkcí převážně bílých dat, na kterých byl U-Net původně trénován. Ačkoli popisují tuto teorii jako svou ‘vedoucí teorii’, také připouštějí, že schopnosti snímačů mohou být faktorem v tomto jevu, pokud by se ukázalo, že objevené předpojatí je důsledkem technických aspektů praxe zobrazování sítnice, nebo datového předpojatí v U-Net, které se samoúčně přenáší po letech. Při řešení těchto možností článek uvádí:

‘Avšak U-Net byl trénován na RFI, které byly nejprve převedeny na šedé obrazy a podrobeny kontrastní úpravě — specificky, kontrastní omezení histogramu equalizace (CLAHE) — a nebyl tedy nikdy skutečně trénován na barevné RFI. Proto jsme dosud nejsou schopni plně vysvětlit tato zjištění pouze na základě hypotézy U-Net.’

Avšak autoři tvrdí, že příčina je méně znepokojivá než efekt, uvádějí, že schopnost modelů AI rozlišovat rasu znamená ‘riziko předpojatí v lékařských algoritmech AI, které je používají jako vstup’.

Autoři poukazují na vysoký kontrast mezi zkoumanými rasami a spekulují, že ‘mezitímní’ rasové skupiny by mohly být ‘obtížněji identifikovatelné podobnými prostředky, a že toto je aspekt, který chtějí studovat v probíhajících a souvisejících pracích.’

* Všechny podpůrné odkazy poskytnuté článkem, které jsou zahrnuty v tomto článku, byly převedeny z omezených odkazů PaperPile na veřejně dostupné online verze, pokud to bylo možné.