Venele retiniene dezvăluie rasa, lărgind sfera de aplicare a prejudecăților de rasă în IA

Inspirat de recentele descoperiri că imaginile medicale IA pot dezvălui rasa, un consorțiu de cercetare din SUA și Regatul Unit a efectuat un studiu pentru a determina dacă modelele de vene retiniene sunt indicative pentru rasa și a concluzionat că acesta este într-adevăr cazul, cu IA capabilă să prezică rasa raportată de părinți a bebelușilor din imagini retiniene – imagini care nu ar fi putut dezvălui identitatea rasială unui medic care le-ar fi studiat, și care se credea anterior că nu conțin niciun potențial de divulgare rasială.

Grupul a exprimat îngrijorarea că acest vector suplimentar de stratificare rasială în imagistica medicală deschide posibilitatea unei creșteri a prejudecăților în utilizarea sistemelor de inteligență artificială în sănătate.

Imagini retiniene de la un subiect negru și un subiect alb. Mai sus, o imagine retiniană complet colorată de la fiecare rasă are deja caracteristici distinctive de rasă legate de dispunerea culorilor. Mai jos, hărțile vasculare retiniene derivate din aceste imagini, care ar trebui să ‘niveleze’ aceste repere rasiale, conțin de fapt caracteristici care identifică rasa, conform noului raport. Sursa: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Autorii mai notează posibilitatea ca U-Net, cadrul de învățare automată care a devenit definitoriu pentru acest sector al sănătății bazate pe IA, și care a fost instruit pe subiecți predominant albi*, să aibă o influență asupra acestui fenomen observat. Cu toate acestea, autorii afirmă că nu sunt încă în măsură să explice pe deplin aceste constatări numai pe baza ipotezei U-Net.

Comentând asupra constatărilor la depozitul GitHub asociat proiectului, autorii afirmă:

‘IA poate detecta rasa din hărțile vasculare retiniene în tonuri de gri [Hărți vasculare retiniene] care nu se credea că conțin informații rasiale. Două explicații posibile pentru aceste constatări sunt că: vasele retiniene se diferențiază fiziological între bebeluși negri și albi sau U-Net segmentează vasculatura retiniană diferit pentru diferite pigmentări ale fundului.

‘…În orice caz, implicațiile rămân aceleași: algoritmii IA au potențialul de a demonstra prejudecăți rasiale în practică, chiar și atunci când încercările preliminare de a elimina astfel de informații din imaginile subiacente par să fi fost de succes.’

Articolul științific se intitulează Nu sunt orb: IA prezice identitatea rasială din segmentările vasculare retiniene alb-negru, și este o colaborare egală între medici și cercetători de la cinci instituții și departamente de cercetare din SUA și una din Regatul Unit.

Medicii care participă la consorțiul de cercetare includ R.V. Paul Chan, MD, MSc, FACS, certificat în oftalmologie și membru al Colegiului American al Chirurgilor; Michael F. Chiang, M.D., Director al Institutului Național al Ochilor din Instituții Naționale de Sănătate din Bethesda, Maryland; și J. Peter Campbell M.D., M.P.H., profesor asociat de oftalmologie la Școala de Medicină a Universității de Științe ale Sănătății din Oregon în Portland.

Ochii au

Articolul notează potențialul anterior dovedit pentru prejudecățile umane să se propage în sistemele medicale IA, nu în ultimul rând în studierea ochilor*. Imaginile retiniene complete (IRF, a se vedea comparația de imagini de mai sus), utilizate în evaluarea bolilor oculare, sunt imagini colorate complete care conțin suficiente informații de pigmentare pentru a identifica rasa.

Imaginile vasculare retiniene în tonuri de gri (RVM) aruncă cea mai mare parte din aceste informații pentru a extrage modelul subiacent de capilare care sunt susceptibile de a defini multe condiții de boală. S-a presupus întotdeauna că, la acest nivel de distilare, nu rămân caracteristici rasiale în astfel de imagini medicale reduse.

Autorii au testat această presupunere cu ajutorul unei baze de date de IRF (imagini retiniene complete colorate) obținute de la sugari examinați pentru o boală care poate orbi. Examinarea pentru astfel de imagini, notează autorii, este din ce în ce mai frecventă în afara consultărilor personale, în telemedicină și alte contexte de diagnosticare la distanță, și este supusă din ce în ce mai mult analizei de învățare automată.

Noul studiu examinează dacă diversele versiuni reduse ale imaginilor complete care identifică rasa conțin informații rasiale, așa cum au fost raportate de părinții bebelușilor, și a constatat că chiar și cele mai distructive distilări ale IRF (pragificate, scheletizate și binarizate) permit un anumit nivel de identificare rasială.

Date și metodologie

Datele de la 245 de sugari, colectate între ianuarie 2012 și iulie 2020, ca parte a unui studiu multicentric i-ROP, au fost împărțite în seturi de antrenare, validare și testare într-un raport de 50/20/30, respectiv, cu o distribuție naturală a raselor păstrate cât mai bine posibil, în funcție de datele sursă.

IRF colorate au fost reduse la cele trei stiluri de imagistică redusă menționate anterior, astfel încât ‘reperelor rasiale evidente’ să fi fost teoretic eliminate din date.

Mai multe rețele neuronale convolutive (CNN) au fost antrenate pentru a realiza o clasificare binară (‘negru’/’alb’, pe baza rasei raportate de părinți) utilizând PyTorch. CNN-urile au rulat datele pe toate versiunile imaginilor, de la IRF la versiunile scheletizate, aplicând flip-uri și rotații aleatorii, cu imagini derivate având o rezoluție de 224×244 pixeli.

Modelele au fost antrenate cu descendentul gradientului stocastic timp de până la zece epoci cu o rată de învățare constantă de 0,001, și s-a implementat oprimerea timpurie și s-a oprit antrenamentul atunci când s-a identificat o convergență percepută după cinci epoci (adică modelul nu avea să devină mai precis cu un antrenament suplimentar).

Deoarece a existat un dezechilibru demografic natural între subiecții albi și negri, s-a aplicat o compensație pentru a se asigura că sursele minoritare nu au fost sistematic discreditate ca outlieri, și rezultatele au fost verificate pentru a se verifica că nu a avut loc nicio scurgere de date între experimente.

Mostre de hărți vasculare retiniene din studiu la diferite niveluri de toleranță la prag.

Rezultate

RVM, care extrag vene și capilare din imaginile IRF complete colorate, nu ar trebui să fie teoretic discernabile de un CNN, conform autorilor. Cu toate acestea, rezultatele au arătat că un număr mai mare de artere principale sunt segmentate de U-Net pentru ochii albi decât pentru ochii negri.

În remarci de închidere, cercetătorii observă ‘Am constatat că IA a putut prezice cu ușurință rasa bebelușilor din segmentările vasculare retiniene care nu conțineau nicio informație vizibilă cu privire la pigmentare‘, și că ‘chiar și imaginile care păreau lipsite de informații pentru ochiul uman au reținut informații predictive ale rasei bebelușului original’. Cercetătorii oferă, de asemenea, posibilitatea ca vasele retiniene ale bebelușilor negri și albi să difere ‘într-un fel pe care IA îl poate aprecia, dar oamenii nu’.

Predispoziție anterioară?

Autorii sugerează, de asemenea, că discriminarea ar putea fi o funcție a datelor predominant albe pe care U-Net a fost inițial instruit. Deși descriu acest lucru ca teoria lor principală, ei admit, de asemenea, că capacitățile senzorilor de captură ar putea fi un factor în fenomen, dacă s-ar dovedi că prejudecata descoperită este o consecință a aspectelor tehnice ale practicilor de imagistică retiniană, sau a prejudecății datelor în U-Net care se perpetuează de-a lungul anilor. Abordând aceste posibilități, articolul recunoaște:

‘Cu toate acestea, U-Net a fost instruit pe IRF care au fost convertite mai întâi în imagini în tonuri de gri și supuse unui ajustări de contrast — în special, egalizarea histogramelor cu limitare de contrast (CLAHE) — și, prin urmare, nu a fost niciodată instruit pe IRF colorate. Prin urmare, suntem încă în imposibilitatea de a explica pe deplin aceste constatări numai pe baza ipotezei U-Net.’

Cu toate acestea, autorii afirmă că cauza este mai puțin alarmantă decât efectul, afirmând că capacitatea modelelor IA de a discerne rasa implică un risc posibil ‘de prejudecăți în algoritmii de inteligență artificială utilizați în sănătate’.

Autorii atrag atenția asupra naturii cu contrast ridicat a raselor studiate și postulează că ‘grupurile rasiale intermediare’ ar putea fi mai dificil de identificat prin mijloace similare, și că acesta este un aspect pe care intenționează să îl studieze în lucrări viitoare și conexe.

* Toate link-urile de susținere furnizate de articol care sunt incluse în acest articol au fost convertite din link-uri PaperPile cu acces limitat în versiuni online publice, acolo unde a fost posibil.