Venele retiniene dezvăluie cursa, extinzând domeniul de aplicare pentru AI Race Bias

Inspirat de revelațiile recente că imagistica medicală AI poate dezvălui rasa, un consorțiu de cercetare din SUA și Marea Britanie a efectuat un studiu pentru a stabili dacă modelele venelor retiniene sunt indicative pentru rasă și a concluzionat că acesta este într-adevăr cazul, cu inteligența artificială capabilă să prezică rasa raportată de părinți la bebeluși din imaginile retiniene - imagini care nu ar dezvălui identitatea rasială unui medic uman care le studia și despre care se credea anterior că nu conțineau potențial de dezvăluire rasială.

Grupul și-a exprimat îngrijorarea că acest vector suplimentar de stratificare rasială în imagistica medicală deschide posibilitatea unei părtiniri sporite în utilizarea sistemelor de inteligență artificială în asistența medicală.

Imagini retiniene de la un subiect alb-negru. Mai sus, o imagine color a fundului de ochi de la fiecare rasă are deja caracteristici distinctive rasiale legate de dispoziția culorilor. Mai jos, hărțile vaselor retiniene derivate din aceste imagini, care ar trebui să „niveleze” aceste ancore rasiale, conțin de fapt caracteristici de identificare rasială, conform noului raport. Sursa: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Autorii notează în continuare posibilitatea ca U-Net, cadrul de învățare automată care a ajuns să definească acest sector al asistenței medicale bazate pe inteligență artificială și care a fost instruit subiecti predominant albi*, poate avea o influență asupra acestui fenomen observat. Cu toate acestea, autorii afirmă că sunt „încă nu se pot explica pe deplin aceste descoperiri doar pe baza ipotezei U-Net”.

Comentarii asupra constatărilor la sediul asociat al proiectului GitHub depozit, autorii afirmă:

„AI poate detecta rasa din RVM-urile în tonuri de gri [Hărți ale vaselor retiniene] despre care se credea că nu conțin informații rasiale. Două explicații potențiale pentru aceste constatări sunt că: vasele retiniene diferă fiziologic între bebelușii albi și negri sau segmentele U-Net vascularizația retiniană în mod diferit pentru diferite pigmentări ale fundului de ochi.

„...În orice caz, implicațiile rămân aceleași: algoritmii de inteligență artificială au potențialul de a demonstra prejudecăți rasiale în practică, chiar și atunci când încercările preliminare de a elimina astfel de informații din imaginile subiacente par să aibă succes.”

hârtie se intitulează Nu daltonic: AI prezice identitatea rasială din segmentele vaselor retiniene alb-negruși este o colaborare egală între medici și cercetători din cinci instituții și departamente de cercetare din SUA și unul din Marea Britanie.

Medicii care participă la consorțiul de cercetare includ RV Paul Chan, MD, MSc, FACS, certificat în oftalmologie și membru al Colegiului American de Chirurgii; Michael F. Chiang, MD, Director al National Eye Institute la National Institutes of Health din Bethesda, Maryland; și J. Peter Campbell MD, MPH, profesor asociat de oftalmologie la Școala de Medicină din Oregon Health & Science University din Portland.

Ochii îl au

Lucrarea notează potențialul dovedit anterior ca părtinirea de origine umană să se propagă în sistemele medicale AI, nu în ultimul rând în studiul ochilor*. Imaginile fundului retinian (RFIs, vezi compararea imaginilor de mai sus), utilizate în evaluarea bolii oculare, sunt imagini colorate care conțin suficiente informații despre pigmentare pentru a identifica rasa.

Greyscale Retina Vessel Maps (RVMs) aruncă majoritatea acestor informații pentru a extrage tiparul de bază al capilarelor care este probabil să definească multe boli. S-a presupus întotdeauna, la acest nivel de distilare, că nicio caracteristică rasială nu rămâne în imagini medicale atât de reductive.

Autorii au testat această ipoteză folosind un set de date de RFI (imagini color retiniene) obținute de la sugari examinați pentru o boală potențial orbitoare. Screeningul pentru astfel de imagini, notează autorii, este din ce în ce mai prezentat în afara consultărilor personale, în telemedicină și în alte contexte de diagnosticare la distanță și devine din ce în ce mai mult subiectul analizei învățării automate.

Noul studiu examinează dacă diferite tipuri de versiuni reducționiste ale imaginilor colorate care identifică rasa rețin informații rasiale, așa cum au raportat părinții bebelușilor, și a constatat că chiar și cele mai distructive distilații de informații ale RFI-urilor (prag, scheletizate și binarizate) permit un anumit nivel de identificare rasială.

Date și Metodologie

Datele de la 245 de sugari, adunate între ianuarie 2012 și iulie 2020 ca parte a unui studiu de cohortă multicentric i-ROP, au fost împărțite în seturi de date de antrenament, validare și test, respectiv, pe o bază 50/20/30, cu o distribuție naturală a raselor păstrată. cât mai bine permis datele sursă.

RFI-urile color au fost reduse la cele trei stiluri reductive de imagistică menționate anterior, astfel încât markerii rasiali „evidenți” ar fi trebuit eliminați din punct de vedere tehnic din date.

Rețele neuronale convoluționale multiple (CNN) au fost antrenate pentru a realiza o clasificare binară („negru”/„alb”, pe baza rasei raportate de părinți) folosind PyTorch. CNN-urile au rulat datele în toate versiunile imaginilor, de la RFI-uri până la versiuni scheletizate, aplicând obișnuitele răsturnări și rotații aleatorii, imaginile derivate având o rezoluție de 224×244 pixeli.

Modelele au fost antrenate cu coborâre a gradientului stocastic timp de până la zece epoci cu o rată constantă de învățare de 0.001, iar oprirea timpurie a fost implementată și antrenamentul a încetat acolo unde convergența percepută a fost identificată după cinci epoci (adică modelul nu avea să devină mai precis cu mai multe Instruire).

Deoarece a existat un dezechilibru demografic natural între subiecții albi și cei negri, s-a aplicat compensare pentru a se asigura că sursele minoritare nu au fost reduse sistematic ca valori aberante, iar rezultatele au fost verificate încrucișat pentru a verifica că nu a avut loc nicio scurgere de date în cadrul experimentelor.

Mostre de hărți retiniene din studiu la diferite niveluri de toleranță la prag.

REZULTATE

Potrivit autorilor, RVM-urile, care extrag vene și capilare din imaginile RFI color, nu ar trebui, teoretic, să fie perceptibile de rasă de către un CNN. Cu toate acestea, rezultatele au arătat că un număr mai mare de artere majore sunt segmentate de U-Net pentru ochii albi decât pentru ochii negri.

În observațiile finale, cercetătorii observă „Am descoperit că AI a putut prezice cu ușurință rasa bebelușilor din segmentele vaselor retiniene care nu conțin informații vizibile cu privire la pigmentare.', și asta „Chiar și imaginile care păreau lipsite de informații cu ochiul liber au păstrat informații predictive despre rasa bebelușului original”. Cercetătorii oferă în continuare posibilitatea ca vasele retiniene ale bebelușilor negri față de cei albi să fie diferite „într-un fel pe care inteligența artificială îl poate aprecia, dar oamenii nu”.

Prejudecata anterioară?

Autorii sugerează, de asemenea, că discriminarea ar putea fi o funcție a datelor predominante în alb pe baza cărora U-Net a fost antrenat inițial. Deși descriu aceasta drept „teoria lor principală”, ei admit și că capacitățile senzorilor de captare ar putea fi un factor în acest fenomen, dacă s-ar dovedi că bias-ul descoperit este un corolar al aspectelor tehnice ale practicilor de imagistică retiniană sau al bias-ului de date din U-Net, care se perpetuează de-a lungul anilor. Abordând aceste posibilități, lucrarea admite:

„Cu toate acestea, U-Net a fost antrenat pe RFI-uri care au fost inițial convertite în imagini în tonuri de gri și supuse ajustării contrastului - în special, egalizării histogramei limitate de contrast (CLAHE) - și, prin urmare, nu a fost niciodată antrenat efectiv pe RFI-uri color. Prin urmare, până în prezent nu putem explica pe deplin aceste descoperiri doar pe baza ipotezei U-Net.”

Cu toate acestea, autorii afirmă că cauza este mai puțin alarmantă decât efectul, afirmând că capacitatea modelelor AI de a discerne rasa implică o posibilă „riscul de părtinire în algoritmii de inteligență artificială medicală care îi utilizează ca date de intrare”.

Autorii subliniază natura contrastantă ridicată a raselor studiate și postulează că grupurile rasiale „intermediare” pot fi mai dificil de identificat prin mijloace similare și că acesta este un aspect pe care intenționează să îl studieze în lucrările în curs și cele conexe.

* Toate linkurile de sprijin furnizate de lucrare care sunt incluse în acest articol au fost convertite din link-uri PaperPile cu acces limitat în versiuni online disponibile public, acolo unde este posibil.