Veias Retinianas Revelam Raça, Ampliando o Escopo para Viés Racial de IA

Inspirados por revelações recentes de que a imagem de IA médica pode divulgar a raça, um consórcio de pesquisa nos EUA e no Reino Unido realizou um estudo para determinar se os padrões de veias retinianas são indicativos de raça, e concluiu que isso é de fato o caso, com a IA capaz de prever a raça relatada pelos pais em bebês a partir de imagens retinianas – imagens que não revelariam a identidade racial a um médico humano que as estuda, e que anteriormente se pensava não conterem potencial para divulgação racial.

O grupo expressou preocupação de que esse vetor adicional de estratificação racial em imagens médicas abre a possibilidade de aumento de viés nos sistemas de inteligência artificial utilizados na saúde.

Imagens retinianas de um sujeito negro e um sujeito branco. Acima, uma Imagem de Fundo Retiniano em cores de cada raça já tem recursos que distinguem a raça relacionados à disposição de cor. Abaixo, os Mapas de Vasos Retinianos derivados dessas imagens, que supostamente ‘nivelam’ esses marcadores de âncora raciais, de fato contêm características que identificam a raça, de acordo com o novo relatório. Fonte: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Os autores observam ainda a possibilidade de que U-Net, o framework de aprendizado de máquina que definiu este setor de saúde baseada em IA, e que foi treinado em sujeitos predominantemente brancos*, possa ter influência nesse fenômeno observado. No entanto, os autores afirmam que ainda não conseguem explicar completamente essas descobertas com base na hipótese do U-Net.

Comentando sobre as descobertas no repositório GitHub associado ao projeto, os autores declaram:

‘A IA pode detectar a raça a partir de MVRs [Mapas de Vasos Retinianos] que não se pensava conterem informações raciais. Duas explicações potenciais para essas descobertas são que: os vasos retinianos diferem fisiologicamente entre bebês negros e brancos ou o U-Net segmenta a vasculatura retiniana de maneira diferente para diferentes pigmentações do fundo.

‘…De qualquer forma, as implicações permanecem as mesmas: os algoritmos de IA têm potencial para demonstrar viés racial na prática, mesmo quando as tentativas preliminares de remover essas informações das imagens subjacentes parecem ser bem-sucedidas.’

O artigo é intitulado Não é Cego para Cores: IA Prevê Identidade Racial a Partir de Segmentações de Vasos Retinianos em Preto e Branco, e é uma colaboração igualitária entre médicos e pesquisadores de cinco instituições e departamentos de pesquisa nos EUA, e um no Reino Unido.

Médicos participantes do consórcio de pesquisa incluem R.V. Paul Chan, MD, MSc, FACS, certificado em oftalmologia, e fellow do American College of Surgeons; Michael F. Chiang, M.D., Diretor do National Eye Institute nos National Institutes of Health em Bethesda, Maryland; e J. Peter Campbell M.D., M.P.H., Professor Associado de Oftalmologia na School of Medicine da Oregon Health & Science University em Portland.

Os Olhos Têm

O artigo observa o potencial previamente comprovado para viés de origem humana se propagar para sistemas médicos de IA, não menos no estudo de olhos*. Imagens de Fundo Retiniano (RFIs, veja a comparação de imagens acima), usadas na avaliação de doenças oculares, são imagens em cores que contêm informações suficientes de pigmentação para identificar a raça.

Mapas de Vasos Retinianos em escala de cinza (RVMs) descartam a maior parte dessas informações para extrair o padrão subjacente de capilares que provavelmente definem muitas condições de doença. Sempre se supôs, nesse nível de destilação, que nenhuma característica racial permanece em tais imagens médicas redutivas.

Os autores testaram essa suposição com o uso de um conjunto de dados de RFIs (imagens retinianas em cores) obtidas de bebês submetidos a uma triagem para uma doença potencialmente cegante. A triagem para essas imagens, os autores observam, é cada vez mais realizada fora de consultas pessoais, em telemedicina e outros contextos de diagnóstico remoto, e está se tornando cada vez mais objeto de análise de aprendizado de máquina.

O novo estudo examina se diferentes tipos de versões redutivas das imagens em cores que identificam a raça retêm informações raciais, conforme relatado pelos pais dos bebês, e descobriu que até as versões mais destrutivas de informações das RFIs (limiarizadas, esqueletizadas e binarizadas) permitem algum nível de identificação racial.

Dados e Metodologia

Dados de 245 bebês, coletados entre janeiro de 2012 e julho de 2020 como parte de um estudo de coorte i-ROP multicêntrico, foram divididos em conjuntos de treinamento, validação e teste na proporção 50/20/30, respectivamente, com uma distribuição natural de raças preservada tanto quanto possível.

RFIs em cores foram reduzidas às três estilos redutivos de imagem mencionados, de modo que os ‘marcadores raciais óbvios’ deveriam tecnicamente ter sido removidos dos dados.

Múltiplas Redes Neurais Convolucionais (CNNs) foram treinadas para realizar classificação binária (‘preto’/ ‘branco’, com base na raça relatada pelos pais) usando PyTorch. As CNNs processaram os dados em todas as versões das imagens, desde RFIs até versões esqueletizadas, aplicando as roturas e rotações aleatórias usuais, com imagens derivadas tendo uma resolução de 224×244 pixels.

Os modelos foram treinados com descida de gradiente estocástico por até dez épocas com uma taxa de aprendizado constante de 0,001, e parada antecipada implementada e treinamento cessado onde a convergência percebida foi identificada após cinco épocas (ou seja, o modelo não iria melhorar com mais treinamento).

Como havia um desequilíbrio demográfico natural entre sujeitos brancos e negros, foi aplicada compensação para garantir que as fontes minoritárias não fossem descontadas sistematicamente como outliers, e os resultados foram verificados para garantir que não ocorreu vazamento de dados entre os experimentos.

Amostras de mapas retinianos do estudo em diferentes níveis de tolerância de limiar.

Resultados

MVRs, que extraem veias e capilares das imagens de fundo retiniano em cores, não deveriam teoricamente ser discerníveis por uma CNN, de acordo com os autores. No entanto, os resultados mostraram que um número maior de artérias principais é segmentado pelo U-Net para olhos brancos do que para olhos negros.

Em observações finais, os pesquisadores observam ‘Descobrimos que a IA foi facilmente capaz de prever a raça dos bebês a partir de segmentações de vasos retinianos que não contêm informações visíveis sobre pigmentação‘, e que ‘até as imagens que pareciam não conter informações ao olho nu retinham informações preditivas da raça do bebê original’. Os pesquisadores oferecem ainda a possibilidade de que os vasos retinianos de bebês negros versus brancos diferem ‘de alguma maneira que a IA pode apreciar, mas os humanos não podem’.

Prioridade de Viés?

Os autores também sugerem que a discriminação pode ser uma função dos dados predominantemente brancos nos quais o U-Net foi originalmente treinado. Embora descrevam isso como sua ‘teoria líder’, eles também admitem que as capacidades dos sensores de captura podem ser um fator no fenômeno, se for descoberto que o viés descoberto é um corolário dos aspectos técnicos das práticas de imagem retiniana, ou do viés de dados no U-Net que se perpetua ao longo dos anos. Abordando essas possibilidades, o artigo concede:

‘No entanto, o U-Net foi treinado em RFIs que foram primeiro convertidas para imagens em escala de cinza e submetidas a ajuste de contraste — especificamente, equalização de histograma limitada de contraste (CLAHE) — e, portanto, nunca foi realmente treinado em RFIs em cores. Assim, ainda não conseguimos explicar completamente essas descobertas com base na hipótese do U-Net.’

No entanto, os autores afirmam que a causa é menos alarmante do que o efeito, afirmando que a capacidade dos modelos de IA de discernir a raça envolve um possível ‘risco de viés em algoritmos de IA médica que os utilizam como entrada’.

Os autores apontam a natureza de alto contraste das raças estudadas e postulam que ‘grupos raciais intermediários’ podem ser mais difíceis de identificar por meios semelhantes, e que isso é um aspecto que pretendem estudar em trabalhos contínuos e relacionados.

* Todos os links de apoio fornecidos pelo artigo que são incluídos neste artigo foram convertidos de links de PaperPile de acesso limitado para versões online publicamente disponíveis, quando possível.