Las venas retinianas revelan la raza, ampliando el alcance de la tendencia racial en la IA

Inspirados por las recientes revelaciones de que la inteligencia artificial médica puede revelar la raza, un consorcio de investigación en EE. UU. y Reino Unido ha realizado un estudio para determinar si los patrones de las venas retinianas son indicativos de la raza, y ha concluido que efectivamente lo son, con la IA capaz de predecir la raza informada por los padres en bebés a partir de imágenes retinianas, imágenes que no revelarían la identidad racial a un médico que las estudie, y que se creía que no contenían información potencial para la divulgación racial.

El grupo ha expresado su preocupación de que este vector adicional de estratificación racial en la imagen médica abre la posibilidad de un aumento de la tendencia racial en el uso de sistemas de inteligencia artificial en la atención médica.

Imágenes retinianas de un sujeto negro y uno blanco. Arriba, una imagen de fondo de retina a todo color de cada raza ya tiene características distinguibles relacionadas con la disposición del color. Abajo, los mapas de vasos retinianos derivados de estas imágenes, que se supone que ‘nivelan’ estas marcas ancladas raciales, en realidad contienen características identificativas de la raza, según el nuevo informe. Fuente: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Los autores también señalan la posibilidad de que U-Net, el marco de aprendizaje automático que ha llegado a definir este sector de la atención médica basada en la IA, y que se entrenó en sujetos predominantemente blancos*, pueda tener una influencia en este fenómeno observado. Sin embargo, los autores afirman que no pueden explicar completamente estos hallazgos basándose solo en la hipótesis de U-Net.

Comentando sobre los hallazgos en el repositorio de GitHub asociado al proyecto, GitHub repository, los autores afirman:

‘La IA puede detectar la raza a partir de mapas de vasos retinianos en escala de grises que no se creía que contuvieran información racial. Dos explicaciones posibles para estos hallazgos son que: los vasos retinianos difieren fisiológicamente entre bebés negros y blancos o que U-Net segmenta la vasculatura retiniana de manera diferente para diferentes pigmentaciones de fondo.

‘…De cualquier manera, las implicaciones son las mismas: los algoritmos de IA tienen el potencial de demostrar tendencia racial en la práctica, incluso cuando los intentos preliminares de eliminar dicha información de las imágenes subyacentes parecen ser exitosos.’

El artículo se titula No es ciego al color: la IA predice la identidad racial a partir de segmentaciones de vasos retinianos en negro y blanco, y es una colaboración igualitaria entre médicos e investigadores de cinco instituciones y departamentos de investigación en EE. UU. y uno en Reino Unido.

Los médicos que participan en el consorcio de investigación incluyen a R.V. Paul Chan, MD, MSc, FACS, certificado en oftalmología y fellow del Colegio Americano de Cirujanos; Michael F. Chiang, M.D., Director del Instituto Nacional del Ojo en los Institutos Nacionales de Salud en Bethesda, Maryland; y J. Peter Campbell M.D., M.P.H., Profesor Asociado de Oftalmología en la Escuela de Medicina de la Universidad de Ciencias de la Salud de Oregón en Portland.

Los ojos lo tienen

El artículo señala el potencial ya demostrado para que el sesgo humano se propague en los sistemas de IA médica, no solo en el estudio de los ojos*. Las imágenes de fondo de retina (RFI, ver comparación de imágenes arriba), utilizadas para evaluar la enfermedad ocular, son imágenes a todo color que contienen suficiente información de pigmentación para identificar la raza.

Los mapas de vasos retinianos en escala de grises (RVM) descartan la mayoría de esta información para extraer el patrón subyacente de capilares que probablemente defina muchas condiciones de enfermedad. Siempre se ha asumido que, a este nivel de destilación, no quedan características raciales en dichas imágenes médicas reductivas.

Los autores han probado esta suposición con el uso de un conjunto de datos de RFI (imágenes de retina a todo color) obtenidas de bebés cribados para una enfermedad potencialmente cegadora. La criba para dichas imágenes, señalan los autores, se presenta cada vez más fuera de consultas personales, en telemedicina y otros contextos de diagnóstico remoto, y se está convirtiendo cada vez más en el tema de análisis de aprendizaje automático.

El nuevo estudio examina si varios tipos de versiones reductivas de las imágenes que identifican la raza retienen información racial, según lo informado por los padres de los bebés, y ha encontrado que incluso las versiones más destructivas de la información de las RFI (umbralizadas, esqueletizadas y binarizadas) permiten algún nivel de identificación racial.

Datos y metodología

Los datos de 245 bebés, recopilados entre enero de 2012 y julio de 2020 como parte de un estudio de cohorte multicéntrico i-ROP, se dividieron en conjuntos de entrenamiento, validación y prueba en una proporción de 50/20/30, respectivamente, con una distribución natural de razas preservada lo mejor que permitió el conjunto de datos de origen.

Las RFI a todo color se redujeron a los tres estilos reductivos de imagen mencionados, para que los ‘obvios’ marcadores raciales técnicamente se eliminaran de los datos.

Se entrenaron varias redes neuronales convolucionales (CNN) para lograr una clasificación binaria (‘negro’/’blanco’, basada en la raza informada por los padres) utilizando PyTorch. Las CNN procesaron los datos en todas las versiones de las imágenes, desde RFI hasta versiones esqueletizadas, aplicando los flips y rotaciones aleatorios habituales, con imágenes derivadas con una resolución de 224×244 píxeles.

Los modelos se entrenaron con descenso de gradiente estocástico durante un máximo de diez épocas con una tasa de aprendizaje constante de 0,001, y se implementó una detención temprana y se detuvo el entrenamiento donde se identificó la convergencia percibida después de cinco épocas (es decir, el modelo no iba a ser más preciso con más entrenamiento).

Dado que había un desequilibrio demográfico natural entre sujetos blancos y negros, se aplicó una compensación para asegurarse de que las fuentes minoritarias no se descuenten sistemáticamente como valores atípicos, y se verificaron los resultados para asegurarse de que no hubiera fugas de datos en los experimentos.

Ejemplos de mapas de vasos retinianos del estudio en diferentes niveles de tolerancia de umbral.

Resultados

Los RVM, que extraen venas y capilares de las imágenes de fondo de retina a todo color, no deberían ser teóricamente discernibles por una CNN, según los autores. Sin embargo, los resultados han demostrado que un mayor número de arterias principales se segmentan con U-Net para ojos blancos que para ojos negros.

En los comentarios finales, los investigadores observan ‘Encontramos que la IA pudo predecir fácilmente la raza de los bebés a partir de segmentaciones de vasos retinianos que no contenían información visible sobre la pigmentación‘, y que ‘incluso las imágenes que parecían carecer de información para el ojo humano retuvieron información predictiva de la raza del bebé original’. Los investigadores también ofrecen la posibilidad de que los vasos retinianos de bebés negros y blancos difieran ‘de alguna manera que la IA puede apreciar, pero los humanos no’.

Sesgo previo

Los autores también sugieren que la discriminación podría ser una función de los datos predominantemente blancos en los que se entrenó originalmente U-Net. Aunque describen esto como su ‘teoría principal’, también admiten que las capacidades de los sensores de captura pueden ser un factor en el fenómeno, si resulta que el sesgo descubierto es un corolario de los aspectos técnicos de las prácticas de imagen retiniana, o de los sesgos de datos en U-Net que se perpetúan a lo largo de los años. Al abordar estas posibilidades, el artículo concede:

‘Sin embargo, U-Net se entrenó en RFI que se convirtieron primero en imágenes en escala de grises y se sometieron a ajuste de contraste — específicamente, equalización de histograma de contraste limitado (CLAHE) — y, por lo tanto, nunca se entrenó realmente en RFI a todo color. Así que, por ahora, no podemos explicar completamente estos hallazgos basándonos solo en la hipótesis de U-Net.’

Sin embargo, los autores afirman que la causa es menos alarmante que el efecto, afirmando que la capacidad de los modelos de IA para discernir la raza conlleva un posible ‘riesgo de sesgo en los algoritmos de IA médica que los utilizan como entrada’.

Los autores señalan la naturaleza de alto contraste de las razas estudiadas y postulan que ‘grupos raciales intermedios’ pueden ser más difíciles de identificar por medios similares, y que este es un aspecto que pretenden estudiar en trabajos en curso y relacionados.

* Todos los enlaces de apoyo proporcionados por el artículo que se incluyen en este artículo se han convertido de enlaces de PaperPile de acceso limitado a versiones en línea públicamente disponibles, cuando es posible.