Las venas retinianas revelan la raza, ampliando el alcance de la parcialidad racial en la IA

Inspirados por las revelaciones recientes de que la imagen médica de IA puede revelar la raza, un consorcio de investigación en EE. UU. y Reino Unido ha realizado un estudio para determinar si los patrones de venas retinianas son indicativos de raza, y ha concluido que efectivamente es así, con la capacidad de IA para predecir la raza reportada por los padres en bebés a partir de imágenes retinianas – imágenes que no revelarían la identidad racial a un médico que las estudie, y que se creía que no contenían ningún potencial para la divulgación racial.

El grupo ha expresado su preocupación de que este vector adicional de estratificación racial en la imagen médica abre la posibilidad de un aumento de la parcialidad en el uso de sistemas de inteligencia artificial en la atención médica.

Imágenes retinianas de un sujeto negro y uno blanco. Arriba, una imagen de fondo de retina a todo color de cada raza ya tiene características distinguibles relacionadas con la disposición del color. Abajo, los mapas de vasos retinianos derivados de estas imágenes, que se supone que ‘nivelan’ estas marcas ancladas raciales, en realidad contienen características identificativas de raza, según el nuevo informe. Fuente: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Los autores también señalan la posibilidad de que U-Net, el marco de aprendizaje automático que ha definido este sector de la atención médica basada en IA, y que se entrenó en sujetos predominantemente blancos*, pueda tener una influencia en este fenómeno observado. Sin embargo, los autores afirman que aún no pueden explicar completamente estos hallazgos basados en la hipótesis de U-Net.

Al comentar sobre los hallazgos en el repositorio de GitHub asociado con el proyecto, GitHub repository, los autores afirman:

‘La IA puede detectar la raza a partir de mapas de vasos retinianos en escala de grises [Mapas de Vasos Retinianos] que no se creía que contuvieran información racial. Dos posibles explicaciones para estos hallazgos son que: los vasos retinianos difieren fisiológicamente entre bebés negros y blancos o que U-Net segmenta la vasculatura retiniana de manera diferente para diferentes pigmentaciones del fondo.

‘…De cualquier manera, las implicaciones son las mismas: los algoritmos de IA tienen el potencial de demostrar sesgo racial en la práctica, incluso cuando los intentos preliminares de eliminar dicha información de las imágenes subyacentes parecen ser exitosos.’

El artículo se titula No es ciego al color: la IA predice la identidad racial a partir de segmentaciones de vasos retinianos en negro y blanco, y es una colaboración igualitaria entre médicos e investigadores de cinco instituciones y departamentos de investigación en EE. UU. y uno en Reino Unido.

Los médicos que participan en el consorcio de investigación incluyen R.V. Paul Chan, MD, MSc, FACS, certificado en oftalmología, y fellow del Colegio Americano de Cirujanos; Michael F. Chiang, M.D., Director del Instituto Nacional del Ojo en los Institutos Nacionales de Salud en Bethesda, Maryland; y J. Peter Campbell M.D., M.P.H., Profesor Asociado de Oftalmología en la Escuela de Medicina de la Universidad de Ciencias de la Salud de Oregón en Portland.

Los ojos lo tienen

El artículo señala el potencial previamente demostrado para que el sesgo de origen humano se propague en los sistemas de IA médicos, no menos en el estudio de los ojos*. Las imágenes de fondo de retina (RFI, ver comparación de imágenes arriba), utilizadas en la evaluación de la enfermedad ocular, son imágenes a todo color que contienen suficiente información de pigmentación para identificar la raza.

Los mapas de vasos retinianos en escala de grises (RVM) descartan la mayor parte de esta información para extraer el patrón subyacente de capilares que probablemente defina muchas condiciones de enfermedad. Siempre se ha asumido que, en este nivel de destilación, no quedan características raciales en dichas imágenes médicas reductivas.

Los autores han puesto a prueba esta suposición con el uso de un conjunto de datos de RFIs (imágenes retinianas a todo color) obtenidas de bebés sometidos a una prueba para una enfermedad potencialmente cegadora. La prueba para dichas imágenes, señalan los autores, es cada vez más común fuera de las consultas personales, en la telemedicina y otros contextos de diagnóstico remoto, y es objeto de análisis de aprendizaje automático.

El nuevo estudio examina si varios tipos de versiones reductivas de las imágenes a todo color que identifican la raza retienen información racial, según lo reportado por los padres de los bebés, y ha encontrado que incluso las versiones más destructivas de la información de las RFIs (umbralizadas, esqueletizadas y binarizadas) permiten algún nivel de identificación racial.

Datos y metodología

Los datos de 245 bebés, recopilados entre enero de 2012 y julio de 2020 como parte de un estudio de cohorte i-ROP multicéntrico, se dividieron en conjuntos de entrenamiento, validación y prueba en una proporción de 50/20/30, respectivamente, con una distribución natural de razas preservada lo mejor posible según los datos de origen.

Las RFIs a todo color se redujeron a los tres estilos reductivos de imagen mencionados, para que los ‘obvios’ marcadores raciales técnicamente hubieran sido eliminados de los datos.

Se entrenaron varias redes neuronales convolucionales (CNN) para lograr una clasificación binaria (‘negro’/’blanco’, según la raza reportada por los padres) utilizando PyTorch. Las CNN procesaron los datos en todas las versiones de las imágenes, desde las RFIs hasta las versiones esqueletizadas, aplicando los flips y rotaciones aleatorios habituales, con imágenes derivadas que tenían una resolución de 224×244 píxeles.

Los modelos se entrenaron con descenso de gradiente estocástico durante un máximo de diez épocas con una tasa de aprendizaje constante de 0,001, y se implementó una detención temprana y se detuvo el entrenamiento donde se identificó la convergencia percibida después de cinco épocas (es decir, el modelo no iba a ser más preciso con más entrenamiento).

Dado que había un desequilibrio demográfico natural entre los sujetos blancos y negros, se aplicó una compensación para asegurarse de que las fuentes minoritarias no se descuenten sistemáticamente como valores atípicos, y los resultados se verificaron para garantizar que no hubo fugas de datos en los experimentos.

Muestras de mapas de vasos retinianos del estudio en diferentes niveles de tolerancia de umbral.

Resultados

Los RVM, que extraen venas y capilares de las imágenes de fondo de retina a todo color, no deberían ser discernibles racialmente por una CNN, según los autores. Sin embargo, los resultados han mostrado que un número mayor de arterias principales se segmentan con U-Net para ojos blancos que para ojos negros.

En los comentarios finales, los investigadores observan ‘Encontramos que la IA pudo predecir fácilmente la raza de los bebés a partir de segmentaciones de vasos retinianos que no contenían información visible sobre pigmentación‘, y que ‘incluso las imágenes que parecían carecer de información para el ojo humano retuvieron información predictiva de la raza del bebé original’. Los investigadores también ofrecen la posibilidad de que los vasos retinianos de bebés negros y blancos difieran ‘de alguna manera que la IA puede apreciar, pero los humanos no’.

Sesgo previo!

Los autores también sugieren que la discriminación podría ser una función de los datos predominantemente blancos en los que se entrenó originalmente U-Net. Aunque describen esto como su ‘teoría principal’, también admiten que las capacidades de los sensores de captura pueden ser un factor en el fenómeno, si resulta que el sesgo descubierto es un corolario de los aspectos técnicos de las prácticas de imagen retiniana, o de sesgo de datos en U-Net que se perpetúa a lo largo de los años. Al abordar estas posibilidades, el artículo concede:

‘Sin embargo, U-Net se entrenó en RFIs que se convirtieron primero a imágenes en escala de grises y se sometieron a un ajuste de contraste —específicamente, equalización de histograma con límite de contraste (CLAHE)— y, por lo tanto, nunca se entrenó realmente en RFIs a todo color. Así, aún no podemos explicar completamente estos hallazgos basados en la hipótesis de U-Net.’

Sin embargo, los autores afirman que la causa es menos alarmante que el efecto, y afirman que la capacidad de los modelos de IA para discernir la raza conlleva un posible ‘riesgo de sesgo en los algoritmos de IA médica que los utilizan como entrada’.

Los autores señalan la naturaleza de alto contraste de las razas estudiadas y postulan que los grupos raciales ‘intermedios’ pueden ser más difíciles de identificar por medios similares, y que este es un aspecto que pretenden estudiar en trabajos en curso y relacionados.

* Todos los enlaces de apoyo proporcionados por el artículo que se incluyen en este artículo se han convertido de enlaces de PaperPile de acceso limitado a versiones en línea disponibles públicamente, cuando es posible.