Científicos internacionales piden más transparencia en la investigación de IA

Un grupo de científicos internacionales procedentes de diversas instituciones, incluyendo el Princess Margaret Cancer Centre, la Universidad de Toronto, la Universidad de Stanford, Johns Hopkins, la Escuela de Salud Pública de Harvard y el Instituto de Tecnología de Massachusetts, están pidiendo más transparencia dentro de la investigación de inteligencia artificial (IA). La principal fuerza detrás de este llamado es liberar hallazgos importantes que podrían ayudar a acelerar el tratamiento del cáncer basado en la investigación.

El artículo en el que los científicos pidieron a las revistas científicas que elevaran sus estándares cuando se trata de transparencia entre los investigadores computacionales se publicó en Nature el 14 de octubre de 2020. El grupo también abogó por que sus colegas liberaran el código, el modelo y los entornos computacionales en las publicaciones.

El documento se tituló “Transparencia y reproducibilidad en inteligencia artificial.”

Liberar detalles de estudios de IA

El Dr. Benjamin Haibe-Kains es científico senior en el Princess Margaret Cancer Centre y autor principal de la publicación.

“El progreso científico depende de la capacidad de los investigadores para examinar los resultados de un estudio y reproducir los hallazgos principales para aprender”, dice el Dr. Haibe-Kains. “Pero en la investigación computacional, aún no es un criterio generalizado que los detalles de un estudio de IA sean completamente accesibles. Esto es perjudicial para nuestro progreso”.

Las preocupaciones surgieron después de un estudio de Google Health publicado por McKinney et al. en una revista científica importante en 2020, en el que se afirmaba que un sistema de IA podría superar a los radiólogos humanos en robustez y velocidad en la detección del cáncer de mama. El estudio recibió mucha atención de los medios en diversas publicaciones importantes.

Incapacidad para reproducir modelos

Una de las principales preocupaciones que surgieron después del estudio fue que no describía exhaustivamente los métodos utilizados, así como el código y los modelos. Esta falta de transparencia significaba que los investigadores no podían aprender cómo opera el modelo, lo que resultaba en que el modelo no podía ser utilizado por otras instituciones.

“En papel y en teoría, el estudio de McKinney et al. es hermoso”, dice el Dr. Haibe-Kains. “Pero si no podemos aprender de él, entonces tiene poco o ningún valor científico”.

El Dr. Haibe-Kains fue nombrado conjuntamente como profesor asociado de Biofísica Médica en la Universidad de Toronto. También es afiliado al Instituto Vector para Inteligencia Artificial.

“Los investigadores están más incentivados a publicar sus hallazgos que a gastar tiempo y recursos asegurando que su estudio pueda ser replicado”, continúa el Dr. Haibe-Kains. “Las revistas son vulnerables al ‘hype’ de la IA y pueden bajar los estándares para aceptar artículos que no incluyen todos los materiales necesarios para hacer que el estudio sea reproducible, a menudo en contradicción con sus propias pautas”.

Este entorno significa que los modelos de IA podrían tardar más en llegar a los entornos clínicos, y los modelos no pueden ser replicados o aprendidos por los investigadores.

El grupo de investigadores propuso varios marcos y plataformas para remediar este problema y permitir que los métodos sean compartidos.

“Tenemos grandes esperanzas sobre la utilidad de la IA para nuestros pacientes con cáncer”, dice el Dr. Haibe-Kains. “Compartir y construir sobre nuestros descubrimientos, eso es un impacto científico real”.