Investigadores de Google Descubren el Problema de Subespecificación que Está Limitando a Muchos Modelos de Inteligencia Artificial

Recientemente, un equipo de investigadores de Google (GOOGL ) ha identificado una causa común para los fallos de los modelos de inteligencia artificial, señalando la subespecificación como una de las razones principales por las que los modelos de aprendizaje automático a menudo funcionan de manera muy diferente en el mundo real que durante las pruebas y el desarrollo.

Los modelos de aprendizaje automático a menudo fallan cuando se enfrentan a tareas en un entorno real, incluso si los modelos funcionan de manera óptima en el laboratorio. Hay muchas razones por las que se produce la discrepancia entre el rendimiento en entrenamiento/desarrollo y el rendimiento en el mundo real. Una de las razones más comunes por las que los modelos de inteligencia artificial fallan durante las tareas en el mundo real es un concepto conocido como cambio de datos. El cambio de datos se refiere a una diferencia fundamental entre el tipo de datos utilizado para desarrollar un modelo de aprendizaje automático y los datos que se alimentan al modelo durante su aplicación. Por ejemplo, los modelos de visión por computadora entrenados con datos de imágenes de alta calidad tendrán dificultades para funcionar cuando se les alimenten datos capturados por cámaras de baja calidad que se encuentran en el entorno diario del modelo.

Según MIT Technology Review, un equipo de 40 investigadores diferentes en Google han identificado otra razón por la que el rendimiento de un modelo de aprendizaje automático puede variar tanto. El problema es la “subespecificación”, un concepto estadístico que describe problemas en los que los fenómenos observados tienen muchas causas posibles, no todas las cuales son tenidas en cuenta por el modelo. Según el líder del estudio, Alex D’Amour, el problema se produce en muchos modelos de aprendizaje automático, diciendo que el fenómeno “ocurre en todas partes”.

El método típico de entrenar un modelo de aprendizaje automático implica alimentar al modelo con una gran cantidad de datos que puede analizar y extraer patrones relevantes. Después, el modelo se alimenta con ejemplos que no ha visto y se le pide que prediga la naturaleza de esos ejemplos en función de las características que ha aprendido. Una vez que el modelo ha alcanzado un cierto nivel de precisión, el entrenamiento generalmente se considera completo.

Según el equipo de investigación de Google, se necesita hacer más para garantizar que los modelos puedan generalizar realmente a datos que no están en el conjunto de entrenamiento. El método clásico de entrenar modelos de aprendizaje automático producirá varios modelos que pueden pasar sus pruebas, pero estos modelos difieren en pequeños detalles que parecen insignificantes pero no lo son. Los diferentes nodos en los modelos tendrán valores aleatorios asignados de manera diferente, o los datos de entrenamiento podrían seleccionarse o representarse de manera diferente. Estas variaciones son pequeñas y a menudo arbitrarias, y si no tienen un gran impacto en cómo los modelos funcionan durante el entrenamiento, son fáciles de pasar por alto. Sin embargo, cuando el impacto de todos estos pequeños cambios se acumula, pueden conducir a grandes variaciones en el rendimiento en el mundo real.

Esta subespecificación es problemática porque significa que, incluso si el proceso de entrenamiento es capaz de producir buenos modelos, también puede producir un modelo pobre y la diferencia no se descubrirá hasta que el modelo salga de la producción y entre en uso.

Para evaluar el impacto de la subespecificación, el equipo de investigación examinó una serie de modelos diferentes. Cada modelo se entrenó utilizando el mismo proceso de entrenamiento, y luego los modelos se sometieron a una serie de pruebas para resaltar las diferencias en el rendimiento. En un caso, 50 versiones diferentes de un sistema de reconocimiento de imágenes se entrenaron en el conjunto de datos ImageNet. Los modelos eran todos iguales, salvo por los valores de la red neural que se les asignaron de manera aleatoria al comienzo del entrenamiento. Las pruebas de estrés utilizadas para determinar las diferencias en los modelos se realizaron utilizando ImageNet-C, una variación del conjunto de datos original que consiste en imágenes alteradas mediante ajustes de contraste o brillo. Los modelos también se probaron en ObjectNet, una serie de imágenes que presentan objetos cotidianos en orientaciones y contextos inusuales. Aunque todos los 50 modelos tuvieron un rendimiento similar en el conjunto de datos de entrenamiento, el rendimiento fluctuó ampliamente cuando los modelos se sometieron a las pruebas de estrés.

El equipo de investigación encontró resultados similares cuando entrenaron y probaron dos sistemas de procesamiento de lenguaje natural diferentes, así como cuando probaron varios modelos de visión por computadora. En cada caso, los modelos se desviaron ampliamente entre sí, aunque el proceso de entrenamiento para todos los modelos fue el mismo.

Según D’Amour, los investigadores y ingenieros de aprendizaje automático necesitan hacer mucho más para probar los modelos antes de lanzarlos al mundo. Esto puede ser difícil, dado que las pruebas de estrés necesitan personalizarse para tareas específicas utilizando datos del mundo real, datos que pueden ser difíciles de obtener para ciertas tareas y contextos. Una posible solución al problema de la subespecificación es producir muchos modelos al mismo tiempo y luego probar los modelos en una serie de tareas del mundo real, seleccionando el modelo que consistentemente muestra los mejores resultados. Desarrollar modelos de esta manera lleva mucho tiempo y recursos, pero la compensación podría valer la pena, especialmente para los modelos de inteligencia artificial utilizados en contextos médicos u otros donde la seguridad es una preocupación principal. Como explicó D’Amour a través de MIT Technology Review:

“Necesitamos mejorar nuestra capacidad para especificar exactamente qué requisitos tenemos para nuestros modelos. Porque a menudo lo que sucede es que descubrimos estos requisitos solo después de que el modelo ha fallado en el mundo”.