Investigación de Google identifica un cuello de botella en los enfoques de inteligencia artificial a gran escala

Un nuevo artículo de investigación de Google indica que la tendencia actual hacia la creación de conjuntos de datos de muy alto volumen puede ser contraproducente para el desarrollo de sistemas de inteligencia artificial efectivos. De hecho, la investigación sugiere que mejores productos de aprendizaje automático pueden surgir al ser entrenados en conjuntos de datos menos precisos (es decir, técnicamente ‘peores’).

Si los principios obtenidos por los investigadores son válidos, significa que los conjuntos de datos ‘a gran escala’ como el recientemente lanzado LAION-400M (que contiene 400 millones de pares de texto e imagen), y los datos detrás del motor de lenguaje neural GPT-3 (que contiene 175 mil millones de parámetros), están potencialmente sujetos a un tipo de ‘límite térmico’ en las arquitecturas y metodologías de aprendizaje automático tradicionales y populares, donde el volumen de datos ‘satura’ las aplicaciones posteriores y evita que se generalicen de manera útil.

Los investigadores también proponen métodos alternativos para replantear la arquitectura de los conjuntos de datos a gran escala, con el fin de corregir el desequilibrio.

El artículo establece:

‘Al profundizar más para entender las razones que dan lugar a estos fenómenos, mostramos que el comportamiento de saturación que observamos está estrechamente relacionado con la forma en que las representaciones evolucionan a través de las capas de los modelos. Presentamos un escenario aún más extremo en el que el rendimiento en las tareas posteriores y anteriores están en desacuerdo entre sí. Es decir, para tener un mejor rendimiento en las tareas posteriores, necesitamos perjudicar la precisión de las tareas anteriores.’

El estudio se titula Explorando los límites del preentrenamiento a gran escala, y proviene de cuatro autores de Google Research.

Investigando la ‘saturación’

Los autores desafían las suposiciones predominantes sobre las relaciones entre los datos y el aprendizaje automático en la era de los datos a gran escala: que escalar los modelos y el tamaño de los datos mejora notablemente el rendimiento (una creencia que se ha consolidado en la publicidad sobre GPT-3 desde su lanzamiento); y que este mejor rendimiento ‘se transfiere’ a las tareas posteriores de manera lineal (es decir, deseable), de modo que los algoritmos que se lanzan finalmente al mercado, derivados de los conjuntos de datos y modelos entrenados, se benefician completamente de los conocimientos de las arquitecturas completas y anteriores.

‘Estas vistas,’ señalan los investigadores, ‘sugieren que gastar recursos informáticos y esfuerzo de investigación en mejorar el rendimiento en un corpus masivo daría sus frutos porque eso nos permitiría resolver muchas tareas posteriores casi de forma gratuita.’

Pero el artículo sostiene que la falta de recursos informáticos y los métodos ‘económicos’ de evaluación de los modelos están contribuyendo a una falsa impresión de la dinámica de la relación entre el volumen de datos y los sistemas de inteligencia artificial útiles. Los autores identifican este hábito como ‘un gran defecto’, ya que la comunidad de investigación supone típicamente que los resultados locales (positivos) se traducirán en implementaciones útiles posteriores:

‘[Debido] a las limitaciones informáticas, el rendimiento para diferentes opciones de valores de hiperparámetros no se informa. Las gráficas de escalado parecen más favorables si el hiperparámetro elegido para cada escala es fijo o se determina mediante una función de escalado simple.’

Los investigadores también afirman que muchos estudios de escalado se miden no en relación con escalas absolutas, sino como mejoras incrementales con respecto al estado del arte (SotA), observando que ‘no hay razón, a priori, para que el escalado se mantenga fuera del rango estudiado’.

Preentrenamiento

El artículo aborda la práctica del ‘preentrenamiento’, una medida diseñada para ahorrar recursos informáticos y reducir los tiempos de entrenamiento a menudo horribles necesarios para entrenar un modelo en datos a gran escala desde cero. Las instantáneas de preentrenamiento manejan los ‘ABC’ de la forma en que los datos dentro de un dominio se generalizarán durante el entrenamiento, y se utilizan comúnmente en una variedad de sectores y especialidades de aprendizaje automático, desde el Procesamiento de Lenguaje Natural (NLP) hasta los deepfakes.

La investigación académica previa ha encontrado que el preentrenamiento puede mejorar notablemente la robustez y precisión del modelo, pero el nuevo artículo sugiere que la complejidad de las características, incluso en plantillas de preentrenamiento relativamente cortas, podría ser más beneficiosa si se trasladara a procesos posteriores en la tubería.

Sin embargo, esto no puede suceder si los investigadores continúan dependiendo de modelos preentrenados que utilizan las mejores prácticas actuales en la aplicación de tasas de aprendizaje, lo que, según la investigación, puede afectar notablemente la precisión final de las aplicaciones del trabajo. En este sentido, los autores señalan que ‘no se puede esperar encontrar un punto de preentrenamiento que funcione bien en todas las tareas posteriores posibles’.

El estudio

Para establecer el efecto de saturación, los autores realizaron 4800 experimentos en Transformadores de Visión, ResNets y Mezcladores de MLP, cada uno con un número variable de parámetros, desde 10 millones hasta 10 mil millones, todos entrenados en los conjuntos de datos de mayor volumen disponibles en los respectivos sectores, incluyendo ImageNet21K y el propio JFT-300M de Google.

Los resultados, según el artículo, muestran que la diversidad de datos debe considerarse como un eje adicional al intentar ‘escalar’ los datos, los parámetros del modelo y el tiempo de cómputo. Como está, la fuerte concentración de recursos de entrenamiento (y la atención de los investigadores) en la sección anterior de una tubería de inteligencia artificial está efectivamente bombardeando las aplicaciones posteriores con una avalancha de parámetros hasta un punto de ‘saturación’, lo que reduce la capacidad de los algoritmos desplegados para navegar a través de las características y realizar inferencias o efectuar transformaciones.

El artículo concluye:

‘A través de un estudio exhaustivo, establecemos que a medida que mejoramos el rendimiento de la tarea anterior, ya sea escalando o mediante opciones de hiperparámetros y arquitectura, el rendimiento de las tareas posteriores muestra un comportamiento de saturación. Además, proporcionamos fuertes pruebas empíricas de que, contrariamente a la narrativa común, escalar no conduce a una solución de un modelo para todos.’