El Daño Causado por el Ajuste Fino de un Modelo de IA se Puede Recuperar Fácilmente, Según una Investigación

Nueva investigación en EE. UU. indica que ajustar un modelo de IA de base en tus propios datos no necesita reducir o dañar la funcionalidad del modelo original, y que una solución relativamente simple no solo puede restaurar las capacidades del modelo original, sino también mejorar la calidad de la salida que estás tratando de obtener del modelo (ya entrenado).

Mejoras en el rendimiento en modelos diversos con la nueva calibración post-entrenamiento de los autores. Más detalles más adelante en el artículo. Fuente: http://export.arxiv.org/pdf/2409.16223

Las implicaciones de esto son significativas, no solo para los gigantes tecnológicos cuya atención se centra en las recompensas financieras de alquilar sistemas generativos “como servicio”, sino también para el creciente número de “cortadores de cables” aficionados que descargan y personalizan modelos de código abierto, para que puedan acceder a sistemas de escritura y generación de imágenes/vídeo personalizados de IA de manera más barata, y con menos restricciones.

Los autores del artículo no tienen miedo de mostrar su entusiasmo por el potencial de su método, que parece hacer avances significativos en la presentación de 2023 Holistic Transfer: Hacia un Ajuste Fino no Disruptivo con Datos de Objeto Parcial (coautorizado con muchos de los contribuyentes del nuevo artículo).

Dicen:

‘Los [hallazgos] son alentadores y tienen implicaciones profundas. Implican que una simple calibración post-procesamiento puede potencialmente abordar la precisión inferior del modelo ajustado en las clases ausentes, devolviendo la capacidad del modelo pre-entrenado mientras se revela la mejora de la calidad de las características en todas las clases.’

Echemos un vistazo al nuevo trabajo pronto. Primero, veamos qué problema está tratando de resolver.

Por Qué Es Importante

La primera oleada de ajuste fino generalizado ocurrió después del lanzamiento del modelo de texto a imagen Stable Diffusion de Stability.ai en agosto de 2022. Los primeros modelos, entrenados en un subconjunto del conjunto de datos LAION de hipercala, estuvieron disponibles para que cualquier persona los descargara.

Sin embargo, los usuarios que querían insertar contenido específico (como sus propias identidades, estilos de arte o la representación de celebridades) en las cualidades generativas extraordinarias de Stable Diffusion necesitaban recurrir a técnicas como DreamBooth – una extrapolación de un método de personalización de investigación de Google, que permitía al usuario entrenar nuevos datos en el modelo disponible de forma gratuita, a través del ajuste fino.

Ejemplos del proceso de usuario para la implementación oficial de DreamBooth de Google en 2022. El usuario cura una pequeña selección de imágenes y elige un nombre único (que Stable Diffusion no tiene en sus datos de entrenamiento) en textos de los modelos ajustados. Fuente: https://dreambooth.github.io/

De esta manera, era posible obtener una copia del modelo que era muy bueno en crear una persona o un estilo de arte personalizado, pero que estaba ahora ‘comprometido’ para un uso más general.

Esto significaba que si querías ajustar Stable Diffusion para que pudiera representar con precisión a tres personas diferentes, inevitablemente tenías que crear tres modelos diferentes, cada uno de alrededor de 2-4GB, o más.

Cualquier intento de ajustar estos modelos una segunda vez no solo degradaría el rendimiento general del modelo aún más, sino que también afectaría adversamente la salida de la sesión de ajuste anterior.

En cualquier caso, los modelos de DreamBooth de celebridades pronto proliferarían en Internet, reuniéndose principalmente en el dominio civit.ai. Finalmente, métodos menos onerosos como Low-Rank Adaptation (LoRA) superarían al ajuste fino en popularidad (aunque si la salida de LoRA es tan efectiva como un ajuste completo sigue siendo controvertido, y NVIDIA ha abierto desde entonces una aproximación llamada DoRA que aparentemente es más efectiva).

Una LoRA cae en la categoría de Ajuste Fino Eficiente de Parámetros (PEFT), que solo influye en un subconjunto de los parámetros entrenados del modelo.

Algunos usuarios querían cambiar la naturaleza fundamental de los puntos de referencia de Stable Diffusion de código abierto, ajustándolos en miles de imágenes.

Esto, efectivamente, produjo un modelo de fundación alternativo, dedicado a cualquier dominio que el usuario estuviera tratando de entrenar (como un estilo de arte particular). Para este propósito, métodos “ligeros” como LoRA probablemente serían menos efectivos, ya que los pesos del modelo necesitaban un sesgo severo hacia los nuevos datos de entrenamiento.

Chat Local

Con el reciente aumento de interés en Modelos de Lenguaje Grande (LLM), los usuarios que desean evitar los crecientes canales (y los costos asociados) de servicios impulsados por API como ChatGPT, han comenzado a descargar y ajustar modelos de código abierto efectivos como Llama 3, entre muchos otros.

Aquí también, se pueden utilizar LoRAs en lugar de ajustar un punto de referencia completo. Hemos sostenido antes que el ajuste fino es un método superior para producir LLM que se adapten a las necesidades específicas del usuario. Aunque el ajuste fino puede tener mayores requisitos de hardware y puede tardar más, ofrece una generalización más profunda de los datos nuevos que el usuario desea que el modelo asimile.

El problema con el ajuste fino es que es un proceso destructivo que no se puede entrenar de forma incremental en datos adicionales más adelante, como mencionamos anteriormente.

Las características y sesgos que se inyectan en el modelo aparentemente perturban el equilibrio original de pesos en el conjunto de datos, lo que significa que el modelo es demasiado probable que refleje esos datos contribuidos por el usuario, o al menos realizará peor en general que el modelo de fundación original (en tareas que no están relacionadas con los nuevos datos).

Se puede remediar esto, en cierta medida, congelando ciertas partes del modelo durante el entrenamiento; pero esto puede llevar a una funcionalidad general reducida, ya que la parte congelada de la arquitectura puede no generalizar bien a los datos ajustados en el espacio latente del modelo.

Por lo tanto, sería realmente genial si hubiera una forma más fácil de preservar las capacidades originales de un modelo ajustado, mientras se mantiene la capacidad del modelo para producir salida basada en los datos de ajuste.

Un desarrollo como este sería beneficioso en todo el rango de usuarios potenciales, desde aficionados y adoptantes tempranos que utilizan LLM locales y otros tipos de modelos generativos, hasta el nivel FAANG (donde un modelo de IA muy costoso podría mejorarse de forma iterativa y no destructiva, sin el gasto de varios millones de dólares de comenzar el entrenamiento de nuevo con los datos adicionales).

Calibración Post-Procesamiento

Esto nos lleva de vuelta al nuevo artículo, que se llama Ajuste Fino Está Bien, si se Calibra, y proviene de 11 investigadores de la Universidad Estatal de Ohio, la Universidad de Wisconsin Madison y el Instituto Politécnico Rensselaer.

Los investigadores estaban tratando de descubrir exactamente qué se daña en un modelo de fundación cuando se ajusta. Han concluido que la única diferencia importante entre el modelo “antes y después” es que las escalas de logit a través de las clases de ajuste y las clases originales en el modelo exhiben una discrepancia importante.

Los enlaces de logit predicen la probabilidad de éxito en un proceso de regresión lógica, convirtiendo los valores estimados (que pueden ser muy precisos) en un cero o un uno.

Los autores no solo encontraron que este déficit es casi casualmente reversible mediante una técnica de calibración, sino que esta solución post facto en realidad mejora la calidad de la salida para los datos de ajuste. Por lo tanto, con esta técnica, no solo obtienes las capacidades originales del modelo de fundación, sino que también obtienes una mejor integración de tus propios datos ajustados.

(Aunque el artículo no examina la perspectiva, esta técnica implica que un modelo podría ajustarse múltiples veces y seguir siendo efectivo)

Al discutir sus hallazgos sobre el daño del modelo después del ajuste, los autores dicen:

‘Para nuestra sorpresa, encontramos que el modelo ajustado no olvida la relación entre las otras clases ni degrada las características para reconocer estas clases.

‘En su lugar, el modelo ajustado a menudo produce características más discriminatorias para estas otras clases, incluso si estaban ausentes durante el ajuste.

‘Lo que realmente perjudica la precisión es la discrepancia en las escalas de logit entre las clases de ajuste y las otras [clases], lo que implica que una simple calibración post-procesamiento puede restaurar la capacidad del modelo pre-entrenado y al mismo tiempo revelar la mejora de las características en todas las clases.’

Los autores han hecho que los resultados de sus pruebas para esta teoría sean reproducibles en un repositorio de GitHub.

Encontraron que, al investigar, la única parte de la arquitectura del modelo de fundación que se daña en el ajuste es el clasificador binario, que mal clasifica las clases que están ausentes en el modelo original como clases de ajuste.

El artículo establece*:

‘Al agregar un factor de sesgo de calibración a todos los logit de las clases ausentes [4, 40 ], el modelo ajustado puede reclamar con éxito la precisión de la clase ausente y obtener una mejora general decente en el dominio [de destino].

‘El rendimiento resultante incluso supera la base sólida [Holistic Transfer – el artículo en el que se basa este artículo] en muchos de los benchmarks, incluyendo ImageNet y sus variantes [ImageNet, ImageNet-R(endition), ImageNet-S(ketch) ], Office-Home, y VTAB, sin entrenamiento complicado y configuración de hiperparámetros.’

Resultados del artículo: un modelo ajustado que ha tenido una calibración post-procesamiento realizada en él puede, según los autores, superar el enfoque de estado del arte para el problema.

Los autores clasifican el rendimiento mejorado de un modelo ajustado post-calibrado como ‘comportamientos benignos inesperados’, y observan que cuando se utiliza un optimizador de Gradiente Descendente Estocástico (SGD) básico, se obtiene un mejor resultado que con optimizadores más populares actuales, como Adam.

‘Aún así,’ notan ‘con tasas de aprendizaje lo suficientemente pequeñas y decaimiento de peso, los comportamientos benignos aparecen y se mantienen.’

Reparaciones Menores

Para reparar las discrepancias de logit resultantes del ajuste, los autores tomaron prestada una técnica del aprendizaje de disparo cero, agregando un factor constante a los logit de todas las clases ausentes. Esto da como resultado una nueva regla de clasificación.

Los autores observan que este proceso ‘promueve’ las clases ausentes descuidadas a la misma calidad de predicción de las clases ajustadas, restaurando el rendimiento original y mejorando el rendimiento de los ‘añadidos’ datos en el momento de inferencia.

En pruebas, la técnica de calibración post-procesamiento restauró el rendimiento en una diversidad de modelos ajustados. El ‘Oráculo’ indicado en la tabla se refiere a un clasificador ajustado que también tiene en cuenta los datos de clase ausentes.

Observan además que la calibración post-procesamiento es ‘potencialmente aplicable a cualquier modelo’, y que los métodos que buscan mantener la integridad del modelo de fundación a través de la congelación de capas (como el clasificador y la columna vertebral) obtienen una puntuación baja en comparación con su propio enfoque propuesto.

Conclusión

Los hallazgos de esta colaboración parecen significativos. Entrenar un modelo de IA en un conjunto de datos de hipercala es un compromiso enorme, similar al despegue de un avión de pasajeros. Aunque el entrenamiento se puede interrumpir, y cualquier daño se puede mitigar guardando los pesos actuales periódicamente (a un costo de almacenamiento considerable), para permitir interrupciones en el entrenamiento, hay relativamente poco que se pueda hacer para alterar el resultado después del lanzamiento.

Lo que es impresionante sobre el trabajo es que los investigadores parecen haber descubierto un principio fundamental en el entrenamiento general de modelos de IA, y que su solución es sorprendentemente elegante.

Las implicaciones económicas de poder retener la precisión del modelo de fundación después del ajuste también son significativas. Hasta la fecha, el método más común para abordar las limitaciones de los modelos de varios millones de dólares ha sido filtrar la salida en el momento de inferencia, o controlar la inferencia para evitar cualquier talón de Aquiles evidente en el modelo.

Además, una técnica como esta podría traer mejoras significativas a las capacidades de los modelos generativos ajustados a nivel de consumidor, con el bono de un impulso en la calidad de la salida.

* Mi conversión de las citas en línea de los autores a enlaces.

Publicado por primera vez el martes, 1 de octubre de 2024