Los métodos de ajuste fino eficientes en parámetros o PeFT buscan adaptar grandes modelos de lenguaje a través de actualizaciones de un pequeño número de pesos. Sin embargo, la mayoría de los trabajos de interpretación existentes han demostrado que las representaciones codifican información semántica rica, lo que sugiere que podría ser una alternativa mejor y más poderosa para editar estas representaciones. Los modelos grandes preentrenados a menudo se ajustan para ser utilizados en nuevos dominios o tareas, y durante el proceso de ajuste, un solo modelo base se puede adaptar a una amplia variedad de tareas incluso con solo pequeñas cantidades de datos de dominio disponibles para el modelo. Sin embargo, el proceso de ajuste de todo el modelo es costoso y caro, especialmente para los modelos de lenguaje con un número significativamente mayor de tamaño y parámetros.

Los métodos de ajuste fino eficientes en parámetros o PeFT proponen abordar los altos costos asociados con el ajuste del modelo completo actualizando solo una pequeña fracción de los pesos totales disponibles, un proceso que ayuda a reducir el tiempo de entrenamiento junto con el uso de memoria. Lo más importante es que los métodos de ajuste fino eficientes en parámetros o PeFT han demostrado un rendimiento similar al de ajuste fino en varios entornos prácticos. Los adaptadores, una familia común de métodos de ajuste fino eficientes en parámetros o PeFT, aprenden una edición que se puede agregar a un conjunto adicional de pesos que operan junto con el modelo base congelado, y los adaptadores recientes como LoRA reducen el número de parámetros entrenables en las actualizaciones de pesos aprendidas utilizando aproximaciones de matriz de rango bajo en lugar de matrices de peso completas al entrenar los adaptadores.

Con trabajos anteriores que demuestran que la edición de representaciones podría ser una alternativa mejor a los métodos de ajuste fino eficientes en parámetros o PeFT, en este artículo, hablaremos sobre los métodos de ajuste fino de representación o ReFT que operan en un modelo congelado y aprenden intervenciones específicas de tarea en representaciones ocultas. Este artículo tiene como objetivo cubrir el marco de trabajo de ReFT o ajuste fino de representación en profundidad, y exploramos el mecanismo, la metodología, la arquitectura del marco de trabajo junto con su comparación con los marcos de trabajo de estado del arte. Así que comencemos.

ReFT: Ajuste Fino de Representación para Modelos de Lenguaje

En un intento de adoptar modelos de lenguaje preentrenados a nuevos dominios y tareas, los marcos de trabajo actuales ajustan estos modelos de lenguaje preentrenados con frecuencia, ya que con el proceso de ajuste implementado, un solo modelo base se puede adaptar a una variedad de tareas incluso cuando se trabaja con una pequeña cantidad de datos de dominio. Aunque el proceso de ajuste mejora el rendimiento general, es un proceso costoso, especialmente si el modelo de lenguaje tiene un número significativamente alto de parámetros. Para abordar este problema y reducir los costos asociados, los marcos de trabajo de ajuste fino eficientes en parámetros o PeFT actualizan solo una pequeña fracción de los pesos totales, un proceso que no solo reduce el tiempo de entrenamiento, sino que también reduce el uso de memoria, lo que permite a los marcos de trabajo de PeFT lograr un rendimiento similar cuando se compara con los enfoques de ajuste fino completo en escenarios prácticos. Los adaptadores, una familia común de PeFT, funcionan aprendiendo una edición que se puede agregar a un conjunto adicional de pesos junto con un subconjunto de pesos que operan en unión con el modelo base con pesos congelados. Los marcos de trabajo de adaptadores recientes como LoRA y QLoRA han demostrado que es posible entrenar adaptadores de precisión completa sobre modelos de precisión reducida sin afectar el rendimiento. Los adaptadores suelen ser más eficientes y efectivos en comparación con otros métodos que introducen nuevos componentes de modelo.

Un aspecto destacado importante de los marcos de trabajo de ajuste fino eficientes en parámetros actuales es que, en lugar de modificar las representaciones, modifican los pesos. Sin embargo, los marcos de trabajo que tratan con la interpretación han demostrado que las representaciones codifican información semántica rica, lo que sugiere que la edición de representaciones podría ser una alternativa mejor y más poderosa en comparación con las actualizaciones de pesos. Esta suposición de que la edición de representaciones es una alternativa mejor es lo que forma la base del marco de trabajo de ReFT o ajuste fino de representación que entrena intervenciones en lugar de adaptar los pesos del modelo, lo que permite al modelo manipular una pequeña fracción de todas las representaciones para dirigir el comportamiento del modelo hacia la resolución de tareas downstream durante la inferencia. Los métodos de ReFT o ajuste fino de representación son reemplazos directos para los marcos de trabajo de ajuste fino eficientes en parámetros o PeFT basados en pesos. El enfoque de ReFT se inspira en modelos recientes que trabajan con la interpretación de grandes modelos que intervienen en las representaciones para encontrar mecanismos causales fieles y dirigen el comportamiento del modelo durante la inferencia, y por lo tanto puede verse como una generalización de los modelos de edición de representación. Basándose en lo mismo, LoReFT o ajuste fino de representación de subespacio de rango bajo es una instancia fuerte y efectiva de ReFT, y es una parametrización de ReFT que interviene en las representaciones ocultas en el espacio lineal generado por la matriz de proyección de rango bajo, y se basa directamente en el marco de trabajo de búsqueda de alineación distribuida o DAS.

Avanzando, contrario al ajuste fino completo, el marco de trabajo de ajuste fino eficiente en parámetros o PeFT entrena solo una pequeña fracción de los parámetros del modelo y logra adaptar el modelo a las tareas downstream. El marco de trabajo de ajuste fino eficiente en parámetros se puede clasificar en tres categorías principales:

• Métodos basados en adaptadores: Los métodos basados en adaptadores entrenan módulos adicionales como capas completamente conectadas sobre el modelo preentrenado con pesos congelados. Los adaptadores en serie insertan componentes entre la capa de percepción multicapa o MLP y las capas de atención del modelo de lenguaje grande o LM, mientras que los adaptadores paralelos agregan módulos junto con componentes existentes. Dado que los adaptadores agregan nuevos componentes que no se pueden integrar fácilmente en los pesos del modelo existente, imponen una carga adicional durante la inferencia.

• LoRA: LoRA, junto con sus variantes recientes, aproxima los pesos adicionales durante el entrenamiento utilizando matrices de rango bajo, y no requieren sobrecargas adicionales durante la inferencia, ya que las actualizaciones de pesos se pueden integrar en el modelo, y es la razón por la que se consideran los marcos de trabajo de PeFT más fuertes actuales.

• Métodos basados en prompts: Los métodos basados en prompts agregan tokens suaves que se inicializan aleatoriamente en la entrada y entrenan sus incrustaciones mientras mantienen los pesos del modelo de lenguaje congelados. El rendimiento ofrecido por estos métodos a menudo no es satisfactorio en comparación con otros enfoques de PeFT, y también conllevan un costo de sobrecarga de inferencia significativo.

En lugar de actualizar los pesos, el marco de trabajo de ReFT aprende intervenciones para modificar una pequeña fracción de las representaciones totales. Además, trabajos recientes sobre ingeniería de representaciones y dirección de activaciones han demostrado que agregar vectores de dirección fijos al flujo residual puede facilitar un grado de control sobre las generaciones de modelos de lenguaje grandes preentrenados sin requerir un ajuste fino intensivo en recursos.

ReFT: Metodología y Arquitectura

Para mantener el proceso de preservación de estilo simple, el marco de trabajo de ReFT supone un modelo de lenguaje grande basado en transformadores como su modelo objetivo que es capaz de producir representaciones contextualizadas de una secuencia de tokens. Para una secuencia dada con n tokens de entrada, el marco de trabajo de ReFT primero incrusta estos tokens de entrada en una lista de representaciones siguiendo la cual las m capas computan la lista de representaciones ocultas sucesivamente como una función de la lista de representaciones ocultas anteriores. Cada representación oculta es un vector, y el modelo de lenguaje utiliza las representaciones ocultas finales para producir las predicciones. El marco de trabajo de ReFT considera tanto los modelos de lenguaje con máscara como los modelos de lenguaje autoregresivos. Ahora, según la hipótesis de representación lineal, en las redes neuronales, los conceptos se codifican dentro de los subespacios lineales de las representaciones.

Además, en los estudios de interpretación, el marco de trabajo de abstracción causal utiliza intervenciones de intercambio para establecer el papel de los componentes de la red neuronal causalmente cuando se implementan comportamientos particulares. La lógica detrás de la intervención de intercambio es que si se fija una representación a lo que habría sido para una entrada contrafactual, y esta intervención afecta la salida del modelo de manera consistente con las afirmaciones hechas por el marco de trabajo de ReFT sobre el componente responsable de producir esa representación, entonces el componente juega un papel causal en el comportamiento. Aunque hay algunos métodos, la intervención de intercambio distribuida es el enfoque ideal para probar si un concepto se codifica en un subespacio lineal de una representación, como se afirma en la hipótesis de representación lineal. Además, el método de DAS se ha utilizado previamente para encontrar representaciones lineales en modelos de lenguaje de atributos de entidades, sentimiento, características lingüísticas y razonamiento matemático. Sin embargo, varios experimentos han indicado que el método de DAS es altamente expresivo y posee la capacidad de encontrar subespacios causalmente eficaces incluso cuando el modelo de lenguaje de transformadores se ha inicializado aleatoriamente, y por lo tanto aún no ha aprendido representaciones específicas de tarea, lo que da lugar al debate sobre si DAS es efectivo y responsable enough para tareas de interpretación.

La expresividad ofrecida por DAS sugiere que el enfoque podría ser una herramienta ideal para controlar el comportamiento del modelo de lenguaje junto con su trabajo en generación controlable y edición responsable. Por lo tanto, para adaptar los modelos de lenguaje a tareas downstream, el marco de trabajo de ReFT utiliza la operación de intervención de intercambio distribuida para hacer un nuevo método de ajuste fino eficiente en parámetros. Además, el método de ReFT es un conjunto de intervenciones, y el marco de trabajo establece que para cualquier dos intervenciones que operan en la misma capa, las posiciones de intervención deben ser disjuntas, con los parámetros de todas las funciones de intervención permaneciendo independientes. Como resultado, ReFT es un marco de trabajo genérico que abarca intervenciones en representaciones ocultas durante el paso hacia adelante del modelo.

ReFT: Experimentos y Resultados

Para evaluar su rendimiento contra los marcos de trabajo de PeFT existentes, el marco de trabajo de ReFT conduce experimentos en cuatro benchmarks de procesamiento de lenguaje natural diversos, y cubre más de 20 conjuntos de datos, con el objetivo principal de proporcionar una imagen rica de cómo se desempeña el marco de trabajo de LoReFT en diferentes escenarios. Además, cuando se implementa el marco de trabajo de LoReFT en la vida real, los desarrolladores necesitan decidir sobre cuántas intervenciones aprender junto con las posiciones de entrada y las capas en las que aplicar cada una. Para completar la tarea, el marco de trabajo de ReFT ajusta cuatro hiperparámetros.

1. El número de posiciones de prefijo para intervenir.
2. El número de posiciones de sufijo para intervenir.
3. Qué conjunto de capas para intervenir.
4. Si atar los parámetros de intervención en diferentes posiciones en la misma capa.

Al hacerlo, el marco de trabajo de ReFT simplifica el espacio de búsqueda de hiperparámetros y garantiza solo un costo de inferencia adicional fijo que no se escala con la longitud del prompt.

La tabla anterior compara la precisión de los marcos de trabajo de LLaMA-7B y LLaMA-13B contra los modelos de PeFT existentes en 8 conjuntos de datos de razonamiento común. Como se puede observar, el modelo de LoReFT supera a los enfoques de PeFT existentes por un margen decente, a pesar de tener muchos menos parámetros, con el rendimiento promedio de tres corridas siendo informado con semillas de parámetros distintas para el modelo de LoReFT. El parámetro (%) se calcula dividiendo el número de parámetros entrenables por el número total de parámetros del modelo de lenguaje grande base.

La tabla anterior resume la comparación de precisión de los marcos de trabajo de LLaMA-7B y LLaMA-13B contra los modelos de PeFT existentes en 4 conjuntos de datos de razonamiento aritmético diferentes, con el marco de trabajo informando el rendimiento promedio de tres corridas con semillas aleatorias distintas. Como se puede observar, a pesar de tener muchos menos parámetros (%), el marco de trabajo de LoReFT supera a los enfoques de PeFT existentes por un margen considerable.

La tabla anterior resume la comparación de precisión de los marcos de trabajo de RoBERTa-base y RoBERTa-large contra los modelos de PeFT existentes en el benchmark de GLUE, con el marco de trabajo informando el rendimiento promedio de cinco corridas con semillas aleatorias distintas. Como se puede observar, a pesar de tener muchos menos parámetros (%), el marco de trabajo de LoReFT supera a los enfoques de PeFT existentes por un margen considerable.

Pensamientos Finales

En este artículo, hemos hablado sobre LoReFT, una poderosa alternativa a los marcos de trabajo de PeFT existentes que logra un rendimiento sólido en benchmarks de cuatro dominios diferentes mientras ofrece hasta 50 veces la eficiencia ofrecida por los modelos de PeFT de estado del arte anteriores. Los modelos grandes preentrenados a menudo se ajustan para ser utilizados en nuevos dominios o tareas, y durante el proceso de ajuste, un solo modelo base se puede adaptar a una variedad de tareas incluso cuando se trabaja con una pequeña cantidad de datos de dominio disponibles para el modelo. Sin embargo, el proceso de ajuste de todo el modelo es costoso y caro, especialmente para los modelos de lenguaje con un número significativamente mayor de tamaño y parámetros. Los métodos de ajuste fino eficientes en parámetros o PeFT proponen abordar los altos costos asociados con el ajuste del modelo completo actualizando solo una pequeña fracción de los pesos totales disponibles, un proceso que ayuda a reducir el tiempo de entrenamiento junto con el uso de memoria. Notablemente, LoReFT establece un nuevo rendimiento de estado del arte en razonamiento común, seguimiento de instrucciones y comprensión del lenguaje natural contra los PeFT más fuertes.