Inteligencia artificial

Una guía completa para afinar modelos de lenguaje grande

Publicado el 25 de marzo de 2024

Actualizado el 22 de mayo de 2026

Por

Aayush Mittal Mittal

Los modelos de lenguaje grande (LLM) como GPT-4, LaMDA, PaLM y otros han revolucionado el mundo con su capacidad para entender y generar texto similar al humano en una amplia gama de temas. Estos modelos se entrenan previamente en conjuntos de datos masivos que comprenden miles de millones de palabras de Internet, libros y otras fuentes.

Esta fase de preentrenamiento infunde a los modelos con un conocimiento general extenso sobre el lenguaje, temas, habilidades de razonamiento y sogar ciertos sesgos presentes en los datos de entrenamiento. Sin embargo, a pesar de su increíble amplitud, estos LLM preentrenados carecen de experiencia especializada para dominios o tareas específicas.

Es aquí donde entra en juego el afinamiento – el proceso de adaptar un LLM preentrenado para que sobresalga en una aplicación o caso de uso particular. Al entrenar el modelo en un conjunto de datos más pequeño y específico de la tarea, podemos ajustar sus capacidades para que se alineen con las nuances y requisitos de ese dominio.

El afinamiento es análogo a transferir el conocimiento general de un generalista muy educado para crear un experto en una materia específica. En esta guía, exploraremos los qué, por qué y cómo del afinamiento de LLM.

Afinando modelos de lenguaje grande

¿Qué es el afinamiento?

En su núcleo, el afinamiento implica tomar un modelo grande preentrenado y actualizar sus parámetros utilizando una segunda fase de entrenamiento en un conjunto de datos adaptado a su tarea o dominio objetivo. Esto permite que el modelo aprenda e internalice las nuances, patrones y objetivos específicos de ese área más estrecha.

Mientras que el preentrenamiento captura la comprensión general del lenguaje desde un vasto y diverso corpus de texto, el afinamiento especializa esa competencia general. Es similar a tomar a un hombre del Renacimiento y moldearlo en un experto en la industria.

Los pesos del modelo preentrenado, que codifican su conocimiento general, se utilizan como el punto de partida o inicialización para el proceso de afinamiento. El modelo se entrena luego en ejemplos directamente relevantes para la aplicación final.

Al exponer el modelo a esta distribución de datos especializada y ajustar los parámetros del modelo en consecuencia, hacemos que el LLM sea más preciso y efectivo para el caso de uso objetivo, mientras aún se beneficia de las capacidades preentrenadas como base.

¿Por qué afinar LLM?

Hay varias razones clave por las que puede querer afinar un modelo de lenguaje grande:

Personalización de dominio: Cada campo, desde el legal hasta la medicina y la ingeniería de software, tiene sus propias convenciones lingüísticas, jerga y contextos. El afinamiento permite personalizar un modelo general para que comprenda y produzca texto adaptado al dominio específico.
Especialización de tarea: Los LLM se pueden afinar para diversas tareas de procesamiento de lenguaje natural como resumen de texto, traducción automática, respuesta a preguntas, etc. Esta especialización mejora el rendimiento en la tarea objetivo.
Cumplimiento de datos: Las industrias altamente reguladas como la atención médica y las finanzas tienen estrictos requisitos de privacidad de datos. El afinamiento permite entrenar LLM en datos organizacionales propietarios mientras se protege la información sensible.
Datos etiquetados limitados: Obtener conjuntos de datos grandes etiquetados para entrenar modelos desde cero puede ser desafiante. El afinamiento permite lograr un rendimiento sólido en la tarea con ejemplos supervisados limitados al aprovechar las capacidades preentrenadas del modelo.
Actualización del modelo: A medida que nuevos datos están disponibles con el tiempo en un dominio, puede afinar los modelos aún más para incorporar los conocimientos y capacidades más recientes.
Mitigación de sesgos: Los LLM pueden recoger sesgos sociales de los datos de preentrenamiento amplio. El afinamiento en conjuntos de datos curados puede ayudar a reducir y corregir estos sesgos indeseables.

En esencia, el afinamiento cubre la brecha entre un modelo general y amplio y los requisitos enfocados de una aplicación especializada. Mejora la precisión, la seguridad y la relevancia de las salidas del modelo para casos de uso dirigidos.

Afinando modelos de lenguaje grande

El diagrama proporcionado describe el proceso de implementación y utilización de modelos de lenguaje grande (LLM) para aplicaciones empresariales. Inicialmente, un modelo preentrenado como T5 se alimenta con datos estructurados y no estructurados de la empresa, que pueden venir en varios formatos como CSV o JSON. Estos datos se someten a procesos de afinamiento supervisado, no supervisado o de transferencia, mejorando la relevancia del modelo para las necesidades específicas de la empresa.

Una vez que el modelo se ha afinado con los datos de la empresa, sus pesos se actualizan en consecuencia. El modelo entrenado luego itera a través de ciclos de entrenamiento adicionales, mejorando continuamente sus respuestas con el tiempo con nuevos datos de la empresa. El proceso es iterativo y dinámico, con el modelo aprendiendo y readaptándose para ajustarse a los patrones de datos en evolución.

La salida de este modelo entrenado —tokens y embeddings que representan palabras— se despliega luego para diversas aplicaciones empresariales. Estas aplicaciones pueden variar desde chatbots hasta atención médica, cada una requiriendo que el modelo comprenda y responda a consultas específicas de la industria. En finanzas, las aplicaciones incluyen detección de fraude y análisis de amenazas; en atención médica, los modelos pueden asistir con consultas de pacientes y diagnósticos.

La capacidad del modelo entrenado para procesar y responder a nuevos datos de la empresa con el tiempo garantiza que su utilidad se mantenga y crezca. Como resultado, los usuarios empresariales pueden interactuar con el modelo a través de aplicaciones, haciendo preguntas y recibiendo respuestas informadas que reflejan el entrenamiento y el afinamiento del modelo en datos específicos del dominio.

Esta infraestructura admite una amplia gama de aplicaciones empresariales, demostrando la versatilidad y adaptabilidad de los LLM cuando se implementan y mantienen adecuadamente en un contexto empresarial.

Enfoques de afinamiento

Hay dos estrategias principales cuando se trata de afinar modelos de lenguaje grande:

1) Afinamiento completo del modelo

En el enfoque de afinamiento completo, todos los parámetros (pesos y sesgos) del modelo preentrenado se actualizan durante la segunda fase de entrenamiento. El modelo se expone al conjunto de datos etiquetado específico de la tarea, y el proceso de entrenamiento estándar optimiza todo el modelo para esa distribución de datos.

Esto permite que el modelo realice ajustes más comprehensivos y se adapte de manera holística a la tarea o dominio objetivo. Sin embargo, el afinamiento completo tiene algunas desventajas:

Requiere recursos computacionales significativos y tiempo para entrenar, similar a la fase de preentrenamiento.
Los requisitos de almacenamiento son altos, ya que es necesario mantener una copia separada del modelo afinado para cada tarea.
Existe el riesgo de “olvido catastrófico”, donde el afinamiento causa que el modelo pierda algunas de las capacidades generales aprendidas durante el preentrenamiento.

A pesar de estas limitaciones, el afinamiento completo sigue siendo una técnica poderosa y ampliamente utilizada cuando los recursos lo permiten y la tarea objetivo se desvía significativamente del lenguaje general.

2) Métodos de afinamiento eficientes

Para superar los desafíos computacionales del afinamiento completo, los investigadores han desarrollado estrategias eficientes que solo actualizan un subconjunto pequeño de los parámetros del modelo durante el afinamiento. Estas técnicas paramétricamente eficientes equilibran la especialización y la reducción de los requisitos de recursos.

Algunos métodos de afinamiento eficientes populares incluyen:

Afinamiento de prefijo: Aquí, se introducen y entrenan un número pequeño de vectores o “prefijos” específicos de la tarea para condicionar la atención del modelo preentrenado en la tarea objetivo. Solo estos prefijos se actualizan durante el afinamiento.

LoRA (Adaptación de bajo rango): LoRA inyecta matrices de bajo rango entrenables en cada capa del modelo preentrenado durante el afinamiento. Estos ajustes de bajo rango ayudan a especializar el modelo con mucho menos parámetros trainable que el afinamiento completo.

Claro, puedo proporcionar una explicación detallada de LoRA (Adaptación de bajo rango) junto con la formulación matemática y ejemplos de código. LoRA es una técnica de afinamiento de parámetros eficiente (PEFT) que ha ganado una gran aceptación en el campo de la adaptación de modelos de lenguaje grande (LLM).

¿Qué es LoRA?

LoRA es un método de afinamiento que introduce un número pequeño de parámetros trainable en el LLM preentrenado, permitiendo una adaptación eficiente a tareas downstream mientras se conserva la mayoría del conocimiento original del modelo. En lugar de afinar todos los parámetros del LLM, LoRA inyecta matrices de bajo rango específicas de la tarea en las capas del modelo, lo que permite ahorros computacionales y de memoria significativos durante el proceso de afinamiento.

Formulación matemática

LoRA (Adaptación de bajo rango) es un método de afinamiento para modelos de lenguaje grande (LLM) que introduce una actualización de bajo rango en las matrices de pesos. Para una matriz de pesos $W_{0} \in R^{d \times k}, LoRA agrega una matriz de bajo rango B A, con A \in R^{r \times k} y B \in R^{d \times r}, donde r es el rango. Este enfoque reduce significativamente el número de parámetros trainable, permitiendo una adaptación eficiente a tareas downstream con recursos computacionales mínimos. La matriz de pesos actualizada se da por W = W_{0} + B \cdot A .$

Esta actualización de bajo rango se puede interpretar como la modificación de la matriz de pesos original $W_{0}$ agregando una matriz de bajo rango $BA$. La ventaja clave de esta formulación es que en lugar de actualizar todos los $d \times k$ parámetros en $W_{0}$, LoRA solo necesita optimizar $r \times (d + k)$ parámetros en $A$ y $B$, reduciendo significativamente el número de parámetros trainable.

Aquí hay un ejemplo en Python utilizando la biblioteca peft para aplicar LoRA a un LLM preentrenado para clasificación de texto:

&amp;lt;/div&amp;gt;
&amp;lt;div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;from&amp;lt;/span&amp;gt; transformers &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;import&amp;lt;/span&amp;gt; AutoModelForSequenceClassification
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;from&amp;lt;/span&amp;gt; peft &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;import&amp;lt;/span&amp;gt; get_peft_model&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; LoraConfig&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; TaskType
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Cargar modelo preentrenado&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;model &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt; AutoModelForSequenceClassification&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;.&amp;lt;/span&amp;gt;from_pretrained&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;(&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&quot;bert-base-uncased&quot;&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; num_labels&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;2&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;)&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Definir configuración de LoRA&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;peft_config &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt; LoraConfig&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;(&amp;lt;/span&amp;gt;task_type&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt;TaskType&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;.&amp;lt;/span&amp;gt;SEQ_CLS&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;, &amp;lt;/span&amp;gt;r&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;8&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Rango de la actualización de bajo rango&amp;lt;/span&amp;gt;
lora_alpha&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;16&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt;&amp;lt;/code&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Factor de escala para la actualización de bajo rango&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt; target_modules &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;[&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&quot;q_lin&quot;&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&quot;v_lin&quot;&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;]&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Aplicar LoRA a las capas de consulta y valor&amp;lt;/span&amp;gt;
&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;)&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Crear el modelo habilitado para LoRA&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;model &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt; get_peft_model&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;(&amp;lt;/span&amp;gt;model&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; peft_config&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;)&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Afinar el modelo con LoRA&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# ... (código de entrenamiento omitido por brevedad)&amp;lt;/span&amp;gt;&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;/div&amp;gt;

En este ejemplo, cargamos un modelo BERT preentrenado para clasificación de secuencia y definimos una configuración LoRA. El parámetro r especifica el rango de la actualización de bajo rango, y lora_alpha es un factor de escala para la actualización. El parámetro target_modules indica qué capas del modelo deben recibir las actualizaciones de bajo rango. Después de crear el modelo habilitado para LoRA, podemos proceder con el proceso de afinamiento utilizando el procedimiento de entrenamiento estándar.

Capas de adaptador: Similares a LoRA, pero en lugar de actualizaciones de bajo rango, se insertan capas delgadas “adaptadoras” dentro de cada bloque de transformador del modelo preentrenado. Solo los parámetros de estas pocas capas compactas se entrenan.

Afinamiento de prompts: Este enfoque mantiene el modelo preentrenado completamente congelado. En su lugar, se introducen “prompt” embeddings trainable como entrada para activar el conocimiento preentrenado del modelo para la tarea objetivo.

Estos métodos eficientes pueden proporcionar reducciones de cómputo de hasta 100 veces en comparación con el afinamiento completo, mientras aún logran un rendimiento competitivo en muchas tareas. También reducen las necesidades de almacenamiento al evitar la duplicación completa del modelo.

Sin embargo, su rendimiento puede ser inferior al del afinamiento completo para tareas que son muy diferentes del lenguaje general o requieren una especialización más holística.

El proceso de afinamiento

Independientemente de la estrategia de afinamiento, el proceso general para especializar un LLM sigue un marco general:

Preparación de datos: Necesitará obtener o crear un conjunto de datos etiquetado que mapee entradas (prompts) a salidas deseadas para su tarea objetivo. Para tareas de generación de texto como resumen, esto sería pares de texto de entrada a resumen de salida.
División de datos: Siguiendo las mejores prácticas, divida su conjunto de datos etiquetado en conjuntos de entrenamiento, validación y prueba. Esto separa los datos para el entrenamiento del modelo, la optimización de hiperparámetros y la evaluación final.
Ajuste de hiperparámetros: Parámetros como la tasa de aprendizaje, el tamaño de lote y el horario de entrenamiento necesitan ser ajustados para el afinamiento más efectivo en sus datos. Esto generalmente implica un conjunto de validación pequeño.
Entrenamiento del modelo: Utilizando los hiperparámetros ajustados, ejecute el proceso de optimización de afinamiento en el conjunto de entrenamiento completo hasta que el rendimiento del modelo en el conjunto de validación deje de mejorar (parada temprana).
Evaluación: Evalúe el rendimiento del modelo afinado en el conjunto de prueba retenido, idealmente compuesto por ejemplos del mundo real para el caso de uso objetivo, para estimar la eficacia en el mundo real.
Despliegue y monitoreo: Una vez que sea satisfactorio, el modelo afinado puede desplegarse para inferencia en nuevas entradas. Es crucial monitorear su rendimiento y precisión con el tiempo para detectar cualquier deriva de conceptos.

Mientras que esto describe el proceso general, muchas nuances pueden impactar el éxito del afinamiento para un LLM o tarea particular. Estrategias como el aprendizaje de currículum, el afinamiento multi-tarea y el prompting de pocos disparos pueden mejorar aún más el rendimiento.

Además, los métodos de afinamiento eficientes involucran consideraciones adicionales. Por ejemplo, LoRA requiere técnicas como la condicionamiento de las salidas del modelo preentrenado a través de una capa de combinación. El afinamiento de prompts necesita prompts diseñados cuidadosamente para activar los comportamientos correctos.

Afinamiento avanzado: Incorporando retroalimentación humana

Mientras que el afinamiento supervisado estándar utilizando conjuntos de datos etiquetados es efectivo, un frente emocionante es entrenar LLM directamente utilizando preferencias y retroalimentación humanas. Este enfoque de “humano en el bucle” aprovecha técnicas del aprendizaje por refuerzo:

PPO (Optimización de política proximal): Aquí, el LLM se trata como un agente de aprendizaje por refuerzo, con sus salidas siendo “acciones”. Un modelo de recompensa se entrena para predecir calificaciones o puntuaciones de calidad humanas para estas salidas. PPO luego optimiza el LLM para generar salidas que maximicen las puntuaciones del modelo de recompensa.

RLHF (Aprendizaje por refuerzo desde retroalimentación humana): Esto extiende PPO incorporando directamente la retroalimentación humana en el proceso de aprendizaje. En lugar de un modelo de recompensa fijo, las recompensas provienen de evaluaciones humanas iterativas en las salidas del LLM durante el afinamiento.

Aunque computacionalmente intensivo, estos métodos permiten moldear el comportamiento del LLM con más precisión según las características deseadas evaluadas por humanos, más allá de lo que se puede capturar en un conjunto de datos estático.

Empresas como Anthropic utilizaron RLHF para infundir a sus modelos de lenguaje como Claude con una verdad, ética y conciencia de seguridad mejoradas más allá de la simple competencia en tareas.

Riesgos y limitaciones potenciales

Mientras que inmensamente poderosos, el afinamiento de LLM no está exento de riesgos que deben manejarse cuidadosamente:

<strong-Amplificación de sesgos: Si los datos de afinamiento contienen sesgos sociales alrededor de género, raza, edad u otros atributos, el modelo puede amplificar estos sesgos indeseables. La curación de conjuntos de datos representativos y sin sesgos es crucial.

Deriva de hechos: Incluso después del afinamiento en datos de alta calidad, los modelos de lenguaje pueden “alucinar” hechos incorrectos o salidas inconsistentes con los ejemplos de entrenamiento a lo largo de conversaciones más largas o prompts. Los métodos de recuperación de hechos pueden ser necesarios.

Desafíos de escalabilidad: El afinamiento completo de modelos enormes como GPT-3 requiere recursos computacionales inmensos que pueden ser infeasibles para muchas organizaciones. Los métodos de afinamiento eficientes mitigan parcialmente esto, pero tienen compensaciones.

Olvido catastrófico: Durante el afinamiento completo, los modelos pueden experimentar un olvido catastrófico, donde pierden algunas de las capacidades generales aprendidas durante el preentrenamiento. El aprendizaje multi-tarea puede ser necesario.

Riesgos de propiedad intelectual y privacidad: Los datos propietarios utilizados para el afinamiento pueden filtrarse en las salidas del modelo de lenguaje público, planteando riesgos. Las técnicas de privacidad diferencial y mitigación de peligros de información son áreas activas de investigación.

En general, mientras que excepcionalmente útiles, el afinamiento es un proceso matizado que requiere cuidado alrededor de la calidad de los datos, consideraciones de identidad, mitigación de riesgos y equilibrio de compensaciones de rendimiento-eficiencia según los requisitos del caso de uso.

El futuro: Personalización de modelos de lenguaje a escala

Mirando hacia adelante, los avances en técnicas de afinamiento y adaptación de modelos serán cruciales para desbloquear el potencial completo de los modelos de lenguaje grande en aplicaciones y dominios diversos.

Métodos más eficientes que permitan afinar incluso modelos más grandes como PaLM con recursos limitados podrían democratizar el acceso. La automatización de pipelines de creación de conjuntos de datos y la ingeniería de prompts podría agilizar la especialización.

Técnicas de auto-supervisión para afinar desde datos brutos sin etiquetas podrían abrir nuevas fronteras. Y enfoques composicionales para combinar submodelos afinados entrenados en diferentes tareas o datos podrían permitir la construcción de modelos altamente personalizados a pedido.

En última instancia, a medida que los LLM se vuelven más ubicuos, la capacidad de personalizarlos y especializarlos sin esfuerzo para cada caso de uso imaginable será crítica. El afinamiento y las estrategias de adaptación de modelos relacionadas son pasos fundamentales para realizar la visión de los modelos de lenguaje grande como asistentes de IA flexibles, seguros y poderosos que amplían las capacidades humanas en todos los dominios y empresas.

Aayush Mittal, Mittal

He dedicado los últimos cinco años sumergiéndome en el fascinante mundo de Machine Learning y Deep Learning. Mi pasión y experiencia me han llevado a contribuir a más de 50 proyectos de ingeniería de software diversos, con un enfoque particular en AI/ML. Mi curiosidad en curso también me ha llevado hacia el Procesamiento de Lenguaje Natural, un campo que estoy ansioso por explorar más a fondo.