RAFT – Un Enfoque de Afinación y RAG para la Respuesta a Preguntas Específicas de Dominio

A medida que las aplicaciones de los grandes modelos de lenguaje se expanden a dominios especializados, la necesidad de técnicas de adaptación eficientes y efectivas se vuelve cada vez más crucial. Entramos en RAFT (Afinación con Recuperación Mejorada), un enfoque novedoso que combina las fortalezas de la generación con recuperación mejorada (RAG) y la afinación, diseñado específicamente para tareas de respuesta a preguntas específicas de dominio.

El Desafío de la Adaptación de Dominio

Si bien los LLM están preentrenados en vastas cantidades de datos, su capacidad para realizar bien en dominios especializados, como la investigación médica, la documentación legal o las bases de conocimiento específicas de la empresa, a menudo es limitada. Esta limitación surge porque los datos de preentrenamiento pueden no representar adecuadamente las sutilezas e intricaciones de estos dominios especializados. Para abordar este desafío, los investigadores han empleado tradicionalmente dos técnicas principales: la generación con recuperación mejorada (RAG) y la afinación.

Generación con Recuperación Mejorada (RAG)

RAG

RAG es una técnica que permite a los LLM acceder y utilizar fuentes de conocimiento externas durante la inferencia.

Logra esto integrando la recuperación de datos en tiempo real en el proceso generativo, lo que hace que las salidas del modelo sean más precisas y actualizadas. RAG consiste en tres pasos básicos: recuperación, donde se recopilan documentos relevantes; generación, donde el modelo produce una salida basada en los datos recuperados; y mejora, que refina la salida aún más.

El proceso de recuperación en RAG comienza con una consulta del usuario. Los LLM analizan la consulta y recuperan información pertinente de bases de datos externas, presentando un conjunto de datos del que el modelo puede extraer para formular sus respuestas. La fase de generación sintetiza esta entrada en una narrativa coherente o respuesta. El paso de mejora refina la generación agregando contexto o ajustando para la coherencia y la relevancia.

Los modelos RAG se pueden evaluar utilizando una variedad de métricas, evaluando su capacidad para proporcionar información precisa, relevante y actualizada.

Afinación

supervised-fine-tuning

Afinación, por otro lado, implica adaptar un LLM preentrenado a una tarea o dominio específico mediante un entrenamiento adicional en un conjunto de datos más pequeño y específico de la tarea. Este enfoque permite que el modelo aprenda patrones y alinee sus salidas con la tarea o dominio deseado. Si bien la afinación puede mejorar el rendimiento del modelo, a menudo no logra incorporar eficazmente fuentes de conocimiento externas o tener en cuenta las imperfecciones de recuperación durante la inferencia.

El Enfoque RAFT

RAFT

RAFT que significa Afinación con Recuperación Mejorada, es un método de entrenamiento innovador diseñado para mejorar el rendimiento de los modelos de lenguaje en tareas específicas de dominio, particularmente para exámenes de libro abierto. RAFT se diferencia de la afinación estándar al preparar datos de entrenamiento que incorporan preguntas con una mezcla de documentos relevantes y no relevantes, junto con respuestas estiladas en cadena de pensamiento derivadas de los textos relevantes. Este método tiene como objetivo mejorar la capacidad de los modelos para recordar información, pero también para razonar y derivar respuestas del contenido proporcionado.

En esencia, RAFT afina los modelos de lenguaje para que sean más competentes en tareas que involucran comprensión lectora y extracción de conocimiento de un conjunto de documentos. Al entrenar con documentos “oráculo” (que contienen la respuesta) y documentos “distractores” (que no), el modelo aprende a discernir y utilizar información relevante de manera más efectiva.

Preparación de Datos de Entrenamiento

El proceso de entrenamiento bajo RAFT implica que una proporción de los datos contenga documentos oráculo que se relacionan directamente con las respuestas, mientras que el resto de los datos consiste solo en documentos distractores. La afinación alienta al modelo a aprender cuándo confiar en su conocimiento interno (similar a la memorización) y cuándo extraer información del contexto proporcionado.

El régimen de entrenamiento de RAFT también enfatiza la generación de procesos de razonamiento, que no solo ayudan a formar la respuesta, sino que también citan fuentes, similar a cómo un humano justificaría su respuesta haciendo referencia al material que ha leído. Este enfoque no solo prepara al modelo para un entorno RAG (Generación con Recuperación Mejorada) donde debe considerar los documentos recuperados superior, sino que también garantiza que el entrenamiento del modelo sea independiente del recuperador utilizado, permitiendo una aplicación flexible en diferentes sistemas de recuperación.

Este enfoque sirve para varios propósitos:

1. Entrena al modelo para identificar y utilizar información relevante del contexto proporcionado, imitando el entorno de examen de libro abierto.
2. Mejora la capacidad del modelo para descartar información irrelevante, una habilidad crítica para una RAG efectiva.
3. Expone al modelo a escenarios en los que la respuesta no está presente en el contexto, lo que lo alienta a confiar en su propio conocimiento cuando sea necesario.

Otro aspecto clave de RAFT es la incorporación de razonamiento en cadena de pensamiento en el proceso de entrenamiento. En lugar de simplemente proporcionar pares de preguntas y respuestas, RAFT genera explicaciones detalladas de razonamiento que incluyen citas textuales de los documentos relevantes. Estas explicaciones, presentadas en un formato de cadena de pensamiento, guían al modelo a través de los pasos lógicos necesarios para llegar a la respuesta correcta.

Al entrenar al modelo en estas cadenas de razonamiento, RAFT fomenta el desarrollo de fuertes habilidades de razonamiento y mejora la comprensión del modelo sobre cómo aprovechar eficazmente las fuentes de conocimiento externas.

Evaluación y Resultados

Los autores del artículo de RAFT realizaron evaluaciones exhaustivas en varios conjuntos de datos, incluyendo PubMed (investigación biomédica), HotpotQA (respuesta a preguntas de dominio abierto) y el Gorilla APIBench (generación de código). Sus resultados demostraron que RAFT superó consistentemente a las líneas base, como la afinación específica de dominio con y sin RAG, así como modelos más grandes como GPT-3.5 con RAG.

RAFT improves RAG performance

Por ejemplo, en el conjunto de datos HuggingFace, RAFT logró una precisión del 74%, una mejora significativa del 31,41% sobre la afinación específica de dominio (DSF) y del 44,92% sobre GPT-3.5 con RAG. De manera similar, en el conjunto de datos HotpotQA, RAFT exhibió una ganancia de precisión del 28,9% en comparación con DSF.

Una de las ventajas clave de RAFT es su robustez frente a las imperfecciones de recuperación. Al entrenar al modelo con una mezcla de documentos relevantes y no relevantes, RAFT mejora la capacidad del modelo para discernir y priorizar información relevante, incluso cuando el módulo de recuperación devuelve resultados subóptimos.

Los autores demostraron que la afinación con solo los documentos oráculo a menudo conduce a un rendimiento inferior en comparación con configuraciones que incluyen documentos distractores. Este hallazgo subraya la importancia de exponer al modelo a diversos escenarios de recuperación durante el entrenamiento, asegurando su preparación para aplicaciones del mundo real.

Aplicaciones Prácticas y Direcciones Futuras

La técnica RAFT tiene implicaciones significativas para una amplia gama de aplicaciones prácticas, incluyendo:

1. Sistemas de Respuesta a Preguntas: RAFT se puede emplear para construir sistemas de respuesta a preguntas altamente precisos y específicos de dominio, aprovechando tanto el conocimiento aprendido del modelo como las fuentes de conocimiento externas.
2. Gestión del Conocimiento Empresarial: Las organizaciones con grandes bases de conocimiento pueden aprovechar RAFT para desarrollar sistemas de respuesta a preguntas personalizados, permitiendo a los empleados acceder y utilizar rápidamente información relevante.
3. Investigación Médica y Científica: RAFT puede ser particularmente valioso en dominios como la investigación biomédica, donde el acceso a los últimos hallazgos y literatura es crucial para avanzar en la comprensión científica.
4. Servicios Legales y Financieros: RAFT puede asistir a profesionales en estos campos proporcionando respuestas precisas y conscientes del contexto basadas en documentos legales relevantes o informes financieros.

A medida que la investigación en este área continúa, podemos esperar avances y refinamientos adicionales en la técnica RAFT. Direcciones futuras potenciales incluyen:

1. Exploración de módulos de recuperación más eficientes y efectivos, adaptados para dominios o estructuras de documentos específicos.
2. Integración de información multimodal, como imágenes o tablas, en el marco de RAFT para una mejor comprensión del contexto.
3. Desarrollo de arquitecturas de razonamiento especializadas que puedan aprovechar mejor las explicaciones en cadena de pensamiento generadas durante el entrenamiento.
4. Adaptación de RAFT a otras tareas de lenguaje natural más allá de la respuesta a preguntas, como la resumen, la traducción o los sistemas de diálogo.

Conclusión

RAFT representa un salto significativo en el campo de la respuesta a preguntas específicas de dominio con modelos de lenguaje. Al combinar armoniosamente las fortalezas de la generación con recuperación mejorada y la afinación, RAFT equipa a los LLM con la capacidad de aprovechar eficazmente las fuentes de conocimiento externas mientras también alinea sus salidas con patrones y preferencias específicos de dominio.

A través de su innovadora curación de datos de entrenamiento, incorporación de razonamiento en cadena de pensamiento y robustez frente a las imperfecciones de recuperación, RAFT ofrece una solución poderosa para organizaciones e investigadores que buscan desbloquear el máximo potencial de los LLM en dominios especializados.

A medida que la demanda de capacidades de procesamiento de lenguaje natural específicas de dominio continúa creciendo, técnicas como RAFT desempeñarán un papel fundamental en la habilitación de modelos de lenguaje más precisos, conscientes del contexto y adaptables, allanando el camino para un futuro en el que la comunicación entre humanos y máquinas se vuelva verdaderamente fluida y agnóstica de dominio.