Superar las alucinaciones de LLM utilizando Generación con Recuperación Mejorada (RAG)

Los Modelos de Lenguaje Grande (LLM) están revolucionando la forma en que procesamos y generamos lenguaje, pero no son perfectos. Al igual que los humanos pueden ver formas en las nubes o caras en la luna, los LLM también pueden “alucinar”, creando información que no es precisa. Este fenómeno, conocido como alucinaciones de LLM, plantea una creciente preocupación a medida que se expande el uso de los LLM.

Los errores pueden confundir a los usuarios y, en algunos casos, incluso llevar a problemas legales para las empresas. Por ejemplo, en 2023, un veterano de la Fuerza Aérea, Jeffery Battle (conocido como The Aerospace Professor), presentó una demanda contra Microsoft (MSFT ) cuando descubrió que el motor de búsqueda de Bing, impulsado por ChatGPT, a veces proporciona información factualmente inexacta y perjudicial sobre su nombre de búsqueda. El motor de búsqueda lo confunde con un delincuente convicto llamado Jeffery Leon Battle.

Para abordar las alucinaciones, la Generación con Recuperación Mejorada (RAG) ha surgido como una solución prometedora. Incorpora conocimientos de bases de datos externas para mejorar la precisión y credibilidad de los LLM. Veamos más de cerca cómo RAG hace que los LLM sean más precisos y confiables. También discutiremos si RAG puede contrarrestar efectivamente el problema de las alucinaciones de LLM.

Entendiendo las alucinaciones de LLM: causas y ejemplos

Los LLM, incluidos modelos renombrados como ChatGPT, ChatGLM y Claude, se entrenan en conjuntos de datos textuales extensos pero no son inmunes a producir salidas factualmente incorrectas, un fenómeno llamado “alucinaciones”. Las alucinaciones ocurren porque los LLM están entrenados para crear respuestas significativas basadas en reglas lingüísticas subyacentes, independientemente de su precisión factual.

Un estudio de Tidio encontró que, si bien el 72% de los usuarios cree que los LLM son confiables, el 75% ha recibido información incorrecta de la IA al menos una vez. Incluso los modelos de LLM más prometedores, como GPT-3.5 y GPT-4, pueden producir contenido inexacto o sin sentido en ocasiones.

Aquí hay una breve descripción de los tipos comunes de alucinaciones de LLM:

Tipos comunes de alucinaciones de IA:

1. Conflación de fuentes: Esto ocurre cuando un modelo combina detalles de varias fuentes, lo que lleva a contradicciones o incluso fuentes fabricadas.
2. Errores factuales: Los LLM pueden generar contenido con base factual inexacta, especialmente dada la inherente inexactitud de Internet.
3. Información sin sentido: Los LLM predicen la próxima palabra basándose en la probabilidad. Puede resultar en texto gramaticalmente correcto pero sin sentido, engañando a los usuarios sobre la autoridad del contenido.

El año pasado, dos abogados enfrentaron posibles sanciones por citar seis casos inexistentes en sus documentos legales, engañados por la información generada por ChatGPT. Este ejemplo destaca la importancia de abordar el contenido generado por LLM con un ojo crítico, subrayando la necesidad de verificación para garantizar la confiabilidad. Si bien su capacidad creativa beneficia aplicaciones como la narración de historias, plantea desafíos para tareas que requieren estricta adherencia a los hechos, como la investigación académica, la redacción de informes de análisis médicos y financieros, y la prestación de asesoramiento legal.

Explorando la solución para las alucinaciones de LLM: cómo funciona la Generación con Recuperación Mejorada (RAG)

En 2020, investigadores de LLM introdujeron una técnica llamada Generación con Recuperación Mejorada (RAG) para mitigar las alucinaciones de LLM integrando una fuente de datos externa. A diferencia de los LLM tradicionales que dependen únicamente de su conocimiento preentrenado, los modelos de LLM basados en RAG generan respuestas factualmente precisas recuperando dinámicamente información relevante de una base de datos externa antes de responder preguntas o generar texto.

Desglose del proceso de RAG:

Pasos del proceso de RAG: Fuente

Paso 1: Recuperación

El sistema busca en una base de conocimientos específica información relacionada con la consulta del usuario. Por ejemplo, si alguien pregunta sobre el último ganador de la Copa Mundial de fútbol, busca la información de fútbol más relevante.

Paso 2: Mejora

La consulta original se mejora con la información encontrada. Utilizando el ejemplo de fútbol, la consulta “¿Quién ganó la Copa Mundial de fútbol?” se actualiza con detalles específicos como “Argentina ganó la Copa Mundial de fútbol”.

Paso 3: Generación

Con la consulta enriquecida, el LLM genera una respuesta detallada y precisa. En nuestro caso, crearía una respuesta basada en la información mejorada sobre Argentina ganando la Copa Mundial.

Este método ayuda a reducir las inexactitudes y garantiza que las respuestas de los LLM sean más confiables y basadas en datos precisos.

Ventajas y desventajas de RAG para reducir las alucinaciones

RAG ha demostrado ser prometedor para reducir las alucinaciones al corregir el proceso de generación. Este mecanismo permite que los modelos de RAG proporcionen información más precisa, actualizada y contextualmente relevante.

Sin duda, discutir la Generación con Recuperación Mejorada (RAG) en un sentido más general permite una comprensión más amplia de sus ventajas y limitaciones en diversas implementaciones.

Ventajas de RAG:

• Mejora en la búsqueda de información: RAG encuentra rápidamente información precisa en grandes fuentes de datos.
• Contenido mejorado: Crea contenido claro y bien adaptado a lo que los usuarios necesitan.
• Uso flexible: Los usuarios pueden ajustar RAG para adaptarlo a sus requisitos específicos, como utilizar sus propias fuentes de datos, lo que mejora la eficacia.

Desafíos de RAG:

• Necesita datos específicos: Entender con precisión el contexto de la consulta para proporcionar información relevante y precisa puede ser difícil.
• Escalabilidad: Ampliar el modelo para manejar grandes conjuntos de datos y consultas mientras se mantiene el rendimiento es difícil.
• Actualización continua: Actualizar automáticamente la base de conocimientos con la información más reciente es intensivo en recursos.

Explorando alternativas a RAG

Además de RAG, aquí hay algunas otras métodos prometedores que permiten a los investigadores de LLM reducir las alucinaciones:

• G-EVAL: Verifica la precisión del contenido generado con un conjunto de datos de confianza, lo que mejora la confiabilidad.
• SelfCheckGPT: Verifica y corrige automáticamente sus propios errores para mantener las salidas precisas y coherentes.
• Ingeniería de prompts: Ayuda a los usuarios a diseñar prompts de entrada precisos para guiar a los modelos hacia respuestas precisas y relevantes.
• Ajuste fino: Ajusta el modelo a conjuntos de datos específicos de la tarea para mejorar el rendimiento en un dominio específico.
• LoRA (Adaptación de bajo rango): Este método modifica una pequeña parte de los parámetros del modelo para la adaptación a tareas específicas, lo que mejora la eficiencia.

La exploración de RAG y sus alternativas destaca el enfoque dinámico y multifacético para mejorar la precisión y confiabilidad de los LLM. A medida que avanzamos, la innovación continua en tecnologías como RAG es esencial para abordar los desafíos inherentes a las alucinaciones de LLM.

Para mantenerse actualizado con los últimos desarrollos en IA y aprendizaje automático, incluyendo análisis en profundidad y noticias, visite unite.ai.