Menos es más: ¿Por qué recuperar menos documentos puede mejorar las respuestas de la IA

Generación aumentada de recuperación (RAG) es un enfoque para construir sistemas de IA que combina un modelo de lenguaje con una fuente de conocimiento externa. En términos simples, la IA primero busca documentos relevantes (como artículos o páginas web) relacionados con una consulta del usuario, y luego utiliza esos documentos para generar una respuesta más precisa. Este método ha sido celebrado por ayudar a los grandes modelos de lenguaje (LLM) a mantenerse factual y reducir alucinaciones al basar sus respuestas en datos reales.

Intuitivamente, uno podría pensar que cuanto más documentos recupere la IA, mejor informada será su respuesta. Sin embargo, una investigación reciente sugiere un giro inesperado: cuando se trata de alimentar información a una IA, a veces menos es más.

Menos documentos, mejores respuestas

Un nuevo estudio de investigadores de la Universidad Hebrea de Jerusalén exploró cómo la cantidad de documentos dados a un sistema RAG afecta su rendimiento. Crucialmente, mantuvieron la cantidad total de texto constante, lo que significa que si se proporcionaban menos documentos, esos documentos se expandían ligeramente para llenar la misma longitud que muchos documentos. De esta manera, cualquier diferencia en el rendimiento podía atribuirse a la cantidad de documentos en lugar de simplemente tener una entrada más corta.

Los investigadores utilizaron un conjunto de datos de respuesta a preguntas (MuSiQue) con preguntas de trivia, cada una originalmente emparejada con 20 párrafos de Wikipedia (solo unos pocos de los cuales contenían la respuesta, y el resto eran distractores). Al reducir la cantidad de documentos de 20 a solo 2-4 verdaderamente relevantes, y rellenarlos con un poco de contexto adicional para mantener una longitud constante, crearon escenarios en los que la IA tenía menos piezas de material para considerar, pero todavía tenía aproximadamente la misma cantidad de palabras para leer.

Los resultados fueron sorprendentes. En la mayoría de los casos, los modelos de IA respondieron con más precisión cuando se les dieron menos documentos en lugar del conjunto completo. El rendimiento mejoró significativamente, en algunos casos hasta un 10% en precisión (puntuación F1) cuando el sistema utilizó solo los pocos documentos de apoyo en lugar de una gran colección. Este impulso contraintuitivo se observó en varios modelos de lenguaje de código abierto diferentes, incluyendo variantes del Llama de Meta y otros, lo que indica que el fenómeno no está vinculado a un solo modelo de IA.

Un modelo (Qwen-2) fue una notable excepción que manejó múltiples documentos sin disminución en la puntuación, pero casi todos los modelos probados funcionaron mejor con menos documentos en general. En otras palabras, agregar más material de referencia más allá de las piezas relevantes clave en realidad perjudicó su rendimiento más a menudo de lo que lo ayudó.

Fuente: Levy et al.

¿Por qué es esto una sorpresa? Normalmente, los sistemas RAG se diseñan bajo la suposición de que recuperar una franja más amplia de información solo puede ayudar a la IA, después de todo, si la respuesta no está en los primeros documentos, podría estar en el décimo o vigésimo.

Este estudio invierte este guión, demostrando que apilar indiscriminadamente documentos adicionales puede tener un efecto contrario. Incluso cuando la longitud total del texto se mantuvo constante, la mera presencia de muchos documentos diferentes (cada uno con su propio contexto y rarezas) hizo que la tarea de respuesta a preguntas fuera más desafiante para la IA. Parece que más allá de un cierto punto, cada documento adicional introdujo más ruido que señal, confundiendo al modelo y perjudicando su capacidad para extraer la respuesta correcta.

¿Por qué menos puede ser más en RAG

Este resultado de “menos es más” tiene sentido una vez que consideramos cómo los modelos de lenguaje de IA procesan la información. Cuando a una IA se le dan solo los documentos más relevantes, el contexto que ve es enfocado y libre de distracciones, similar a un estudiante que ha recibido solo las páginas correctas para estudiar.

En el estudio, los modelos funcionaron significativamente mejor cuando se les dieron solo los documentos de apoyo, con material irrelevante eliminado. El contexto restante no solo era más corto, sino también más limpio, contenía hechos que directamente apuntaban a la respuesta y nada más. Con menos documentos para manejar, el modelo podía dedicar su atención completa a la información pertinente, lo que lo hacía menos probable que se desviara o confundiera.

Por otro lado, cuando se recuperaban muchos documentos, la IA tenía que buscar en una mezcla de contenido relevante e irrelevante. A menudo, estos documentos adicionales eran “similares pero no relacionados”, podrían compartir un tema o palabras clave con la consulta, pero no contenían la respuesta. Este tipo de contenido puede engañar al modelo. La IA podría malgastar esfuerzo tratando de conectar puntos a través de documentos que no conducen a una respuesta correcta, o peor, podría combinar información de múltiples fuentes de manera incorrecta. Esto aumenta el riesgo de alucinaciones, instancias en las que la IA genera una respuesta que suena plausible pero no está basada en ninguna fuente única.

En esencia, alimentar demasiados documentos al modelo puede diluir la información útil e introducir detalles conflictivos, lo que hace más difícil para la IA decidir qué es cierto.

Es interesante que los investigadores encontraran que si los documentos adicionales eran obviamente irrelevantes (por ejemplo, texto no relacionado al azar), los modelos eran mejores para ignorarlos. El verdadero problema surge de los datos distractores que parecen relevantes, cuando todos los textos recuperados están sobre temas similares, la IA asume que debe usar todos, y puede luchar por determinar qué detalles son realmente importantes. Esto se alinea con la observación del estudio de que los distractores aleatorios causaron menos confusión que los distractores realistas en la entrada. La IA puede filtrar la tontería evidente, pero la información ligeramente fuera de tema es una trampa resbalosa, se cuela bajo la apariencia de relevancia y descarrila la respuesta. Al reducir la cantidad de documentos a solo los verdaderamente necesarios, evitamos establecer estas trampas desde el principio.

Hay un beneficio práctico también, recuperar y procesar menos documentos reduce la carga computacional para un sistema RAG. Cada documento que se extrae debe ser analizado (incrustado, leído y atendido por el modelo), lo que utiliza tiempo y recursos informáticos. Eliminar documentos superfluos hace que el sistema sea más eficiente, puede encontrar respuestas más rápido y a menor costo. En escenarios donde la precisión mejoró al centrarse en menos fuentes, obtenemos una victoria doble, mejores respuestas y un proceso más delgado y eficiente.

Fuente: Levy et al.

Reconsiderando RAG: Direcciones futuras

Esta nueva evidencia de que la calidad a menudo supera a la cantidad en la recuperación tiene implicaciones importantes para el futuro de los sistemas de IA que dependen del conocimiento externo. Sugiere que los diseñadores de sistemas RAG deben priorizar el filtrado y la clasificación inteligentes de los documentos sobre la mera cantidad. En lugar de buscar 100 pasajes posibles y esperar que la respuesta esté enterrada en algún lugar, puede ser más sabio buscar solo los pocos altamente relevantes.

Los autores del estudio enfatizan la necesidad de que los métodos de recuperación “equilibren la relevancia y la diversidad” en la información que suministran a un modelo. En otras palabras, queremos proporcionar suficiente cobertura del tema para responder a la pregunta, pero no tanto que los hechos básicos se ahoguen en un mar de texto extraño.

En el futuro, es probable que los investigadores exploren técnicas que ayuden a los modelos de IA a manejar múltiples documentos de manera más elegante. Un enfoque es desarrollar sistemas de recuperación o reordenadores mejorados que puedan identificar qué documentos realmente agregan valor y cuáles solo introducen conflicto. Otro ángulo es mejorar los modelos de lenguaje en sí, si un modelo (como Qwen-2) logró manejar muchos documentos sin perder precisión, examinar cómo se entrenó o estructuró podría ofrecer pistas para hacer que otros modelos sean más robustos. Tal vez los futuros modelos de lenguaje grandes incorporarán mecanismos para reconocer cuándo dos fuentes están diciendo lo mismo (o se contradicen) y enfocarse en consecuencia. El objetivo sería permitir que los modelos utilicen una variedad rica de fuentes sin caer en la confusión, efectivamente obteniendo lo mejor de ambos mundos (amplitud de información y claridad de enfoque).

Es digno de nota que a medida que los sistemas de IA ganan ventanas de contexto más grandes (la capacidad de leer más texto a la vez), simplemente volcar más datos en la consulta no es una bala de plata. Una ventana de contexto más grande no significa automáticamente mejor comprensión. Este estudio muestra que incluso si una IA puede técnicamente leer 50 páginas a la vez, darle 50 páginas de información de calidad mixta puede no producir un buen resultado. El modelo todavía se beneficia de tener contenido curado y relevante para trabajar, en lugar de un volcado indiscriminado. De hecho, la recuperación inteligente puede volverse aún más crucial en la era de ventanas de contexto gigantes, para asegurarse de que la capacidad adicional se utilice para conocimiento valioso en lugar de ruido.

Los hallazgos de “Más documentos, misma longitud” (el papel convenientemente titulado) fomentan una reexaminación de nuestras suposiciones en la investigación de IA. A veces, alimentar a una IA con toda la información que tenemos no es tan efectivo como pensamos. Al centrarnos en las piezas más relevantes de información, no solo mejoramos la precisión de las respuestas generadas por la IA, sino que también hacemos que los sistemas sean más eficientes y fáciles de confiar. Es una lección contraintuitiva, pero una con ramificaciones emocionantes, los futuros sistemas RAG podrían ser más inteligentes y delgados al elegir cuidadosamente menos documentos mejores para recuperar.