La IA suele citar páginas web que ni siquiera ha leído

A veces, entre las publicaciones del día aparece un artículo que realmente me saca de quicio, no porque sea inexacto u ofensivo, sino porque detecta y estudia algo que lleva mucho tiempo molestándome en los márgenes de mi conciencia, de forma vaga e imprecisa (quizá porque estaba demasiado ocupado como para hacer otra cosa que ignorarlo).

Hoy se ha publicado un artículo de tres autores del Departamento de Informática del Imperial College London. El nuevo trabajo, titulado Recuperado, pero no leído: por qué los LLM con búsqueda aumentada no aprovechan las pruebas disponibles, investiga por qué los modelos de lenguaje grandes (LLM) suelen presentarnos URL que supuestamente respaldan sus respuestas (citas irrelevantes a artículos, enlaces a artículos web dudosos, etc.) sin siquiera leerlos.

Los autores afirman:

«Observamos que los modelos suelen responder basándose en fragmentos de los resultados de búsqueda sin abrir las páginas de origen, lo que se asocia con una mayor frecuencia de respuestas desactualizadas y citas poco fieles. Nuestros experimentos controlados y nuestro análisis por capas revelan una brecha entre la disponibilidad de pruebas y su uso efectivo.

«Incluso cuando las pruebas recuperadas influyen en las predicciones internas, los modelos pueden seguir favoreciendo información desactualizada en sus respuestas finales».

Los autores probaron un LLM propietario (el GPT-5.6 Luna de OpenAI) y seis configuraciones de modelos de pesos abiertos con cientos de datos que habían cambiado desde las fechas de corte del entrenamiento de los modelos.

Después analizaron con qué frecuencia los sistemas se basaban en fragmentos de los resultados de búsqueda en lugar de abrir las páginas de origen; cómo afectaba esto a la precisión de sus respuestas y citas; y por qué a veces prevalecía la información desactualizada incluso cuando se proporcionaban directamente pruebas más recientes.

Las pruebas revelaron que los modelos respondían con frecuencia a preguntas sin abrir ninguna de las páginas que devolvían las búsquedas web y que este comportamiento se asociaba con una frecuencia significativamente mayor de respuestas desactualizadas y citas engañosas:

Resultados de las pruebas que revelan con qué frecuencia los modelos de IA citan fuentes web sin leerlas realmente. En ocho configuraciones, los investigadores midieron la precisión de las respuestas, la dependencia de fragmentos de búsqueda sin abrir las páginas de origen y las citas que contradecían las afirmaciones de los modelos. En algunos casos, más de la mitad de las búsquedas terminaron sin que se abriera una sola página. Todas las cifras son porcentajes; la primera fila corresponde a búsquedas web en tiempo real, mientras que las demás utilizan resultados de búsqueda estandarizados. Fuente

Los investigadores también descubrieron que proporcionar directamente las pruebas correctas podía reducir sustancialmente estos fallos, aunque algunos modelos seguían favoreciendo la información desactualizada incluso cuando se les presentaban directamente los datos más recientes.

¿Motivos ocultos?

Las dos razones más evidentes por las que los LLM suelen lanzarnos documentos de apoyo que suenan «correctos», pero no vienen al caso, son: a) ahorran dinero, porque descargar y leer siquiera una sinopsis del material original consume ancho de banda y tiempo, y ese material quizá ni siquiera esté disponible; y b) reducen la latencia, como si fuera mejor ofrecerte rápidamente una respuesta equivocada o medio equivocada que retrasar un poco una respuesta mejor.

Sin embargo, a los autores del nuevo trabajo les interesa más establecer los mecanismos básicos que explican esta deficiencia de calidad que averiguar cómo pudo haberse diseñado o concebido inicialmente.

Como era de esperar, mi experiencia hasta la fecha al hablar con modelos de frontera sobre las economías de escala de los LLM me ha llevado a lo que solo puedo suponer que es una respuesta defensiva predeterminada.

La lógica económica de manipular de este modo el comportamiento de citación de los LLM me resulta comprensible, al menos a mí; pero las tecnologías en sí siguen siendo tan poco conocidas, están en un estado de cambio tan constante y son tan propensas a producir resultados excéntricos que, por ahora, resulta difícil demostrar que esos sean los motivos.

Metodología

Para comprobar hasta qué punto los modelos utilizan realmente las pruebas disponibles en la web, los investigadores reunieron 225 datos que habían cambiado desde el 16 de febrero de 2026, la fecha de corte del entrenamiento más reciente que se había comunicado entre los modelos probados.

Los datos procedían de información de la FDA sobre medicamentos (62 datos); finanzas (52); deportes (47); personas (43); documentos presentados ante la SEC (13); y clasificaciones químicas (8). Se excluyeron los cambios que ya habían entrado en vigor en la fecha de corte o que se habían anunciado antes del 1 de febrero, así como las afirmaciones médicas que podían responderse con conocimientos generales. También se utilizaron datos que no habían cambiado como controles, lo que permitió a los investigadores distinguir los fallos relacionados con información nueva de los errores más generales.

Para establecer una línea de base, se puso a prueba GPT-5.6 Luna sin acceso a la búsqueda web, y respondió correctamente solo el 23,3 % de 103 preguntas sobre los hechos modificados.

Se utilizó un modelo de IA no especificado para reescribir cláusulas del etiquetado de la FDA incluidas en el conjunto de datos mencionado anteriormente y convertirlas en afirmaciones fácticas que pudieran comprobarse individualmente; luego, cada una se revisó manualmente*.

Las configuraciones de modelos de pesos abiertos sometidas a prueba fueron GLM-5.3-Flash, de Z.ai; gpt-oss-120b y gpt-oss-20b, de OpenAI; gemma-4-31b, de Google DeepMind, probado tanto con razonamiento como sin él; y qwen3-8b, de Qwen.

Se proporcionaron los mismos resultados de búsqueda web a los modelos de pesos abiertos y a GPT-5.6 Luna, para poder comparar sus respuestas de forma justa. Además, Luna se puso a prueba por separado con su propia función de búsqueda web integrada.

Para 223 de los 225 hechos, se recopilaron de antemano diez resultados de búsqueda mediante Brave Search. Todos los modelos recibieron los mismos resultados y podían abrir páginas o buscar en ellas con herramientas idénticas.

Siempre se puso a disposición la página que contenía la respuesta «correcta»: si aparecía de forma natural entre los diez primeros resultados, se mantuvo en la misma posición; de lo contrario, se insertó en una posición determinada de antemano, lo que permitió a los investigadores examinar cómo utilizaban los modelos las pruebas disponibles en condiciones comparables.

Para que las pruebas fueran más uniformes, se fijó la temperatura en cero en los modelos que admitían este ajuste, y durante todos los experimentos cada modelo se ejecutó a través del mismo proveedor.

Formato de las indicaciones

De las dos indicaciones utilizadas para poner a prueba los hechos, la primera planteaba una pregunta abierta, como «¿En qué club juega Bernardo Silva?», con o sin una solicitud de fuentes; la segunda pedía al modelo verificar una afirmación que contenía información actual o desactualizada, lo que permitió a los investigadores comparar cómo se trataba cada versión.

En los resultados combinados se utilizaron cuatro tipos adicionales de indicaciones: preguntas abiertas con pistas; solicitudes de citas textuales; solicitudes de una cita que respaldara una afirmación proporcionada; y comprobaciones de fichas de datos, en las que se pedía al modelo identificar una afirmación desactualizada entre varias correctas.

Ejemplos de las indicaciones reales utilizadas para poner a prueba los modelos, basadas en preguntas y afirmaciones sobre el futbolista Bernardo Silva. La tabla muestra cómo se planteó la misma cuestión factual mediante distintas solicitudes de respuestas, verificaciones, citas textuales y referencias. Todas las indicaciones comenzaban con la fecha 8 de agosto de 2026, y la mayoría exigía una respuesta final estandarizada, especificada en las instrucciones con letras que aparecen debajo de la tabla.

Cada pregunta especificaba una fecha, y la mayoría exigía respuestas en un formato fijo que permitía responder ‘NO SE PUEDE VERIFICAR‘, lo que permitía calificar los resultados sin necesidad de una evaluación humana o basada en modelos de lenguaje grandes.

Las métricas utilizadas fueron la profundidad de lectura (si se abrían y citaban las páginas de las fuentes); la precisión de las respuestas (porcentaje de respuestas correctas, sin contar las abstenciones); y la fidelidad de las citas (si las páginas citadas contradecían las afirmaciones del modelo).

La calificación se automatizó siempre que fue posible; se permitió que un modelo de lenguaje grande (no especificado) aprobara las citas únicamente cuando estas estuvieran respaldadas por un pasaje exacto de la página archivada; las evaluaciones negativas que requerían interpretación se asignaron a revisores humanos; y se utilizaron hechos de control que no habían cambiado para establecer la tasa de error de referencia de cada modelo en las citas.

Resultados

En las pruebas iniciales (mostradas al comienzo de este artículo), el acceso a la búsqueda web mejoró la capacidad de los modelos para responder correctamente a las preguntas. Al comprobar si las afirmaciones fácticas eran correctas, sus puntuaciones aumentaron entre 27 y 42 puntos porcentuales. Al responder directamente a las preguntas, dieron respuestas correctas en entre el 85,8 % y el 95,4 % de los casos.

Sin embargo, muchas respuestas se generaron sin que los modelos visitaran realmente los sitios web que aparecían en los resultados de sus búsquedas. En su lugar, se basaron en los breves extractos de texto que se muestran junto a los resultados. Incluso cuando recibían los mismos resultados de búsqueda, la proporción de búsquedas en las que no se abría ninguna página variaba entre el 2,6 % y el 76 %, según el modelo.

En este contexto, GPT-5.6 Luna tuvo un desempeño particularmente de mínimo esfuerzo:

«Con los mismos resultados de búsqueda, los modelos responden en entre el 2,6 % y el 76,0 % de los casos sin abrir ninguna página. Con su búsqueda nativa, Luna responde en el 53,6 % de los casos basándose únicamente en los fragmentos.»

Resultados de pruebas que comparan las respuestas desactualizadas y las citas engañosas según el grado de profundidad con que los modelos examinaron los resultados de búsqueda. «Fragmento» significa que no se abrió ninguna página web; «Abierta», que se abrió una página, pero no se citó; «Integr».», que se citó una página abierta. Todas las cifras son porcentajes agregados de las siete configuraciones de modelos y todos los tipos de indicaciones. En general, los errores eran más frecuentes cuando los modelos se basaban únicamente en fragmentos de los resultados de búsqueda.

En las siete configuraciones de modelos, el 6.4% de las respuestas basadas únicamente en fragmentos estaban desactualizadas, frente al 1.3% cuando se citaban páginas abiertas. Las citas engañosas también eran más frecuentes, con un 6.4% frente a un 2.3%, como se muestra arriba. En las preguntas sobre deportes, las respuestas desactualizadas de los modelos de pesos abiertos llegaron al 20.2%, frente al 2.1%. Cuando las respuestas estaban desactualizadas, el 81.8% de las citas que respaldaban esas afirmaciones las contradecían, frente a solo el 0.9% en el caso de las respuestas actualizadas. En las pruebas con fichas informativas se observaron patrones similares.

En la práctica, esto significa que los modelos de IA estudiados tienen más probabilidades de dar respuestas incorrectas cuando se basan en las breves descripciones que aparecen en los resultados de búsqueda, en lugar de leer las páginas web originales. Y lo que es peor, a veces enlazan a páginas que demuestran que sus respuestas son incorrectas.

Un fallo compartido

A menos que la selección utilizada en estas pruebas sea un conjunto de casos atípicos, parece razonable suponer que otros modelos, tanto cerrados como de código abierto, también se ven afectados por este fenómeno. De hecho, de los nueve tipos de fallos observados en las búsquedas web en tiempo real de GPT-5.6 Luna, siete estaban significativamente asociados con fallos de otros modelos evaluados con los mismos resultados de búsqueda fijos, lo que sugiere que los problemas no se limitaban a Luna.

Proporcionar directamente la página correcta de Wikipedia redujo las respuestas desactualizadas: los fallos pasaron de 14 a cero en gemma-4-31b; de 11 a uno en gpt-oss-20b; y de 16 a ocho en qwen3-8b. Repetir la pregunta original después de abrir cada página también corrigió el 26.1% de las comprobaciones de fichas informativas que habían fallado anteriormente.

Resultados que muestran con qué frecuencia gemma-4-31b, gpt-oss-20b y qwen3-8b aceptaron afirmaciones desactualizadas en distintas condiciones. La misma evidencia se ocultó, se proporcionó directamente en la indicación o se puso a disposición mediante los resultados de búsqueda; en pruebas independientes se pidió que se indicaran las fuentes de respaldo. Proporcionar directamente la página correcta fue mucho más eficaz que pedir a los modelos que la encontraran por sí mismos. Las cifras muestran los fallos respecto del total de pruebas.

Reglas de los clubes

Por último, para comprender mejor por qué la IA a veces ignora información correcta, los investigadores probaron tres modelos de pesos abiertos con futbolistas que habían cambiado de club: gpt-oss-20b; gemma-4-31b; y qwen3-8b.

A cada modelo se le proporcionó información desactualizada sobre el club de un jugador, a veces junto con la página correcta de Wikipedia, y se examinó cuál de las respuestas favorecía durante el procesamiento.

Los resultados mostraron que los modelos podían reconocer el club correcto y, aun así, dar una respuesta equivocada:

Resultados de pruebas que muestran cómo qwen3-8b sopesó los clubes de fútbol correctos y desactualizados al formular una respuesta. El gráfico de la izquierda muestra las respuestas acertadas, en las que el club correcto se mantuvo por delante; el de la derecha muestra los fallos, en los que el club desactualizado superó al correcto en las últimas etapas del procesamiento. Las áreas sombreadas indican la variación entre pruebas.

En qwen3-8b, a veces el club correcto se situaba internamente en primer lugar, pero el club desactualizado lo superaba justo antes de que se generara la respuesta (véase arriba). En gpt-oss-20b se observó un patrón similar, mientras que gemma-4-31b solía favorecer el club «desactualizado» durante todo el proceso.

Por lo tanto, parece que, incluso cuando se dispone de evidencia correcta y el modelo la reconoce, la información desactualizada aún puede prevalecer en la respuesta final.

En conclusión, los autores sugieren que los modelos deben aprovechar mejor las páginas web que recuperan, en lugar de depender de los fragmentos de búsqueda. También esperan averiguar por qué a veces los modelos se aferran a información obsoleta pese a tener la respuesta correcta, y si los cambios en la forma en que procesan la información podrían ayudar. Pero no se propone ninguna solución definitiva.

Conclusión

Aunque aporta algunas ideas valiosas, el nuevo artículo no explica el uso despreocupado que hacen los LLM de las citas y las referencias. Como consumidor y, a mi vez, analista razonable de patrones, tengo la impresión de que los LLM que uso recomiendan artículos o URL porque los recomiendan otros… sitios recomendados…? Entonces, ¿de dónde proviene realmente esa sensación de autoridad?

En realidad, no es un problema que pudiéramos resolver ni siquiera en la época anterior a la IA, así que quizá no sorprenda que resulte que los LLM no ahorran ni dinero ni latencia, sino que simplemente propagan los mismos rumores chinos que nos convencemos de que son «verdad».

* El artículo no indica quién realizó estas revisiones.

Publicado por primera vez el viernes 16 de octubre de 2026