L’IA cite souvent des pages Web qu’elle n’a même jamais lues

Il arrive qu’un article publié dans le flot de la littérature du jour me mette vraiment en colère — non pas parce qu’il est inexact ou offensant, mais parce qu’il remarque et étudie quelque chose qui m’agace depuis longtemps, à la périphérie de ma conscience, de manière vague et imprécise (peut-être parce que j’étais trop occupé pour faire autre chose que l’ignorer).

Un tel article vient de paraître aujourd’hui, signé par trois auteurs du département d’informatique de l’Imperial College London. Intitulé Récupérés, mais pas lus : comprendre pourquoi les grands modèles de langage augmentés par la recherche n’exploitent pas les éléments de preuve disponibles, ce nouveau travail cherche à comprendre pourquoi les grands modèles de langage (LLM) nous fournissent si souvent des URL censées étayer leurs réponses (citations d’articles sans pertinence, liens vers des articles Web douteux, etc.) sans même les lire.

Les auteurs indiquent :

« Nous constatons que les modèles répondent souvent à partir d’extraits de résultats de recherche sans ouvrir les pages sources, ce qui est associé à une hausse des réponses obsolètes et des citations infidèles. Nos expériences contrôlées et notre analyse par couche révèlent un décalage entre la disponibilité des éléments de preuve et leur utilisation effective. »

« Même lorsque les éléments de preuve récupérés influencent les prédictions internes, les modèles peuvent encore privilégier des informations obsolètes dans leurs réponses finales. »

Les auteurs ont testé un LLM propriétaire (le GPT-5.6 Luna d’OpenAI) ainsi que six configurations de modèles à poids ouverts, à partir de centaines de faits qui avaient évolué depuis les dates limites des données d’entraînement des modèles.

Ils ont ensuite examiné à quelle fréquence les systèmes s’appuyaient sur des extraits de résultats de recherche au lieu d’ouvrir les pages sources, les effets de cette pratique sur l’exactitude des réponses et des citations, ainsi que les raisons pour lesquelles des informations obsolètes prévalaient parfois même lorsque des éléments plus récents étaient fournis directement.

Les tests ont révélé que les modèles répondaient fréquemment aux questions sans ouvrir aucune des pages renvoyées par les recherches sur le Web, et que ce comportement était associé à une hausse importante des réponses obsolètes et des citations trompeuses :

Résultats des tests montrant à quelle fréquence les modèles d’IA citent des sources Web sans les lire réellement. Dans huit configurations, les chercheurs ont mesuré l’exactitude des réponses, le recours aux extraits de résultats de recherche sans ouverture des pages sources et les citations qui contredisaient les affirmations des modèles. Dans certains cas, plus de la moitié des recherches se sont achevées sans qu’une seule page soit ouverte. Tous les chiffres sont des pourcentages ; la première ligne utilise la recherche Web en temps réel, tandis que les autres s’appuient sur des résultats de recherche standardisés. Source

Les chercheurs ont également constaté que fournir directement les éléments de preuve corrects pouvait réduire considérablement ces échecs, même si certains modèles continuaient à privilégier les informations obsolètes alors que les faits les plus récents étaient placés sous leurs yeux.

Des motivations cachées ?

Les deux raisons les plus évidentes pour lesquelles les LLM nous bombardent souvent de documents à l’appui qui semblent « corrects » sans être pertinents sont les suivantes : a) cela permet de faire des économies, car télécharger et lire ne serait-ce qu’un résumé du contenu lui-même, qui peut même être indisponible, consomme de la bande passante et du temps ; et b) cela réduit la latence, comme si nous servir rapidement une réponse erronée ou en partie erronée valait mieux que retarder légèrement une réponse plus fiable.

Cependant, les auteurs de cette nouvelle étude s’intéressent davantage à établir les mécanismes fondamentaux à l’origine de cette baisse de qualité qu’à déterminer comment elle a pu être conçue ou anticipée au départ.

Sans surprise, mes échanges à ce jour avec des modèles de pointe sur l’économie d’échelle des LLM m’ont amené à ce que je ne peux que supposer être une réponse défensive prédéterminée.

À mon sens, l’intérêt économique de manipuler ainsi le comportement des LLM en matière de citations est évident ; mais les technologies elles-mêmes restent si peu cartographiées, dans un état de fluctuation si constant et si sujettes à des résultats atypiques, qu’il est difficile, pour le moment, de prouver de telles motivations.

Méthode

Pour évaluer dans quelle mesure les modèles exploitent réellement les éléments de preuve trouvés sur le Web, les chercheurs ont rassemblé 225 faits qui avaient changé depuis le 16 février 2026 — date limite des données d’entraînement la plus récente signalée parmi les modèles testés.

Les faits provenaient des informations de la FDA sur les médicaments (62 faits), de la finance (52), du sport (47), de personnalités (43), de documents déposés auprès de la SEC (13) et de classifications chimiques (8). Les changements déjà entrés en vigueur à la date limite, ou annoncés avant le 1er février, ont été exclus, tout comme les affirmations médicales pouvant être vérifiées à partir de connaissances générales. Des faits inchangés ont également servi de témoins, ce qui a permis aux chercheurs de distinguer les échecs liés à de nouvelles informations des erreurs plus générales.

Pour établir une référence, GPT-5.6 Luna a été testé sans accès à la recherche sur le Web et n’a répondu correctement qu’à 23,3 % des 103 questions portant sur les faits modifiés.

Un modèle d’IA non précisé a été utilisé pour reformuler les clauses d’étiquetage de la FDA figurant dans le jeu de données mentionné précédemment en énoncés factuels pouvant être testés individuellement, chacun ayant ensuite fait l’objet d’une vérification manuelle*.

Les configurations des modèles à poids ouverts testées étaient GLM-5.3-Flash de Z.ai ; gpt-oss-120b et gpt-oss-20b d’OpenAI ; gemma-4-31b de Google DeepMind, testé avec et sans raisonnement ; et qwen3-8b de Qwen.

Les modèles à poids ouverts et GPT-5.6 Luna ont reçu les mêmes résultats de recherche sur le Web, afin de permettre une comparaison équitable de leurs réponses. Luna a également été testé séparément avec son propre outil de recherche intégré.

Pour 223 des 225 faits, dix résultats de recherche ont été recueillis à l’avance au moyen de Brave Search. Tous les modèles ont reçu les mêmes résultats et pouvaient ouvrir des pages ou effectuer des recherches dans celles-ci à l’aide d’outils identiques.

La page contenant la réponse « correcte » était toujours mise à disposition : si elle figurait naturellement parmi les dix premiers résultats, sa position était conservée ; sinon, elle était ajoutée aux résultats à un rang déterminé à l’avance, ce qui permettait aux chercheurs d’examiner comment les modèles exploitaient les éléments disponibles dans des conditions comparables.

Pour rendre les tests plus cohérents, la température a été réglée sur zéro pour les modèles prenant en charge ce paramètre, et chaque modèle a été exécuté par l’intermédiaire du même fournisseur tout au long des expériences.

Présentation des requêtes

Parmi les deux requêtes utilisées pour tester les faits, la première posait une question ouverte, par exemple « Dans quel club joue Bernardo Silva ? », avec ou sans demande de source ; la seconde demandait au modèle de vérifier une affirmation contenant soit l’information actuelle, soit l’information obsolète, afin que les chercheurs puissent comparer la manière dont chaque version était traitée.

Quatre autres types de requêtes ont été utilisés dans les résultats combinés : questions ouvertes accompagnées d’indices ; demandes de citations textuelles ; demandes de citation à l’appui d’une affirmation fournie ; et vérifications de fiches d’information, dans lesquelles le modèle devait repérer un énoncé obsolète parmi plusieurs énoncés exacts.

Exemples des requêtes réellement utilisées pour tester les modèles, à partir de questions et d’affirmations concernant le footballeur Bernardo Silva. Le tableau montre comment une même question factuelle était présentée au moyen de différentes demandes de réponse, de vérification, de citations textuelles et de références. Toutes les requêtes commençaient par la date du 8 août 2026, et la plupart exigeaient une réponse finale normalisée, définie par les consignes repérées par des lettres sous le tableau.

Chaque requête indiquait une date et la plupart exigeaient des réponses dans un format fixe autorisant la réponse « IMPOSSIBLE À VÉRIFIER », ce qui permettait d’évaluer les résultats sans recourir à un arbitre humain ou à un LLM.

Les indicateurs utilisés étaient la profondeur de lecture (les pages sources avaient-elles été ouvertes et citées ?) ; l’exactitude des réponses (pourcentage de réponses correctes, hors abstentions) ; et la fidélité des citations (les pages citées contredisaient-elles les affirmations du modèle ?).

L’évaluation était automatisée dans la mesure du possible ; un LLM (non précisé) ne pouvait valider les citations que si elles étaient étayées par un passage exact de la page archivée ; les jugements négatifs nécessitant une interprétation étaient confiés à des évaluateurs humains ; et les faits de contrôle inchangés servaient à établir le taux d’erreur de référence de chaque modèle en matière de citations.

Résultats

Lors des premiers tests (présentés au début de cet article), l’accès à la recherche sur le Web a amélioré la capacité des modèles à répondre correctement aux questions. Pour vérifier l’exactitude des énoncés factuels, leurs scores ont augmenté de 27 à 42 points de pourcentage. Lorsqu’ils répondaient directement aux questions, ils donnaient une réponse correcte dans 85,8 à 95,4 % des cas.

Cependant, de nombreuses réponses ont été produites sans que les modèles consultent réellement les sites Web renvoyés par leurs recherches. Ils se sont plutôt appuyés sur les courts extraits de texte affichés à côté des résultats de recherche. Même lorsqu’ils recevaient les mêmes résultats de recherche, la proportion de recherches pour lesquelles aucune page n’était ouverte variait de 2,6 % à 76 %, selon le modèle.

Dans ce contexte, GPT-5.6 Luna a particulièrement peu fait d’efforts :

« Avec les mêmes résultats de recherche, les modèles répondent à 2,6–76,0 % des requêtes sans ouvrir aucune page. Avec son moteur de recherche natif, Luna répond à 53,6 % des requêtes en se fondant uniquement sur les extraits. »

Résultats des tests comparant les réponses obsolètes et les citations trompeuses en fonction de la minutie avec laquelle les modèles ont examiné les résultats de recherche. « Extrait » signifie qu’aucune page web n’a été ouverte ; « Ouverte » signifie qu’une page a été ouverte, mais non citée ; « Intégr. » signifie qu’une page ouverte a été citée. Tous les chiffres sont des pourcentages agrégés pour sept configurations de modèles et tous les types de requêtes. Les erreurs étaient généralement plus fréquentes lorsque les modèles s’appuyaient uniquement sur les extraits de recherche.

Sur les sept configurations de modèles, 6,4 % des réponses fondées uniquement sur des extraits étaient obsolètes, contre 1,3 % lorsque des pages ouvertes étaient citées. Comme indiqué plus haut, les citations trompeuses étaient également plus fréquentes : 6,4 % contre 2,3 %. Pour les questions sportives, la proportion de réponses obsolètes parmi les modèles à poids ouverts atteignait 20,2 %, contre 2,1 %. Lorsque les réponses étaient obsolètes, 81,8 % des citations à l’appui de ces affirmations les contredisaient, contre seulement 0,9 % pour les réponses à jour. Des tendances similaires ont été observées lors des tests sur des fiches factuelles.

En pratique, cela signifie que les modèles d’IA étudiés sont plus susceptibles de fournir des réponses erronées lorsqu’ils s’appuient sur les courtes descriptions affichées dans les résultats de recherche au lieu de lire les pages web elles-mêmes. Pire encore, il leur arrive de renvoyer vers des pages qui prouvent que leurs réponses sont fausses.

Échec partagé

À moins que l’échantillon retenu pour ces tests ne soit constitué de « valeurs aberrantes collectives », il semble raisonnable de supposer que d’autres modèles, qu’ils soient propriétaires ou open source, sont touchés par ce phénomène. En fait, sur les neuf types d’échec observés lors des recherches en direct sur le Web de GPT-5.6 Luna, sept étaient significativement associés à des échecs constatés lors de tests d’autres modèles avec les mêmes résultats de recherche fixes, ce qui laisse penser que les problèmes ne se limitaient pas à Luna.

Fournir directement la bonne page Wikipédia a réduit le nombre de réponses obsolètes : les échecs sont passés de 14 à zéro pour gemma-4-31b, de 11 à un pour gpt-oss-20b et de 16 à huit pour qwen3-8b. Répéter la question initiale après l’ouverture de chaque page a également permis de corriger 26,1 % des vérifications de fiches factuelles précédemment échouées.

Résultats montrant à quelle fréquence gemma-4-31b, gpt-oss-20b et qwen3-8b ont accepté des affirmations obsolètes dans différentes conditions. Les mêmes éléments de preuve étaient soit retenus, soit fournis directement dans la requête, soit mis à disposition dans les résultats de recherche ; des tests distincts demandaient des sources à l’appui. Fournir directement la bonne page s’est révélé nettement plus efficace que de demander aux modèles de la trouver eux-mêmes. Les chiffres indiquent le nombre d’échecs rapporté au nombre total de tests.

Règles des clubs

Enfin, afin de mieux comprendre pourquoi l’IA ignore parfois des informations exactes, les chercheurs ont testé trois modèles à poids ouverts sur des joueurs de football qui avaient changé de club : gpt-oss-20b, gemma-4-31b et qwen3-8b.

Chaque modèle a reçu des informations obsolètes sur le club d’un joueur, parfois accompagnées de la page Wikipédia exacte, puis a été examiné afin de déterminer quelle réponse il privilégiait au cours de son traitement.

Les résultats ont montré que les modèles pouvaient reconnaître le bon club, mais continuer à donner la mauvaise réponse :

Résultats des tests montrant comment qwen3-8b a pondéré les clubs de football exacts et obsolètes au moment de formuler une réponse. Le graphique de gauche présente les réponses correctes, où le bon club est resté en tête ; celui de droite montre les échecs, où le club obsolète a pris le dessus sur le bon club lors des dernières étapes du traitement. Les zones ombrées indiquent les variations observées d’un test à l’autre.

Avec qwen3-8b, le bon club a parfois pris l’avantage en interne avant que le club obsolète ne le dépasse juste avant la production de la réponse (voir ci-dessus). Une tendance similaire est apparue avec gpt-oss-20b, tandis que gemma-4-31b a généralement privilégié le club « obsolète » tout au long du processus.

Il semble donc que, même lorsque des éléments exacts sont disponibles et reconnus, les informations obsolètes puissent tout de même l’emporter dans la réponse finale.

En conclusion, les auteurs estiment que les modèles doivent mieux exploiter les pages Web qu’ils récupèrent, plutôt que de s’appuyer sur les extraits des résultats de recherche. Ils espèrent également découvrir pourquoi les modèles s’en tiennent parfois à des informations obsolètes alors qu’ils disposent de la bonne réponse, et si des changements dans la façon dont ils traitent l’information pourraient aider. Aucune solution définitive n’est toutefois proposée.

Conclusion

Bien qu’il apporte des éclairages intéressants, le nouvel article n’explique pas pourquoi les LLM utilisent les citations et les références avec autant de désinvolture. En tant que consommateur et analyste raisonnablement attentif aux tendances, j’ai l’impression que les LLM que j’utilise recommandent des articles ou des URL parce qu’ils sont recommandés par d’autres… sites recommandés… ? Alors, d’où vient réellement ce sentiment d’autorité ?

À vrai dire, même avant l’IA, nous n’avons pas réussi à résoudre ce problème. Il n’est donc peut-être pas surprenant que les LLM ne fassent économiser ni argent ni temps de latence, mais se contentent de propager les mêmes rumeurs chinoises que nous nous persuadons être la « vérité ».

* L’article ne précise pas qui a effectué ces examens.

Première publication : vendredi 16 octobre 2026