Pourquoi l’IA ne peut-elle pas simplement admettre qu’elle ne connaît pas la réponse ?

Les grands modèles de langage donnent souvent des réponses confiantes même lorsque la question ne peut pas être répondue. De nouvelles recherches montrent que ces modèles reconnaissent souvent le problème en interne, mais produisent néanmoins une réponse, révélant un écart caché entre ce qu’ils savent et ce qu’ils disent.

Quiconque a passé un temps raisonnable avec un grand modèle de langage tel que ChatGPT ou Qwen aura vécu des occasions où le modèle fournit une réponse incorrecte (qui peut ou non avoir eu des conséquences catastrophiques locales, selon à quel point on s’est appuyé sur lui) – et, lorsque l’erreur est devenue claire, il a simplement présenté des excuses.

Pourquoi les principaux modèles de langage ont-ils autant de difficultés à admettre qu’ils ne connaissent pas la réponse à une question est un petit mais croissant domaine d’étude. Une réponse confiante mais incorrecte peut être particulièrement préjudiciable dans une interface basée sur l’API, telle que ChatGPT, car de tels modèles bloquent agressivement les entrées ou les sorties NSFW ou « contraire aux règles ».

Cela peut donner à l’utilisateur une fausse impression que le modèle est décisif et cardinal, alors que en réalité le refus provient d’un filtre traditionnel basé sur des heuristiques ou des listes de blocage conçu pour limiter l’exposition juridique de l’entreprise hôte à tout prix, et non d’insights de l’IA.

À partir du document de juin 2025 ‘AbstentionBench’ de FAIR à Meta – à gauche, la figure met en évidence la gamme de types d’échec capturés dans AbstentionBench, qui teste le comportement du modèle sur plus de 35 000 questions sans réponse; au milieu, un exemple montre comment les modèles répondent souvent avec des réponses fabriquées au lieu d’admettre qu’ils n’ont pas assez d’informations; et à droite, le rappel d’abstention diminue lorsque les modèles sont réglés pour la raisonnement plutôt que pour le suivi des instructions. Source: https://arxiv.org/pdf/2506.09038

Un nouveau document de recherche en Chine soutient que les modèles de langage LLM reconnaissent en réalité qu’ils ne peuvent pas répondre à une question posée par l’utilisateur, mais qu’ils sont néanmoins obligés de produire une sorte de réponse, la plupart du temps, au lieu d’avoir suffisamment confiance pour décider qu’une réponse valide n’est pas disponible en raison du manque d’informations de l’utilisateur, des limites du modèle ou pour d’autres raisons.

Le document indique:

‘[Nous] montrons que [LLM] possèdent des capacités cognitives suffisantes pour reconnaître les défauts dans ces questions. Cependant, ils ne parviennent pas à exhiber un comportement d’abstention approprié, révélant un décalage entre leur cognition interne et leur réponse externe.’

Les chercheurs ont développé une approche légère à deux étapes qui utilise la surveillance cognitive/sondage pour analyser le processus interne du LLM en vue de détecter des signes qu’il réalise qu’il ne peut pas fournir de réponse; puis ils interviennent pour s’assurer que la nature « utile » du modèle n’exacerbe pas les problèmes de l’utilisateur en le conduisant dans une impasse, ou même une voie destructrice.

Les chercheurs utilisent des questions mathématiques délibérément sous-spécifiées pour tester si les modèles peuvent reconnaître quand une réponse est impossible; mais cette configuration risque de présenter la tâche comme un « piège ». En réalité, les modèles sont confrontés à des raisons beaucoup plus courantes pour s’abstenir dans la conversation, des formulations ambigües aux lacunes dans les connaissances de domaine.

Le nouveau travail est intitulé Répondre à l’irrépondable, c’est errer sciemment: Analyser et atténuer les échecs d’abstention dans les grands modèles de raisonnement, et provient de quatre chercheurs issus du State Key Laboratory for Novel Software Technology et du National Institute of Healthcare Data Science à l’Université de Nanjing.

Méthode

(Puisqu’il n’y a pas de rivaux appropriés pour comparer l’approche des auteurs, et puisque le document suit un format légèrement non conventionnel, ainsi que ne pas indexer les citations aux normes habituelles, nous allons essayer de nous y conformer autant que possible.)

Conformément aux approches précédentes, les auteurs se sont concentrés sur la présentation de questions mathématiques sans réponse aux LLM, en évaluant cinq familles de modèles:  À partir de la gamme DeepSeek, R1-Distill-Llama-8B; R1-Distill-Qwen-7B, R1-Distill-Qwen-14B; et, à partir de la série Qwen, Qwen3-8B, ainsi que Qwen3-14B.

Les problèmes sans réponse dans SUM ont été créés en supprimant ou en corrompant des éléments essentiels de cinq manières: en supprimant des informations clés; en introduisant l’ambiguïté; en imposant des conditions irréalistes; en référençant des objets non liés; ou en supprimant la question entière.

Par la suite, un échantillon de 1 000 de ces cas a été sélectionné pour analyse, avec GPT-4o utilisé pour générer des explications concises pour servir de raisons de base.

Les réponses du modèle aux questions sans réponse ont été évaluées à l’aide de prompts standardisés avec un budget de 10 000 jetons, au cours duquel trois modèles de comportement principaux ont été observés: dans le premier, le modèle a identifié la question comme insoluble et s’est abstenu – généralement en répondant avec une expression explicite d’incertitude; dans le deuxième, il a produit une réponse complète en inventant des informations manquantes, telles que l’introduction d’une « taxe de manutention de 9,99 $ » pour justifier un résultat final (voir image ci-dessous); Dans le troisième, appelé fixation cognitive, le modèle est resté bloqué dans une boucle de raisonnement prolongée, persistant avec des chemins de solution invalides même après avoir implicitement reconnu que la question manquait d’une réponse viable:

Résultats de réponses variables à une question impossible.

Le document présente une tendance selon laquelle les modèles plus importants semblent s’abstenir plus fréquemment de répondre à des questions sans réponse, avec une baisse des réponses fabriquées et des comportements de fixation:

Décomposition des réponses du modèle aux problèmes mathématiques sans réponse, montrant la fréquence relative des abstentions correctes, des réponses fabriquées et de la fixation cognitive à différentes échelles de modèle.

Cependant, ce changement est limité en ampleur, et laisse une partie importante des cas non résolus par abstention correcte, suggérant que la capacité accrue seule ne produit pas nécessairement un comportement plus prudent.

Awareness de l’impasse

Pour tester si les modèles de langage peuvent dire quand une question n’a vraiment pas de réponse, les chercheurs ont interrompu la partie de raisonnement du modèle à mi-chemin, et ont demandé soit une réponse finale, soit une explication de pourquoi la question était sans réponse.

Pour les cas où le modèle a continué à raisonner indéfiniment, ils l’ont arrêté au mot « attendre », et ont demandé une réponse; pour les cas où le modèle a rapidement fabriqué une réponse, ils ont inséré une pause à une limite de paragraphe.

Le graphique de gauche montre à quelle fréquence les modèles donnent des abstentions correctes lorsqu’ils sont interrompus en cours de raisonnement, avec des taux plus élevés pour les cas de fixation que pour les réponses fabriquées. Le graphique de droite montre que la plupart des modèles peuvent expliquer pourquoi une question est sans réponse lorsqu’ils sont invités, même si leurs réponses finales ne reflètent pas cette compréhension.

Dans de nombreux cas, le modèle a donné une abstention correcte ou une explication claire, même s’il avait précédemment produit une réponse incorrecte. Les auteurs suggèrent que cela indique que le modèle reconnaît souvent le problème pendant son raisonnement, mais ne parvient pas à agir sur cette conscience dans sa sortie finale.

Lecture de pensée d’un LLM

Pour tester si les modèles de langage suivent en interne si une question est répondable, les chercheurs ont formé de petits classificateurs sur les activations cachées du modèle pendant le raisonnement, leur permettant de vérifier si la distinction entre les questions répondables et non répondables était déjà présente dans les signaux internes du modèle – même si elle n’est pas reflétée dans sa sortie finale.

En s’appuyant sur l’idée que des concepts de haut niveau tels que vérité ou genre peuvent être intégrés de manière linéaire dans les activations du modèle, « la répondabilité »* a été testée pour une représentation similaire.

Des classificateurs linéaires (sondes) simples ont été formés sur les activations cachées à travers les différentes couches du modèle, en utilisant les sorties du mécanisme d’attention multi-tête juste avant la connexion résiduelle.

Chaque sonde a été formée pour distinguer entre les questions répondables et non répondables, en fonction des activations internes du processus de raisonnement. L’entrée consistait en 2 200 paires de questions échantillonnées à partir du jeu de données SUM, avec 2 000 utilisées pour la formation et 200 pour validation.

À la fois d’inférence, la prédiction du modèle a été moyennée sur les jetons vus jusqu’à ce point dans la séquence de raisonnement, permettant à la sonde de suivre comment les signaux liés à la répondabilité émergeaient avec le temps:

Précision de classification des sondes linéaires formées pour distinguer les questions répondables des questions non répondables, mesurée à différents points du processus de raisonnement. La précision augmente généralement à mesure que le raisonnement progresse, les plus grands modèles atteignant plus de 85 % à la fin.

Comme le montre ci-dessus, la précision de la sonde augmente régulièrement à mesure que le raisonnement se déroule, la plupart des modèles dépassant 80 % de précision de classification à la fin – preuve que même lorsque le comportement extérieur du modèle ne le reflète pas, les représentations internes portent souvent un signal clair indiquant si une question peut être répondue.

Insistance obstinée

Bien que les résultats précédents suggèrent que les grands modèles de langage reconnaissent souvent qu’une question ne peut pas être répondue, le document note qu’ils ont tendance à continuer à générer une réponse au lieu de s’abstenir.

Pour étudier ce décalage, les chercheurs ont analysé la confiance du modèle dans l’abstention à des points spécifiques du processus de raisonnement, en comparant la confiance du modèle dans trois catégories de sortie: abstention correcte; réponse fabriquée; et fixation cognitive.

Des échantillons de taille égale ont été utilisés pour chaque catégorie, la confiance étant définie comme la probabilité moyenne maximale assignée à chaque jeton de sortie à travers les étapes de décodage, sur la base d’une formulation issue de travaux antérieurs. Comme le montre le graphique ci-dessous, les réponses fabriquées et les cas de fixation cognitive ont montré une confiance d’abstention plus faible par rapport à l’abstention correcte:

Niveaux de confiance associés à la production de la réponse d’abstention ‘Je ne sais pas’ à travers différents types de réponses.

Les chercheurs ont également mesuré à quelle fréquence les modèles produisaient une réponse « Je ne sais pas » au cours du processus de raisonnement. Le graphique ci-dessous indique que les cas d’abstention correcte ont donné lieu à une fréquence d’abstention plus élevée, tandis que les deux autres catégories ont produit de telles réponses moins souvent:

Fréquence des réponses ‘Je ne sais pas’ observées aux points d’arrêt pendant le raisonnement, montrée pour différents types de résultats de réponses.

Ces résultats suggèrent, selon les auteurs, que même si les modèles détectent l’irrépondabilité en interne, ils manquent souvent de confiance pour agir sur cette conscience, indiquant une préférence persistante pour achever la tâche plutôt que d’admettre l’incertitude.

Tests

En s’appuyant sur ces résultats, les chercheurs ont développé une méthode à deux parties conçue pour améliorer l’abstention. La première étape, la surveillance cognitive, suit les états cachés du modèle pendant l’inférence, segmentant son processus de raisonnement en unités naturelles telles que des phrases ou des pauses, marquées par des mots tels que « attendre ».

À la fin de chaque segment, une sonde légère et linéaire formée sur les signaux internes liés à la répondabilité estime la probabilité que la question ne puisse pas être répondue. Si cette probabilité dépasse un seuil défini, le processus passe à la deuxième étape: une intervention à l’exécution qui dirige le modèle vers l’abstention, plutôt que de fabriquer une réponse.

Lorsque le modèle montre des signes internes qu’une question ne peut pas être répondue, le raisonnement est interrompu par une intervention qui renforce cette conscience et augmente la probabilité d’abstention. Comme le montre ci-dessous, l’intervention représente un « rappel de guidage » qui rappelle au modèle que la question peut ne pas avoir de réponse valide:

Un rappel pour conditionner l’intervention à l’exécution.

La méthode intègre également un mécanisme de sortie précoce qui empêche la séquence de raisonnement de se poursuivre inutilement, encourageant le modèle à considérer l’abstention comme un choix légitime et parfois préférable.

Pour une phase de test, les chercheurs ont utilisé deux jeux de données: Unanswerable Math Word Problem (UMWP), et le SUM mentionné précédemment.

L’ensemble de test de SUM a été utilisé à cette fin, contenant 284 questions sans réponse et 284 questions répondables vérifiées manuellement. UMWP a été construit à partir de quatre sources de problèmes de mots mathématiques: SVAMP; MultiArith; Grade School Math (GSM8K); et ASDiv.

L’ensemble de données complet comprenait 5 200 problèmes, avec 600 échantillonnés pour les tests, répartis à parts égales entre les questions sans réponse et les questions répondables. Pour les éléments sans réponse dans UMWP, GPT-4o a généré les explications de base de pourquoi ils ne pouvaient pas être résolus.

Métriques

Les performances du modèle ont été mesurées à l’aide de quatre métriques: taux d’abstention, la part de questions sans réponse où le modèle s’abstient correctement en répondant « Je ne sais pas », comme indiqué; précision de la raison, le pourcentage de questions sans réponse où le modèle donne une explication valide de pourquoi la question ne peut pas être résolue; utilisation de jetons, détaillant le nombre de jetons générés pendant le raisonnement; et précision de la réponse, la part de questions répondables où le modèle produit la solution finale correcte.

Tests de référence

Étant donné qu’il n’existe pas de références standard pour ce problème, les chercheurs ont comparé leur méthode à deux alternatives, Dynasor-CoT et Dynamic Early Exit in Reasoning Models (DEER), en supposant que l’abstention correcte devrait être traitée comme la bonne réponse lorsque une question n’a pas de solution.

Dynasor-CoT invite les modèles à produire des réponses intermédiaires et s’arrête une fois que la même réponse apparaît trois fois de suite, tandis que DEER surveille la confiance au niveau de la phrase et arrête le raisonnement une fois qu’un seuil est atteint.

Une troisième référence, appelée Vanille, fait référence aux sorties de modèle non modifiées. Les tests ont utilisé les cinq variantes Qwen et DeepSeek mentionnées précédemment.

Les résultats agrégés sont illustrés ci-dessous:

Comparaison des différentes méthodes sur les questions répondables et non répondables à travers les grands modèles de raisonnement, avec les valeurs les plus élevées de chaque colonne en gras. Veuillez vous référer au document source pour une meilleure résolution.

La nouvelle approche a produit les taux d’abstention et de raisonnement précis les plus élevés sur les questions sans réponse. Pour les questions répondables, la précision est restée proche de celle des modèles vanille et a parfois été améliorée, suggérant que la résolution normale des problèmes n’a pas été compromise.

L’utilisation des jetons a également diminué de 30 % à 50 % dans les cas sans réponse, et a légèrement diminué dans les cas répondables, indiquant une plus grande efficacité.

Un lien a également été établi entre le taux d’abstention et la précision de la raison, puisque les modèles qui s’abstenaient plus souvent donnaient également de meilleures explications, que les auteurs interprètent comme une amélioration de la qualité du raisonnement.

Les modèles Qwen3 ont généralement surpassé les versions à distillation (quantifiées), tandis que les plus grands modèles ont montré une capacité d’abstention plus forte, indiquant que l’architecture et l’échelle sont toutes deux importantes pour une détection fiable de l’irrépondabilité.

Enfin, les auteurs rapportent que leur nouvelle méthode réduit les hallucinations et la fixation tout en augmentant le taux d’abstentions correctes, tandis que les approches de référence qui s’appuient uniquement sur les ‘sorties précoces’ conduisent parfois à plus de réponses fabriquées.

Ils rapportent également des gains en confiance et en fréquence des réponses « Je ne sais pas », avec une surveillance basée sur les signaux latents se révélant plus efficace que les stratégies qui dépendent de signaux comportementaux.

Conclusion

L’incapacité des LLM à s’abstenir de répondre à une requête, lorsque nécessaire, constitue l’un des principaux points de friction dans l’expérience utilisateur de l’IA générative, ne serait-ce que parce que d’autres particularités de l’interface donnent à l’utilisateur l’illusion que l’IA est capable de réponses circonspectes, alors qu’en réalité – du moins pour le moment – elle ne l’est généralement pas.

Une préoccupation concernant tout type d’intervention directe qui ne découle pas directement du « caractère » du modèle est qu’il peut être surexploité ou sous-exploité, selon que les activations détectées sont réellement pertinentes pour que le modèle admette la défaite.

De plus, le coût logistique de la surveillance des sondes linéaires n’est pas susceptible d’être négligeable, et il est possible que des méthodes heuristiques plus simples, similaires à celles qui bloquent le contenu interdit aux utilisateurs, puissent constituer une solution moins coûteuse, si les déclencheurs d’ancre peuvent être définis de manière adéquate.

* Naturellement, cela ne correspond pas au synonyme apparent ‘responsabilité’, mais définit plutôt si une question particulière peut être répondue ou non.

Publié pour la première fois le mercredi 27 août 2025