Por Que a IA Não Pode Apenas Admitir Que Não Conhece a Resposta?

Modelos de linguagem grandes frequentemente fornecem respostas confiantes, mesmo quando a pergunta não pode ser respondida. Uma nova pesquisa mostra que esses modelos frequentemente reconhecem o problema internamente, mas ainda assim prosseguem e inventam uma resposta, exposto uma lacuna oculta entre o que eles sabem e o que dizem.

Qualquer pessoa que tenha passado um tempo razoável com um modelo de linguagem grande, como o ChatGPT ou a série Qwen, terá experimentado ocasiões em que o modelo forneceu uma resposta errada (que pode ou não ter tido consequências catastróficas locais, dependendo de quanto você confiou nele) – e, quando o erro se tornou claro, ele simplesmente emitiu um pedido de desculpas.

Por que os principais LLMs têm tanta dificuldade em admitir que não conhecem a resposta para uma pergunta é uma área de estudo pequena, mas em crescimento. Uma resposta “confiante, mas errada” pode ser particularmente prejudicial em uma interface baseada em API altamente censurada e filtrada, como o ChatGPT, porque esses modelos bloqueiam agressivamente entradas ou saídas NSFW ou “que violam regras”, porque esses modelos bloqueiam agressivamente entradas ou saídas NSFW ou “que violam regras”.

Isso pode dar ao usuário a falsa impressão de que o modelo é decisivo e cardinal, quando, na verdade, a recusa veio de um filtro tradicional baseado em heurística ou lista de bloqueio, projetado para limitar a exposição legal da empresa hospedeira a todo custo, e não de qualquer insight da IA.

Do artigo de junho de 2025 ‘AbstentionBench’ da FAIR na Meta – à esquerda, a figura destaca a gama de tipos de falha capturados no AbstentionBench, que testa o comportamento do modelo em mais de 35.000 perguntas sem resposta; no meio, um exemplo mostra como os modelos frequentemente respondem com respostas fabricadas em vez de admitir que não têm informações suficientes; e à direita, a recorrência de abstenção diminui quando os modelos são ajustados para raciocínio em vez de seguir instruções. Fonte: https://arxiv.org/pdf/2506.09038

Um novo artigo da China afirma que os modelos LLM na verdade sabem secretamente que não podem responder a uma pergunta feita pelo usuário, mas que, no entanto, são compelidos a produzir algum tipo de resposta, na maioria das vezes, em vez de ter confiança suficiente para decidir que uma resposta válida não está disponível devido à falta de informações do usuário, ou às limitações do modelo, ou por outros motivos.

O artigo afirma:

‘[Nós] mostramos que [LLMs] possuem capacidades cognitivas suficientes para reconhecer os defeitos nessas perguntas. No entanto, eles falham em exibir um comportamento de abstenção apropriado, revelando um desalinhamento entre sua cognição interna e resposta externa.’

Os pesquisadores desenvolveram uma abordagem leve de duas etapas que usa monitoramento cognitivo/sondagem para verificar o processo interno do LLM para indicações de que ele reconhece que não pode fornecer uma resposta; e, em seguida, intervém para garantir que a natureza “útil” do modelo não agrave os problemas do usuário, levando-o por um caminho cego ou até destrutivo.

O estudo usa questões matemáticas propositadamente subespecificadas para testar se os modelos podem reconhecer quando uma resposta é desconhecida; mas essa configuração arrisca enquadrar a tarefa como um “truque”. Na realidade, os modelos enfrentam muitos mais motivos rotineiros para se abster em conversas, desde frases ambíguas até lacunas no conhecimento de domínio.

O novo trabalho é intitulado Responder ao Inrespondível é Errar Conscientemente: Analisando e Mitigando Falhas de Abstenção em Modelos de Raciocínio Grande, e vem de quatro pesquisadores da State Key Laboratory for Novel Software Technology e do National Institute of Healthcare Data Science da Universidade de Nanjing.

Método

(Como não há rivais apropriados para competir com a abordagem dos autores em testes, e como o artigo, portanto, segue um formato ligeiramente não convencional, bem como não indexa suas citações ao padrão usual, vamos tentar segui-lo da melhor forma possível.)

Em linha com abordagens anteriores, os autores se concentraram em apresentar LLMs com questões matemáticas sem resposta do Synthetic Unanswerable Math (SUM) conjunto de dados, avaliando cinco famílias de modelos: do DeepSeek range, R1-Distill-Llama-8B; R1-Distill-Qwen-7B, R1-Distill-Qwen-14B; e, da série Qwen, Qwen3-8B, bem como Qwen3-14B.

As questões sem resposta no SUM foram criadas removendo ou corrompendo elementos essenciais de cinco maneiras: excluindo informações-chave; introduzindo ambiguidade; impondo condições irrealistas; referenciando objetos não relacionados; ou removendo a pergunta inteira.

Em seguida, uma amostra de 1.000 desses casos foi selecionada para análise, com GPT-4o usado para gerar explicações concisas para servir como razões de base.

As respostas do modelo às questões sem resposta foram avaliadas usando prompts padronizados com um orçamento de 10.000 tokens, durante o qual três principais padrões de comportamento foram observados: no primeiro, o modelo identificou a pergunta como insolúvel e se absteve – geralmente respondendo com uma expressão explícita de incerteza; no segundo, produziu uma resposta completa inventando informações ausentes, como introduzir uma inexistente cobrança de manuseio de $9,99 para justificar um resultado final (veja imagem abaixo); No terceiro, referido como fixação cognitiva, o modelo ficou preso em um loop de raciocínio estendido, persistindo com caminhos de solução inválidos, mesmo após implicitamente reconhecer que a pergunta carecia de uma resposta viável:

Resultados de respostas variadas para uma pergunta impossível.

O artigo apresenta uma tendência na qual os modelos maiores parecem se abster mais frequentemente de responder a perguntas sem resposta, com declínios em respostas alucinadas e comportamentos de fixação:

Quebra de respostas do modelo para problemas matemáticos sem resposta, mostrando a frequência relativa de abstenções corretas, respostas alucinadas e fixação cognitiva em diferentes escalas de modelo.

No entanto, essa mudança é limitada em escala e deixa uma parte significativa de casos não resolvidos por meio de abstenção correta, sugerindo que a capacidade aumentada sozinha não produz necessariamente um comportamento mais cauteloso.

Consciência de Impasse

Para testar se os modelos de linguagem podem dizer quando uma pergunta realmente não tem resposta, os pesquisadores interromperam a parte de raciocínio do modelo no meio e perguntaram ou por uma resposta final ou por uma explicação de por que a pergunta era sem resposta.

Para os casos em que o modelo continuou raciocinando infinitamente, eles o pausaram na palavra ‘wait’ e solicitaram uma resposta; para os casos em que o modelo rapidamente alucinou uma resposta, eles inseriram uma pausa em uma fronteira de parágrafo.

O gráfico à esquerda mostra com que frequência os modelos dão abstenções corretas quando interrompidos no meio do raciocínio, com taxas mais altas para casos de fixação do que para respostas alucinadas. O gráfico à direita mostra que a maioria dos modelos pode explicar por que uma pergunta é sem resposta quando solicitado, mesmo que suas respostas finais não refletam essa compreensão.

Em muitos desses casos, o modelo deu uma abstenção correta ou uma explicação clara, mesmo que tivesse produzido anteriormente uma resposta errada. Os autores sugerem que isso indica que o modelo muitas vezes reconhece o problema durante seu raciocínio, mas falha em agir com base nessa consciência em sua saída final.

Lendo a Mente de um LLM

Para testar se os modelos de linguagem internamente rastreiam se uma pergunta é respondível, os pesquisadores treinaram pequenos classificadores nos ativações ocultas do modelo durante o raciocínio, permitindo que eles verifiquem se a distinção entre perguntas respondíveis e sem resposta já estava presente nos sinais internos do modelo – mesmo que não refletida em sua saída final.

Com base na ideia de que conceitos de alto nível, como veracidade ou gênero, podem ser linearmente incorporados em ativações do modelo, ‘respondibilidade’ foi testada para representação semelhante.

Classificadores lineares simples (sondas) foram treinados em ativações ocultas em diferentes camadas do modelo, usando saídas do mecanismo de atenção multi-cabeça logo antes da conexão residual.

Cada sonda foi treinada para distinguir entre perguntas respondíveis e sem resposta com base em ativações internas do processo de raciocínio. A entrada consistia em 2.200 pares de perguntas amostrados do conjunto de dados SUM, com 2.000 usados para treinamento e 200 para validação.

Na hora da inferência, a previsão do modelo foi média nos tokens vistos até aquele ponto na sequência de raciocínio, permitindo que a sonda rastreasse como os sinais relacionados à respondibilidade emergiam ao longo do tempo:

Acurácia de classificação de sondas lineares treinadas para distinguir entre perguntas respondíveis e sem resposta, medida em diferentes pontos do processo de raciocínio. A acurácia melhora geralmente à medida que o raciocínio progride, com modelos maiores atingindo mais de 85% nos estágios finais.

Como mostrado acima, a acurácia da sonda melhorou constantemente à medida que o raciocínio se desenrolou, com a maioria dos modelos excedendo 80% de acurácia de classificação nos estágios finais – evidência de que, mesmo quando o comportamento externo do modelo não reflete isso, as representações internas frequentemente carregam um sinal claro indicando se uma pergunta pode ser respondida.

Insistência Teimosa

Embora os resultados anteriores sugiram que os grandes modelos de linguagem frequentemente reconhecem quando uma pergunta não pode ser respondida, o artigo observa que eles ainda tendem a continuar gerando uma resposta em vez de se abster.

Para investigar esse desalinhamento, os pesquisadores analisaram a confiança do modelo em se abster em pontos específicos durante o processo de raciocínio, comparando a confiança do modelo em três categorias de saída: abstenção correta; resposta alucinada; e fixação cognitiva.

Amostras de tamanho igual foram usadas para cada categoria, com confiança definida como a probabilidade média máxima atribuída a cada token de saída durante as etapas de decodificação, com base em uma formulação de trabalho anterior. Como mostrado no gráfico abaixo, tanto as respostas alucinadas quanto os casos de fixação cognitiva mostraram confiança de abstenção mais baixa em comparação com a abstenção correta:

Níveis de confiança associados à produção da resposta de abstenção ‘Não sei’ em diferentes tipos de respostas.

Os pesquisadores também mediram com que frequência os modelos produziam uma resposta ‘Não sei’ durante o processo de raciocínio. O gráfico abaixo indica que os casos de abstenção correta renderam frequência de abstenção mais alta, enquanto as outras duas categorias produziram essas respostas com menos frequência:

A frequência de respostas ‘Não sei’ observadas em pontos de parada durante o raciocínio, mostradas para diferentes tipos de resultados de resposta.

Essas descobertas sugerem, segundo os autores, que, embora os modelos possam detectar a falta de resposta internamente, eles frequentemente carecem da confiança para agir com base nessa consciência, indicando uma preferência persistente por completar a tarefa em vez de admitir incerteza.

Testes

Com base nesses achados, os pesquisadores desenvolveram um método de duas partes projetado para melhorar a abstenção. A primeira etapa, monitoramento cognitivo, rastreia os estados ocultos do modelo durante a inferência, segmentando o processo de raciocínio em unidades naturais, como cláusulas ou pausas, marcadas por palavras como ‘wait’.

No final de cada segmento, uma sonda leve e linear treinada em sinais internos ligados à respondibilidade estima a probabilidade de que a pergunta não possa ser respondida. Se essa probabilidade ultrapassa um limiar definido, o processo avança para a segunda etapa: uma intervenção no tempo de inferência que direciona o modelo para se abster em vez de alucinar uma resposta.

Quando o modelo mostra sinais internos de que uma pergunta não pode ser respondida, o raciocínio é interrompido com uma intervenção que reforça essa consciência e aumenta a probabilidade de abstenção. Como mostrado abaixo, a intervenção representa um ‘prompt de orientação’ que lembra ao modelo que a pergunta pode não ter uma resposta válida:

Um prompt para condicionar a intervenção no tempo de inferência.

O método também incorpora um mecanismo de saída antecipada que impede que a sequência de raciocínio continue desnecessariamente, encorajando o modelo a considerar a abstenção como uma escolha legítima e, às vezes, preferível.

Para uma fase de teste, os pesquisadores usaram dois conjuntos de dados: Unanswerable Math Word Problem (UMWP) e o mencionado SUM.

O conjunto de teste do SUM foi usado para esse propósito, contendo 284 perguntas sem resposta e 284 perguntas respondíveis manualmente verificadas. O UMWP foi construído a partir de quatro fontes de problemas de palavras matemáticas: SVAMP; MultiArith; Grade School Math (GSM8K); e ASDiv.

O conjunto de dados completo compreendia 5.200 problemas, com 600 amostrados para teste, divididos igualmente entre perguntas sem resposta e respondíveis. Para os itens sem resposta no UMWP, o GPT-4o gerou as explicações de base da verdade de por que não podiam ser resolvidos.

Métricas

O desempenho do modelo foi medido usando quatro métricas: taxa de abstenção, a parcela de perguntas sem resposta em que o modelo se absteve corretamente respondendo “Não sei”, como instruído; precisão da razão, o percentual de perguntas sem resposta em que o modelo forneceu uma explicação válida de por que a pergunta não podia ser respondida; uso de token, detalhando o número de tokens gerados durante o raciocínio; e precisão da resposta, a parcela de perguntas respondíveis em que o modelo produziu a solução final correta.

Testes de Referência

Como não existem referências padrão para esse problema, os pesquisadores compararam seu método com duas alternativas, Dynasor-CoT e Saída Antecipada Dinâmica em Modelos de Raciocínio (DEER), com a suposição de que a abstenção correta deve ser tratada como a resposta certa quando uma pergunta não tem solução.

Dynasor-CoT instrui os modelos a produzir respostas intermediárias e para quando a mesma resposta aparece três vezes em sequência, enquanto DEER monitora a confiança no nível de sentença e para o raciocínio quando um limiar é atingido.

Um terceiro baseline, chamado Vanilla, refere-se às saídas do modelo não modificadas. Os testes utilizaram as cinco variantes Qwen e DeepSeek mencionadas anteriormente.

Os resultados agregados são ilustrados abaixo:

Comparação de diferentes métodos em perguntas respondíveis e sem resposta em modelos de raciocínio grandes, com os valores mais altos em cada coluna mostrados em negrito. Por favor, consulte o artigo original para uma melhor resolução.

A nova abordagem produziu as taxas mais altas de abstenção e raciocínio preciso em perguntas sem resposta. Para perguntas respondíveis, a precisão permaneceu próxima à dos modelos vanilla e, às vezes, melhorou, sugerindo que a resolução normal de problemas não foi prejudicada.

O uso de tokens também caiu 30% a 50% em casos sem resposta e diminuiu ligeiramente em casos respondíveis, apontando para uma maior eficiência.

Um link também foi visto entre a taxa de abstenção e a precisão da razão, pois os modelos que se abstiveram mais frequentemente também deram explicações melhores, que os autores interpretam como indicando uma melhoria na qualidade do raciocínio.

Os modelos Qwen3 geralmente superaram as versões baseadas em distilação (quantizadas), enquanto os modelos maiores mostraram uma capacidade de abstenção mais forte, indicando que tanto a arquitetura quanto a escala importam para a detecção confiável de falta de resposta.

Finalmente, os autores relatam que seu novo método reduz alucinações e fixação, enquanto aumenta a taxa de abstenções corretas, enquanto as abordagens de referência que dependem apenas de ‘saídas antecipadas’ às vezes levam a mais respostas alucinadas.

Eles também relatam ganhos tanto na confiança quanto na frequência de respostas “Não sei”, com o monitoramento baseado em sinais latentes provando ser mais eficaz do que estratégias que dependem de sinais comportamentais.

Conclusão

A incapacidade dos LLMs de se abster de responder a uma consulta, quando necessário, é um dos principais pontos de fricção na experiência do usuário de IA gerativa, não menos porque outros traços da interface dão ao usuário a ilusão de que a IA é capaz de respostas circunspectas, quando – pelo menos no momento – geralmente não é.

Uma preocupação sobre qualquer tipo direto de intervenção que não proceda diretamente do ‘caráter’ do modelo é que ele pode ser super ou subutilizado, dependendo se as ativações detectadas são realmente relevantes para o modelo conceder a derrota.

Além disso, o custo logístico do monitoramento da sonda linear não é provável que seja insignificante, e é possível que métodos heurísticos mais simples, semelhantes àqueles que gate-keep conteúdo banido para os usuários, possam ser uma solução mais barata, se os gatilhos de âncora puderem ser definidos adequadamente.

* Naturalmente, isso não está de acordo com o sinônimo aparente ‘responsabilidade’, mas define se uma pergunta específica pode ser respondida ou não.

Publicado pela primeira vez na quarta-feira, 27 de agosto de 2025