As Lutas do AI para Respeitar o Manual do Funcionário

Um novo benchmark descobriu que os agentes de IA do local de trabalho ignoram as regras da empresa, realizam ações proibidas, como demissões não autorizadas – e então relatam falsamente que cumpriram.

Um interessante novo estudo de pesquisa colocou os principais modelos LLM em uma posição em que devem seguir instruções em uma empresa simulada, respeitando todos os princípios de um manual do funcionário fornecido (criado por especialistas em domínio humano), bem como negociar torrentes de diretivas conflitantes ou confusas de subordinados e superiores, e realizar tarefas com base em PDFs, posts do Jira e outras plataformas e ferramentas familiares de um cenário de escritório humano típico.

Se você já trabalhou em um escritório (ou pelo menos viu Office Space), você reconhecerá os sinais contraditórios e a relação sinal-ruído confusa que os autores do novo trabalho lançaram nos modelos de linguagem:

A tempestade de variáveis que muitos funcionários de escritório devem lidar diariamente, destilada em um ambiente virtual para testar modelos agênticos de fronteira. Fonte

O desafio-chave que mesmo os sistemas de IA de ponta enfrentam aqui é a necessidade de reter o manual de Relações de Funcionários fornecido como um filtro para todos os comandos subsequentes. Se você já lutou para fazer com que o ChatGPT ou Claude lembrassem as instruções que você deu no início de uma sessão, você saberá que a janela de contexto do AI frequentemente faz com que ele esqueça os prompts anteriores e retorne, constantemente, ao seu comportamento padrão.

Isso é por que, nos testes, Claude Fable 5, GPT-5.5 e outros modelos líderes demitiram funcionários após receber ordens de um executivo que não tinha autoridade; aprovaram faturas sem a assinatura do gerente necessária; aceitaram resultados de laboratório expirados que a política da empresa rejeitava explicitamente; e então relataram que haviam seguido fielmente o manual – entre muitas outras infrações da política da empresa.

Os autores do novo trabalho afirmam:

‘As falhas seguem padrões consistentes: os agentes permitem que um pedido plausível no ambiente anule a política em vigor, realizam uma verificação necessária e então agem contra o seu resultado, perdem detalhes de regras ao longo de horizontes longos e relatam conformidade que não alcançaram.’

A análise de falha contém alguns exemplos divertidos: em uma tarefa de finanças, Claude Opus 4.8 descobriu corretamente que uma despesa de $7.500 havia sido aprovada pelo mesmo analista júnior que a submeteu, violando a política da empresa.

Ele então se raciocinou para acreditar que o analista era realmente o Controlador de Finanças e aprovou o pagamento de qualquer forma:

‘Tendo promovido ele a Controlador dentro de sua própria cadeia de pensamento, o modelo liberou o item, então enviou uma mensagem ao Controlador real para confirmar que todos os itens acima de $5.000 tinham aprovação documentada.

‘A falha não é uma capacidade ausente; todos os fatos necessários para a decisão correta haviam sido recuperados pelo modelo em si.’

Como Claude Opus 4.8 falhou em reconciliar $7.500.

Em outro lugar, Gemini 3.5 Flash submeteu documentos de seguro usando resultados de laboratório que já haviam expirado sem sequer abrir o relatório do laboratório, apesar da data de coleta aparecer no nome do arquivo em si:

‘Gemini 3.5 Flash submeteu a autorização prévia ao segurador sem uma única chamada de leitura contra o PDF do laboratório, então relatou que havia processado o caso “estrictamente de acordo com o Procedimento Operacional Padrão”.’

Ao longo do benchmark, os autores também descobriram que muitos modelos afirmaram confiantemente que haviam seguido todas as regras da empresa, enquanto citavam as próprias seções do manual que haviam acabado de violar.

Uma razão adicional extra frequentemente falhou; por exemplo, GPT-5.5 não mostrou melhoria com o aumento do esforço de raciocínio, enquanto alguns modelos realmente se saíram pior, aparentemente raciocinando-se para longe da decisão correta.

Nos resultados finais, Claude Fable 5 alcançou a maior taxa de aprovação estrita em 36,2%; GPT-5.6 Sol ficou em segundo lugar com 23,5%; e GPT-5.5 e Claude Opus 4.8 cada um marcou 21,5–21,9%.

A maioria dos modelos restantes avaliados marcou abaixo de 16%, e a maioria das configurações de fronteira marcou abaixo de 25% sob os critérios de avaliação estritos do benchmark:

O melhor agente de IA performado completou apenas um pouco mais de um terço das tarefas de local de trabalho do benchmark, enquanto a maioria dos modelos líderes falhou mais de três quartos sob avaliação estrita. Fonte

Como remediação, os autores argumentam que as políticas críticas da empresa devem ser aplicadas fora do AI usando guardas de ferramentas determinísticas (ou seja, verificações codificadas que bloqueiam ações proibidas), em vez de confiar apenas na memória de longo contexto sozinha.

Eles também propõem usar HANDBOOK.md como um benchmark padronizado para medir e acompanhar melhorias na adesão à política de longo contexto, à medida que futuros modelos agênticos são desenvolvidos.

O novo artigo é intitulado HANDBOOK.md: Um Benchmark para Seguimento de Instruções Agênticas de Longo Contexto, e vem de sete autores da surge.ai. O artigo é acompanhado por um repositório do GitHub que contém os arquivos Docker e outros requisitos para reproduzir os testes.

Método

Sessenta e cinco cenários de escritório simulados foram criados para o benchmark HANDBOOK.md, abrangendo finanças; RH; seguro; logística; e faturamento médico; e cada um coloca um modelo dentro de um ambiente de empresa contêinerizado que contém arquivos, e-mails, conversas do Slack, calendários, quadros do Jira e outras ferramentas de local de trabalho familiares.

Cada tarefa foi governada por um manual de entre 20 e 124 páginas, fornecido como documentos PDF, Word ou HTML, em vez de incorporado ao prompt, forçando os modelos a localizar, ler e aplicar as regras relevantes ao longo da tarefa.

Dez manuais base escritos por especialistas foram adaptados de políticas de indústria reais, após o que cada tarefa recebeu sua própria versão modificada com diferentes autoridades de aprovação, limiares e regras de procedimento, para prevenir memorização:

‘Especialistas em domínio escreveram os dez manuais base, adaptando políticas reais de suas indústrias. Cada um é um longo documento de operação multi-seção, em vez de uma lista de regras.

‘Um manual de RH representativo contém 19 seções numeradas: uma visão geral, definições, a equipe de RH e contatos, o mapa do canal do Slack, arquivos de referência e sistemas, taxonomias de solicitação, regras de triagem e encaminhamento, uma matriz de prioridade com SLAs, procedimentos para contratação, desligamento, licença, desempenho e contratação, caminhos de escalada, regras de manutenção de e-mail e uma biblioteca de modelos e formatos padrão necessários’

O sucesso foi medido com 824 verificações de verificação determinísticas baseadas em Python, cobrindo tanto ações requeridas quanto proibidas – permitindo que o benchmark detecte não apenas se uma tarefa foi concluída, mas também se a política da empresa foi violada ao longo do caminho.

Trinta configurações de modelo de 11 fornecedores foram avaliadas; e durante os testes, cada tarefa foi repetida quatro vezes sob condições idênticas.

Ao contrário dos benchmarks convencionais, HANDBOOK.md avaliou tanto se as ações necessárias foram concluídas quanto se as ações proibidas foram evitadas, permitindo que os agentes falhem, apesar de concluir a tarefa solicitada

Ambientes e Ferramentas

Cada local de trabalho simulado é projetado para ser executado dentro de um ambiente Docker padronizado, permitindo que cada modelo acesse o mesmo conjunto de ferramentas, enquanto impede que as diferenças na disponibilidade de software afetem os resultados. O benchmark apresenta aos agentes um espaço de trabalho de escritório realista, que inclui acesso a arquivos, além dos serviços de empresa mencionados anteriormente (ou seja, Gmail, Slack, etc.):

Uma representação aproximada do ambiente de escritório em que os modelos devem operar.

Os ambientes também preservam cada ação realizada pelo agente, permitindo que o sistema de avaliação determinística do benchmark avalie a sequência completa de ações que levam ao resultado final.

Métricas

O desempenho foi medido principalmente usando aprovação estrita@1, sob a qual uma tarefa foi considerada bem-sucedida apenas se todos os critérios de avaliação fossem atendidos. Qualquer requisito perdido ou violação de política resultaria em falha, refletindo configurações de empresa, onde uma ação incorreta pode invalidar um fluxo de trabalho de outra forma competente.

Uma métrica mais indulgente, aprovação@1 (N−1), também foi usada, na qual um critério falho foi permitido por tarefa, para que quase-acertos pudessem ser distinguidos de falhas completas.

Para análise adicional, a pontuação média por critério de cada modelo foi registrada, embora isso não tenha sido usado nas classificações principais do benchmark.

Aproche Geral

Dez manuais base escritos por especialistas foram adaptados de políticas de empresa reais, após o que cada um foi modificado em várias versões de tarefa específicas com diferentes correntes de aprovação, limiares e procedimentos. Ambientes de escritório realistas foram então construídos em torno de cada manual, que incluíam e-mails, calendários, conversas do Slack, planilhas e outros artefatos de local de trabalho.

Cada tarefa foi refinada por meio de testes repetidos até que os critérios de avaliação distinguíssem consistentemente falhas reais do modelo das falhas no próprio benchmark. Critérios que rejeitavam o comportamento correto ou admitiam soluções incorretas foram revisados antes do lançamento.

Testes e Resultados

Mesmo os modelos mais fortes falharam na maioria das tarefas sob o sistema de avaliação estrito do benchmark, com o desempenho distribuído por uma ampla faixa, em vez de se concentrar no topo:

A tabela de classificação inicial que classifica todas as 30 configurações de modelo avaliadas por suas pontuações de aprovação estrita@1 no benchmark HANDBOOK.md. As pontuações representam a porcentagem das 65 tarefas de local de trabalho do benchmark concluídas sem um único critério de avaliação falho em quatro tentativas por tarefa. Pontuações empatadas compartilham o mesmo rank.

As diferenças entre as configurações de raciocínio também variaram substancialmente por modelo, com raciocínio adicional às vezes melhorando o desempenho; às vezes não fazendo muita diferença; e às vezes reduzindo o desempenho:

‘O esforço de raciocínio ajuda de forma desigual. Aumentar o esforço melhora Opus 4.8 (+3.0), Sonnet 4.6 (+2.7) e Fable 5 (+2.0), deixa GPT-5.5 inalterado (21,5% em ambos os ajustes) e prejudica GLM 5.2 (−2,7).

‘O esforço adicional parece se converter em conformidade de regra apenas quando a falha subjacente é uma inferência perdida e não uma leitura perdida.’

Claude Fable 5 alcançou a pontuação mais alta em 36,2%, seguido por Claude Fable 5 em 34,2%, e GPT-5.6 Sol (máximo) em 23,5%. GPT-5.5 e Claude Opus 4.8 formaram o próximo nível, em torno de 20%, enquanto a maioria dos modelos de fronteira restantes marcou abaixo de 16%. Os modelos com classificação mais baixa concluíram menos de 2% das tarefas.

O detalhado análise de falha do artigo sugere que o problema frequentemente não era uma falta de informação, pois as regras relevantes do manual e as evidências de apoio haviam sido recuperadas com frequência – no entanto, o raciocínio adicional às vezes fazia com que os modelos abandonassem a conclusão correta em favor de uma plausível, mas violadora da política.

O trabalho também observa a extensão da auto-ilusão que caracteriza tantas das incursões do LLM:

‘Quase todas as trajetórias falhas terminam com uma declaração confiante de que o manual foi seguido, frequentemente citando as seções específicas que foram violadas. Os relatórios são detalhados, bem estruturados e errados […]

‘[…] Ao longo do benchmark, o relatório do agente é o artefato menos confiável na trajetória, o que importa para qualquer implantação que exiba resumos do agente para humanos como evidência do que foi feito.’

Em conclusão, os autores concludem que o raciocínio de longo contexto sozinho é improvável que torne a IA da empresa confiável para seguir a política da empresa. Em vez disso, a conformidade com a política deve ser cada vez mais aplicada por meio de controles externos determinísticos, além de guardrails de fluxo de trabalho.

Conclusão

Opinião Uma consideração interessante é a eventual extensão com que ambientes como os criados para os experimentos serão reimaginados para facilitar a IA, em vez de forçar os LLMs a interpretar as mesmas formas e formatos que definem os ambientes de escritório humanos. Por exemplo, ontem, pela primeira vez, um contato de negócios me enviou uma visão geral em .md projetada para ser explorada por um LLM, em vez de ser lida de forma linear.

E eu também estou cada vez mais adotando e adaptando as restrições visuais e textuais durante as conversas do LLM, bem como selecionando e aceitando formatos de arquivo que eu normalmente não escolheria, porque eles acomodam o fluxo de trabalho do LLM de forma mais ágil.

Portanto, embora seja divertido assistir aos modelos de fronteira tropeçarem no mundo de David Brent, alguém se pergunta se este é o cenário mais provável para o ‘trabalhador de escritório agêntico’.

Publicado pela primeira vez na quarta-feira, 29 de julho de 2026. Atualizado às 18h41, horário de verão da Europa Oriental, link quebrado corrigido.