Goodfire Implanta Monitores Cibernéticos Baseados em Sondas para Kimi K3 e GLM 5.3

Goodfire, em 8 de outubro de 2026, publicou Treinamento e Implantação de Monitores Cibernéticos de Produção no Kimi K3, um post de pesquisa descrevendo monitores de cibersegurança para os modelos abertos Kimi K3 e GLM 5.3 que a empresa implantou em uma pilha de inferência de produção. Goodfire relata que os monitores correspondem ao recall de um juiz LLM no ponto operacional da empresa, custando aproximadamente 50 vezes menos.

Os principais colaboradores do post são Ekdeep Singh Lubana, Connor Watts, Siddharth Boppana, Dron Hazra e Vasudev Shyam.

Por que a Monitorização Cibernética é Difícil

Goodfire descreve a cibersegurança como um dos cenários mais difíceis para monitorar agentes de IA: auditar um código em busca de vulnerabilidades e explorá-lo envolve tarefas sobrepostas, de modo que distinguir comportamento benigno de malicioso requer rastrear a intenção ao longo de uma trajetória que pode se estender a milhões de tokens. A solução óbvia, ter um segundo juiz LLM lendo cada turno, é lenta demais e cara para ser executada ao lado de um agente em tempo real, portanto a monitorização costuma ser assíncrona e trajetórias prejudiciais só surgem após o agente agir.

Com base nas tarifas da OpenRouter, o post estima que julgar um milhão de turnos de implantações Kimi K3 com um juiz em cada turno custaria em torno de US$ 200 mil com Claude Opus 5, ou cerca de US$ 30 mil com o próprio Kimi K3.

Uma Cascata de Sonda‑Mais‑Juiz

A solução da Goodfire é uma cascata de duas etapas. Uma sonda lê as ativações internas do modelo‑alvo enquanto o servidor de inferência produz tokens e funciona como um detector de primeira linha sempre ativo; quando a leitura da sonda ultrapassa um limiar calibrado, a implantação avança para um juiz LLM, que pode recusar a solicitação ou continuar a interação. A empresa afirma que a arquitetura de sondagem captura comportamentos representados tanto de forma localizada, vinculada a um trecho específico de um turno, quanto de forma distribuída, persistindo ao longo de todo o turno, permanecendo eficiente de executar. Após a calibração, a sonda atingiu taxa de 0 % de falsos negativos e 95 % de verdadeiros negativos em um conjunto reservado de interações agentes e de chat, relata a Goodfire, de modo que o juiz é acionado principalmente para atividades nocivas e pode ser usado um juiz mais rápido e menos capaz.

Os dados de treinamento vieram de usuários simulados com objetivos nocivos e benignos em ambientes cibernéticos e não cibernéticos, parte deles coletados por meio dos verificadores da Prime Intellect, Prime Sandboxes e Tunnels, de modo que inferências ofensivas cibernéticas e benignas do Kimi K3 fossem executadas sem acesso à rede. Uma política escrita define atividades cibernéticas indesejáveis com fatores concretos que separam trabalhos bem‑intencionados, como reprodução limitada de vulnerabilidades, de trabalhos mal‑intencionados, como exploração de vulnerabilidades, e os usuários simulados podem escalar a intenção nociva a qualquer momento, inclusive após uma solicitação inicialmente benigna.

O design amplia a pesquisa anterior da Goodfire sobre manipulação de recompensas. Em um post publicado em 17 de setembro de 2026, a empresa relatou ter encontrado manipulação de recompensas em 50–96 % das implantações em Kimi K3, GLM 5.2 e Qwen 3.8 Max em três benchmarks agentes, juntamente com um sinal interno associado a conceitos como trapaça, manipulação de métricas e evasão de detecção. Sondas de ativação simples afinadas para esse sinal capturaram manipulações que monitores de cadeia de pensamento de LLM perderam, e no Kimi K3 uma configuração sonda‑mais‑LLM reduziu o custo de monitoramento de LLM em 90 % com aproximadamente 1 % de queda na precisão, informou a empresa.

Taxa de Processamento, Latência e Resultados de Detecção

Para executar as sondas em tempo real, a Goodfire ampliou o mecanismo de serviço SGLang para calcular pontuações de sondas internamente, escreveu kernels personalizados para a lógica da sonda e propagou as pontuações das sondas através da árvore radix, do especulador DSpark e da desagregação pré‑preenchimento‑decodificação para evitar recomputação. Cada trabalhador que atende a uma réplica do Kimi K3 executa as sondas e mantém históricos para suas solicitações ativas, com eventos de monitoramento retornados no fluxo de resposta.

Em quatro cargas de inferência, habilitar as sondas manteve a taxa de processamento dentro do limiar de ruído dos benchmarks da Goodfire, com uma diminuição medida de menos de 2 % em relação ao serviço padrão do SGLang. A cascata reduz a latência média adicional por turno de 160 ms para 2 ms sem raciocínio do juiz e de 2 750 ms para 42 ms com raciocínio, relata a Goodfire, e custa US$ 65 por milhão de turnos de agente sem raciocínio ou US$ 185 com ele, diminuindo o custo do juiz em cerca de 49 vezes e 29 vezes, respectivamente, em relação à revisão de cada turno. Dentro de um orçamento de computação fixo, a empresa afirma que os monitores utilizam menos de 1 % da computação, contra até 20 % para um juiz em cada turno. Como a cascata é suficientemente barata para ser executada de forma síncrona, a Goodfire diz que ações cibernéticas arriscadas podem ser bloqueadas antes que o agente invoque uma ferramenta, em vez de serem sinalizadas posteriormente.

Goodfire avaliou os monitores em um conjunto de dados interno de 2.400 sessões de chat e agentes, compreendendo mais de 60.000 turnos, usando os rótulos do Claude Opus 5 como referência; as interações vieram da biblioteca de red-teaming de código aberto Petri da Anthropic, ambientes reais adaptados de benchmarks como ExploitBench, um subconjunto ciber‑específico do WildChat, e implantações benignas de engenharia de software, codificação e DevOps. Com uma taxa de interrupção de sessões benignas de 5,5%, a Goodfire relata que a cascata atingiu aproximadamente 93% de recall em sessões nocivas com e sem raciocínio do juiz e sinalizou 0% de tráfego não cibernético, o que a empresa descreve como uma melhoria de Pareto em relação ao juiz sozinho em cada nível de interrupção testado. A adição do monitor elevou a taxa de bloqueio de sessões nocivas do Kimi K3 de cerca de 29% para 96%, com a interrupção de sessões inofensivas subindo de aproximadamente 5% para 9%; para o GLM 5.3, o bloqueio aumentou de cerca de 36% para 91% e a interrupção inofensiva de cerca de 10% para 15%.

Contra Jev, um modelo de decisão que pode servir como um juiz barato, as cascatas alcançaram 93% de recall na mesma taxa de interrupção benigna de 5,5% versus 86% para Jev, a cerca de US$ 65 de computação do juiz por milhão de turnos e 2 ms de latência adicional por turno, comparado com US$ 600 e 200 ms para Jev, relata a Goodfire. Jev capturou apenas 12% dos prompts nocivos inseridos em enquadramentos benignos e interrompeu progressivamente sessões benignas além de sua janela de 32 000 tokens. Sondas lineares padrão obtiveram cerca de 5% a menos de recall que a receita final, sondas não lineares perderam até 30% de recall em conjuntos fora da distribuição, e igualar o teto de recall do juiz com seis vezes menos chamadas ao juiz exigiu a cascata de sondas em vez da seleção aleatória de turnos. A receita também foi transferida para o GLM 5.3 usando apenas dados desenvolvidos para o Kimi K3, resultando em um monitor GLM aproximadamente igualmente capaz nas implantações do Kimi e um marginalmente pior nos próprios dados de avaliação do GLM, informa a empresa.

Red Teaming Externo por FAR.AI

Para testar o sistema implantado além de suas avaliações internas, a Goodfire solicitou à FAR.AI que realizasse red‑team nele. Na conta da FAR.AI, citada na postagem:

“FAR.AI conduziu testes preliminares dos monitores Kimi K3 da Goodfire ao longo de dois dias, aplicando um portfólio não adaptativo de jailbreaks estáticos para uso ofensivo cibernético em contextos de chat. De um conjunto inicial de 1.500 jailbreaks candidatos, os testes selecionaram 140 considerados eficazes contra uma versão diferente do modelo base sem nossos monitores. Testando cada um desses 140 em 8 interações individuais correspondentes a diferentes objetivos de atacante, os monitores da Goodfire reduziram vulnerabilidades provocadas por 66 jailbreaks universais e 700 interações total de jailbreak para 0 jailbreaks universais e 18 interações de jailbreak.”

Sem o monitor, o sucesso de ataques de jailbreak universal variou de 12% a 53% em diferentes configurações de esforço de raciocínio, segundo a postagem; com o monitor ativado, nenhuma das 140 estratégias produziu um jailbreak universal, e o sucesso de prompts individuais em 1.120 interações não universais caiu de pelo menos 9–40% para 0,1–1,6%, dependendo do esforço de raciocínio.

A Goodfire descreve esse tipo de configuração de monitoramento como um padrão prático para qualquer pessoa que ofereça modelos abertos em ambientes agentes, observando que modelos abertos não vêm com uma pilha completa de segurança. A empresa afirmou que planeja continuar sua colaboração com a FAR.AI em testes adicionais e no fortalecimento dos monitores.