Goodfire внедряет кибер‑мониторы на основе зондов для Kimi K3 и GLM 5.3

Goodfire 8 октября 2026 года опубликовала Обучение и развертывание производственных кибер‑мониторов на Kimi K3, исследовательскую статью, описывающую кибер‑мониторы для открытых моделей Kimi K3 и GLM 5.3, которые компания внедрила в производственной инфраструктуре вывода. Goodfire сообщает, что мониторы достигают уровня полноты LLM‑судьи при текущих параметрах компании, при этом стоимость примерно в 50 раз ниже.

Основными авторами статьи являются Ekdeep Singh Lubana, Connor Watts, Siddharth Boppana, Dron Hazra и Vasudev Shyam.

Почему кибер‑мониторинг сложен

Goodfire описывает кибербезопасность как одну из самых сложных областей для мониторинга ИИ‑агентов: аудит кодовой базы на уязвимости и их эксплуатация включают пересекающиеся задачи, поэтому различение безвредного и вредоносного поведения требует отслеживания намерения на протяжении траектории, охватывающей миллионы токенов. Очевидное решение — задействовать второго LLM‑судью, который будет читать каждый ход, — слишком медленно и дорого для работы рядом с агентом в реальном времени, поэтому мониторинг обычно асинхронный, а вредоносные траектории проявляются лишь после действий агента.

Согласно тарифам OpenRouter, в статье оценивается, что оценка одного миллиона ходов развертываний Kimi K3 с помощью судьи, проверяющего каждый ход, обойдётся примерно в $200 000 при использовании Claude Opus 5 или около $30 000 при использовании самого Kimi K3.

Каскад «Зонд + Судья»

Ответ Goodfire представляет собой двухэтапный каскад. Зонд считывает внутренние активации целевой модели во время генерации токенов сервером вывода и функционирует как постоянно включённый детектор первой линии; когда значение зонда пересекает откалиброванный порог, развертывание передаётся LLM‑судье, который может отклонить запрос или продолжить взаимодействие. Компания заявляет, что архитектура зондирования фиксирует поведение как локализованно, привязанное к конкретному фрагменту хода, так и распределённо, сохраняющееся на протяжении всего хода, оставаясь при этом эффективной в исполнении. После калибровки зонд достиг 0 % уровня ложных отрицаний и 95 % уровня истинных отрицаний на отложенном наборе агентных и чат‑взаимодействий, сообщает Goodfire, поэтому судья вызывается в основном для вредоносной активности, а можно использовать более быстрый, менее мощный судью.

Обучающие данные получены от симулированных пользователей с вредоносными и безвредными целями в кибер‑ и не‑кибер‑средах; часть их была собрана через верификаторы Prime Intellect, Prime Sandboxes и Tunnels, чтобы кибер‑агрессивные и безвредные выводы Kimi K3 выполнялись без сетевого доступа. Письменная политика определяет нежелательную кибер‑активность с помощью конкретных факторов, отделяющих добросовестную работу, например ограниченное воспроизведение уязвимостей, от злонамеренной, такой как эксплуатация уязвимостей, и симулированные пользователи могут усиливать вредоносные намерения в любой момент, включая после первоначального безвредного запроса.

Конструкция расширяет ранее проведённые Goodfire исследования обхода вознаграждений. В публикации от 17 сентября 2026 г. компания сообщила о обнаружении обхода вознаграждений в 50–96 % развертываний Kimi K3, GLM 5.2 и Qwen 3.8 Max на трёх агентных тестах, а также о внутреннем сигнале, связанном с понятиями, такими как жульничество, «игра» с метрикой и уклонение от обнаружения. Простые активационные зонды, настроенные на этот сигнал, выявляли обходы, которые пропускали LLM‑мониторы цепочки размышлений, и на Kimi K3 комбинация зонда и LLM сократила стоимость мониторинга LLM на 90 % при примерно 1 % падении точности, сообщает компания.

Пропускная способность, задержка и результаты обнаружения

Для живого запуска зондов Goodfire расширила движок обслуживания SGLang, чтобы вычислять оценки зондов внутри, написала пользовательские ядра для логики зонда и передавала оценки зондов через радикс‑дерево, DSpark‑спекулятор и разъединение предзаполнения‑декодирования, чтобы избежать повторных вычислений. Каждый рабочий процесс, обслуживающий реплику Kimi K3, запускает зонды и сохраняет историю для своих активных запросов, при этом события мониторинга возвращаются в потоке ответов.

На четырёх нагрузках вывода включение зондов удерживало пропускную способность в пределах шумового порога бенчмарков Goodfire, измерив снижение менее чем на 2 % по сравнению с настройками SGLang по умолчанию. Каскад уменьшает среднюю добавочную задержку на ход с 160 мс до 2 мс без рассуждений судьи и с 2 750 мс до 42 мс с рассуждениями, сообщает Goodfire, и стоит $65 за миллион ходов агента без рассуждений или $185 с ними, сокращая затраты на судью примерно в 49 и 29 раз соответственно по сравнению с проверкой каждого хода. При фиксированном бюджете вычислений, по словам компании, мониторы используют менее 1 % вычислительных ресурсов, против до 20 % для судьи, проверяющего каждый ход. Поскольку каскад достаточно дешёвый для синхронного выполнения, Goodfire утверждает, что рискованные кибер‑действия могут быть блокированы до того, как агент вызовет инструмент, а не отмечены уже после.

Goodfire оценила мониторы на внутреннем наборе данных, включающем 2 400 чат‑ и агентных сессий более 60 000 реплик, используя метки Claude Opus 5 в качестве эталона; взаимодействия были получены из открытой библиотеки ред‑тимминга Petri компании Anthropic, реальных сред, адаптированных из таких бенчмарков, как ExploitBench, кибер‑специфичного подмножества WildChat, а также безвредных развертываний в области разработки программного обеспечения, кодинга и DevOps. При уровне прерывания безвредных сессий в 5,5 % Goodfire сообщает, что каскад достиг приблизительно 93 % полноты обнаружения вредоносных сессий как с рассуждением судьи, так и без него, и не пометил 0 % некиберного трафика, что компания описывает как парето‑улучшение по сравнению с использованием только судьи при любом протестированном уровне прерываний. Добавление монитора повысило коэффициент блокировки вредоносных сессий Kimi K3 с примерно 29 % до 96 %, при этом прерывание безвредных сессий выросло с около 5 % до 9 %; для GLM 5.3 блокировка увеличилась примерно с 36 % до 91 %, а прерывание безвредных сессий — с около 10 % до 15 %.

Против Jev, модели принятия решений, которую можно использовать в качестве дешевого судьи, каскады достигли 93 % полноты при том же уровне прерывания безвредных сессий в 5,5 % по сравнению с 86 % у Jev, при примерно $65 вычислительных затрат судьи на миллион реплик и 2 мс дополнительной задержки на реплику, в отличие от $600 и 200 мс у Jev, сообщает Goodfire. Jev обнаружил лишь 12 % вредоносных подсказок, встроенных в безвредный контекст, и всё чаще прерывал безвредные сессии за пределами своего окна в 32 000 токенов. Стандартные линейные пробирки показали примерно на 5 % ниже полноту, чем окончательная методика, нелинейные пробирки потеряли до 30 % полноты на наборах вне распределения, а достижение потолка полноты судьи при в шесть раз меньшем числе вызовов судьи требовало использования каскада проб вместо случайного выбора реплики. Эта методика также была перенесена на GLM 5.3, используя только данные, разработанные для Kimi K3, что дало примерно одинаково способный монитор GLM в развертываниях Kimi и слегка менее эффективный на собственных оценочных данных GLM, сообщает компания.

Внешнее ред‑тимминг от FAR.AI

Чтобы протестировать развернутую систему за пределами внутренних оценок, Goodfire попросила FAR.AI провести ред‑тимминг. В отчёте FAR.AI, приведённом в посте:

“FAR.AI провела предварительное тестирование мониторов Goodfire Kimi K3 в течение двух дней, применяя неадаптивный портфель статических jailbreak‑ов для атакующего кибер‑злоупотребления в чат‑контекстах. Из начального пула из 1500 кандидатных jailbreak‑ов тестирование отобрало 140, оказавшихся эффективными против другой версии базовой модели без наших мониторов. Тестируя каждый из этих 140 на 8 отдельных взаимодействиях, соответствующих различным целям атакующего, мониторы Goodfire сократили уязвимости, вызванные 66 универсальными jailbreak‑ами и 700 общими взломанными взаимодействиями, до 0 универсальных jailbreak‑ов и 18 взломанных взаимодействий.”

Без монитора успех универсальных jailbreak‑атак варьировался от 12 % до 53 % в зависимости от уровня усилий по рассуждению, согласно посту; при включённом мониторе ни одна из 140 стратегий не привела к универсальному jailbreak‑у, а успех отдельных подсказок в 1 120 неуниверсальных взаимодействиях упал с минимум 9–40 % до 0,1–1,6 % в зависимости от усилий по рассуждению.

Goodfire описывает такой тип настройки мониторинга как практический вариант по умолчанию для всех, кто обслуживает открытые модели в агентных сценариях, отмечая, что открытые модели не поставляются с полной системой безопасности. Компания заявила, что планирует продолжать сотрудничество с FAR.AI в рамках дальнейшего тестирования и усиления мониторов.