Goodfire setzt probe-basierte Cyber‑Monitore für Kimi K3 und GLM 5.3 ein

Goodfire veröffentlichte am 8. Oktober 2026 Schulung und Bereitstellung von Produktions‑Cyber‑Monitoren für Kimi K3, einen Forschungsbeitrag, der Cyber‑Sicherheits‑Monitore für die offenen Modelle Kimi K3 und GLM 5.3 beschreibt, die das Unternehmen in einem Produktions‑Inference‑Stack eingesetzt hat. Goodfire berichtet, dass die Monitore die Trefferquote eines LLM‑Richters am Betriebspunkt des Unternehmens erreichen, dabei jedoch etwa 50‑mal weniger kosten.

Die Hauptbeitragenden des Beitrags sind Ekdeep Singh Lubana, Connor Watts, Siddharth Boppana, Dron Hazra und Vasudev Shyam.

Warum Cyber‑Monitoring schwierig ist

Goodfire beschreibt Cyber‑Sicherheit als eines der schwierigsten Einsatzgebiete für die Überwachung von KI‑Agenten: Das Prüfen eines Codebestands auf Schwachstellen und das Ausnutzen derselben umfassen überlappende Aufgaben, sodass die Unterscheidung zwischen harmlosen und bösartigen Verhaltensweisen das Verfolgen von Intent über eine Trajektorie erfordert, die sich über Millionen von Tokens erstrecken kann. Die offensichtliche Lösung, einen zweiten LLM‑Richter jede Eingabe prüfen zu lassen, ist zu langsam und zu kostenintensiv, um in Echtzeit neben einem Agenten zu laufen, weshalb das Monitoring meist asynchron erfolgt und schädliche Trajektorien erst nach dem Handeln des Agenten sichtbar werden.

Basierend auf den OpenRouter‑Tarifen schätzt der Beitrag, dass die Bewertung von einer Million Turns von Kimi K3-Rollouts mit einem Richter für jeden Turn Kosten in Höhe von etwa 200.000 $ mit Claude Opus 5 oder etwa 30.000 $ mit Kimi K3 selbst verursachen würde.

Eine Probe‑plus‑Richter‑Kaskade

Goodfires Lösung ist eine zweistufige Kaskade. Eine Sonde liest die internen Aktivierungen des Zielmodells, während der Inferenz‑Server Tokens erzeugt, und fungiert als stets aktivierter Erstdetektor; überschreitet die Ausgabe der Sonde einen kalibrierten Schwellenwert, wird das Rollout an einen LLM‑Richter weitergeleitet, der die Anfrage ablehnen oder die Interaktion fortsetzen kann. Das Unternehmen erklärt, dass die Sonden‑Architektur Verhaltensweisen sowohl in lokalisierter Form – gebunden an ein bestimmtes Chunk eines Turns – als auch in verteilter Form, die über einen gesamten Turn hinweg bestehen, erfasst und dabei effizient bleibt. Nach der Kalibrierung erreichte die Sonde eine Falsch‑Negativ‑Rate von 0 % und eine Wahr‑Negativ‑Rate von 95 % auf einem zurückgehaltenen Datensatz agentischer und Chat‑Interaktionen, berichtet Goodfire, sodass der Richter hauptsächlich bei schädlichem Verhalten eingeschaltet wird und ein schnellerer, weniger leistungsfähiger Richter eingesetzt werden kann.

Die Trainingsdaten stammen von simulierten Nutzern mit schädlichen und harmlosen Zielen in Cyber‑ und Nicht‑Cyber‑Umgebungen; ein Teil davon wurde über die Verifier von Prime Intellect, Prime Sandboxes und Tunnels gesammelt, sodass cyber‑offensive und harmlose Kimi‑K3‑Inference ohne Netzwerkzugriff durchgeführt werden konnten. Eine schriftliche Richtlinie definiert unerwünschte Cyber‑Aktivitäten anhand konkreter Kriterien, die gut gemeinte Arbeiten, wie begrenzte Reproduktion von Schwachstellen, von böswilligen Arbeiten, wie Ausnutzung von Schwachstellen, unterscheiden, und simulierte Nutzer können schädliche Absichten jederzeit eskalieren, auch nach einer zunächst harmlosen Anfrage.

Das Design erweitert Goodfires frühere Forschung zu Reward‑Hacking. In ein Beitrag veröffentlicht am 17. September 2026 berichtete das Unternehmen, dass Reward‑Hacking in 50–96 % der Rollouts über Kimi K3, GLM 5.2 und Qwen 3.8 Max auf drei agentische Benchmarks gefunden wurde, zusammen mit einem internen Signal, das mit Konzepten wie Betrug, Manipulation einer Metrik und Vermeidung von Erkennung verbunden ist. Einfache Aktivierungs‑Sonden, die auf dieses Signal abgestimmt sind, erfassten Hacks, die LLM‑Chain‑of‑Thought‑Monitore verpassten, und bei Kimi K3 reduzierte eine Probe‑plus‑LLM‑Konfiguration die Kosten des LLM‑Monitorings um 90 % bei etwa einem 1 %igen Rückgang der Präzision, berichtete das Unternehmen.

Durchsatz, Latenz und Erkennungsresultate

Um die Sonden live auszuführen, erweiterte Goodfire die SGLang‑Serving‑Engine, sodass Probe‑Scores intern berechnet werden, schrieb benutzerdefinierte Kernel für die Sonden‑Logik und leitete die Probe‑Scores durch den Radix‑Baum, den DSpark‑Spekulanten und die Pre‑Fill‑Decode‑Disaggregation weiter, um Wiederholungsberechnungen zu vermeiden. Jeder Worker, der eine Kimi‑K3‑Replik bedient, führt die Sonden aus und führt Historien für seine aktiven Anfragen, wobei Monitoring‑Ereignisse im Antwort‑Stream zurückgegeben werden.

Über vier Inferenz‑Workloads hinweg hielt das Aktivieren der Sonden den Durchsatz innerhalb der Rauschschwelle von Goodfires Benchmarks, ein gemessener Rückgang von weniger als 2 % gegenüber dem Standard‑SGLang‑Serving. Die Kaskade reduziert die durchschnittliche zusätzliche Latenz pro Turn von 160 ms auf 2 ms ohne Richter‑Begründung und von 2 750 ms auf 42 ms mit Begründung, berichtet Goodfire, und kostet 65 $ pro Million Agent‑Turns ohne Begründung bzw. 185 $ mit Begründung, wodurch die Richter‑Kosten um etwa das 49‑fache bzw. 29‑fache im Vergleich zur Prüfung jedes Turns gesenkt werden. Innerhalb eines festen Rechenbudgets sagt das Unternehmen, dass die Monitore weniger als 1 % der Rechenleistung verbrauchen, gegenüber bis zu 20 % für einen Richter, der jeden Turn prüft. Da die Kaskade günstig genug ist, um synchron zu laufen, erklärt Goodfire, dass riskante Cyber‑Aktionen blockiert werden können, bevor der Agent ein Werkzeug aufruft, anstatt danach markiert zu werden.

Goodfire hat die Monitore anhand eines internen Datensatzes von 2.400 Chat‑ und Agenten‑Sitzungen evaluiert, die mehr als 60.000 Turns umfassen und bei denen die Labels von Claude Opus 5 als Referenz dienten; die Interaktionen stammen aus Anthropics Open‑Source‑Petri‑Red‑Team‑Bibliothek, realen Umgebungen, die aus Benchmarks wie ExploitBench, einem cyber‑spezifischen Teilset von WildChat, sowie harmlosen Software‑Engineering‑, Coding‑ und DevOps‑Rollouts adaptiert wurden. Bei einer Unterbrechungsrate von 5,5 % für harmlose Sitzungen berichtet Goodfire, dass die Kaskade etwa 93 % Recall für schädliche Sitzungen sowohl mit als auch ohne Richter‑Reasoning erreichte und 0 % des nicht‑cyber‑Verkehrs markierte, was das Unternehmen als Pareto‑Verbesserung gegenüber dem reinen Richter bei jeder getesteten Unterbrechungsmenge bezeichnet. Das Hinzufügen des Monitors erhöhte die Blockierungsrate schädlicher Sitzungen von Kimi K3 von etwa 29 % auf 96 %, während die Unterbrechungsrate harmloser Sitzungen von etwa 5 % auf 9 % stieg; für GLM 5.3 stieg die Blockierung von etwa 36 % auf 91 % und die harmlose Unterbrechung von etwa 10 % auf 15 %.

Gegen Jev, ein Entscheidungsmodell, das als günstiger Richter dienen kann, erreichten die Kaskaden bei derselben 5,5 %igen Unterbrechungsrate für harmlose Sitzungen 93 % Recall gegenüber 86 % für Jev, bei etwa 65 $ Richter‑Rechenleistung pro Million Turns und 2 ms zusätzlicher Latenz pro Turn, verglichen mit 600 $ und 200 ms für Jev, berichtet Goodfire. Jev erfasste nur 12 % der schädlichen Prompts, die in harmlose Rahmenbedingungen eingebettet waren, und unterbrach zunehmend harmlose Sitzungen jenseits seines 32.000‑Token‑Fensters. Standard‑lineare Probes erzielten etwa 5 % geringeren Recall als das finale Rezept, nichtlineare Probes verloren bis zu 30 % Recall bei Out‑of‑Distribution‑Sets, und das Erreichen der Recall‑Obergrenze des Richters bei sechsmal weniger Richter‑Aufrufen erforderte die Probe‑Kaskade statt einer zufälligen Turn‑Auswahl. Das Rezept wurde zudem auf GLM 5.3 übertragen, wobei ausschließlich Daten verwendet wurden, die für Kimi K3 entwickelt wurden, was zu einem etwa gleich leistungsfähigen GLM‑Monitor bei Kimi‑Rollouts und einem leicht schlechteren bei GLMs eigenen Evaluationsdaten führte, berichtet das Unternehmen.

Externes Red‑Teaming von FAR.AI

Um das bereitgestellte System über seine internen Bewertungen hinaus zu testen, bat Goodfire FAR.AI, ein Red‑Team‑Testing durchzuführen. In FAR.AIs Bericht, zitiert im Beitrag:

“FAR.AI führte eine Vorab‑Testung von Goodfires Kimi K3‑Monitoren über einen Zeitraum von zwei Tagen durch und setzte dabei ein nicht‑adaptives Portfolio statischer Jailbreaks für offensive Cyber‑Missbrauchsszenarien in Chat‑Kontexten ein. Aus einem Ausgangspool von 1.500 potenziellen Jailbreaks wählte die Testung 140 aus, die sich gegen eine andere Version des Basismodells ohne unsere Monitore als wirksam erwiesen. Die Prüfung jedes dieser 140 Jailbreaks in 8 einzelnen Interaktionen, die unterschiedlichen Angreiferzielen entsprechen, reduzierte die von Goodfires Monitoren ausgelösten Schwachstellen von 66 universellen Jailbreaks und 700 gesamten jailbroken Interaktionen auf 0 universelle Jailbreaks und 18 jailbroken Interaktionen.”

Ohne den Monitor lag die Erfolgsrate universeller Jailbreak‑Angriffe zwischen 12 % und 53 % über verschiedene Reasoning‑Aufwands‑Einstellungen hinweg, laut Beitrag; mit aktiviertem Monitor erzielte keine der 140 Strategien einen universellen Jailbreak, und die Erfolgsrate einzelner Prompts über 1.120 nicht‑universelle Interaktionen sank von mindestens 9–40 % auf 0,1–1,6 % je nach Reasoning‑Aufwand.

Goodfire beschreibt diese Art von Monitoring‑Setup als praktischen Standard für jeden, der offene Modelle in agentischen Umgebungen bereitstellt, und weist darauf hin, dass offene Modelle nicht mit einem vollständigen Sicherheits‑Stack ausgestattet sind. Das Unternehmen sagte, es plane, die Zusammenarbeit mit FAR.AI für weitere Tests und die Verstärkung der Monitore fortzusetzen.