Goodfire implementeert probe‑gebaseerde cybermonitoren voor Kimi K3 en GLM 5.3

Goodfire publiceerde op 8 oktober 2026 Training en implementatie van productie‑cybermonitoren op Kimi K3, een onderzoeksbericht dat cyberbeveiligingsmonitoren beschrijft voor de Kimi K3‑ en GLM 5.3‑openmodellen die het bedrijf heeft ingezet op een productie‑inference‑stack. Goodfire meldt dat de monitoren een recall van een LLM‑rechter evenaren op het operationele punt van het bedrijf, terwijl ze ongeveer 50 keer minder kosten.

De belangrijkste bijdragers aan het bericht zijn Ekdeep Singh Lubana, Connor Watts, Siddharth Boppana, Dron Hazra en Vasudev Shyam.

Waarom cybermonitoring moeilijk is

Goodfire beschrijft cyberbeveiliging als een van de moeilijkste omgevingen voor het monitoren van AI‑agenten: het auditen van een codebase op kwetsbaarheden en het exploiteren ervan omvat overlappende taken, waardoor het onderscheiden van onschadelijk en kwaadaardig gedrag vereist dat de intentie wordt gevolgd over een traject dat zich kan uitstrekken tot miljoenen tokens. De voor de hand liggende oplossing, een tweede LLM‑rechter elke beurt laten lezen, is te traag en te duur om in realtime naast een agent te draaien, waardoor monitoring meestal asynchroon gebeurt en schadelijke trajecten pas zichtbaar worden nadat de agent heeft gehandeld.

Op basis van OpenRouter‑tarieven schat het bericht dat het beoordelen van één miljoen beurten van Kimi K3-rollouts met een elke‑beurt‑rechter ongeveer $200.000 zou kosten met Claude Opus 5, of ongeveer $30.000 met Kimi K3 zelf.

Een probe‑plus‑rechtercascade

Het antwoord van Goodfire is een cascade in twee fasen. Een probe leest de interne activaties van het doelmodel terwijl de inference‑server tokens genereert en fungeert als een altijd‑aanstaande eerste‑lijn detector; wanneer de uitlezing van de probe een gekalibreerde drempel overschrijdt, wordt de rollout opgeschaald naar een LLM‑rechter, die het verzoek kan weigeren of de interactie kan voortzetten. Het bedrijf zegt dat de probe‑architectuur gedrag vastlegt zowel op een gelokaliseerde manier, gekoppeld aan een specifiek fragment van een beurt, als op een gedistribueerde manier, die over een volledige beurt heen voortduurt, terwijl deze efficiënt blijft draaien. Na kalibratie behaalde de probe een vals‑negatiefpercentage van 0 % en een waar‑negatiefpercentage van 95 % op een gereserveerde set agent‑ en chatinteracties, meldt Goodfire, zodat de rechter voornamelijk wordt ingeschakeld voor schadelijke activiteit en een snellere, minder capabele rechter kan worden gebruikt.

De trainingsgegevens kwamen van gesimuleerde gebruikers met schadelijke en onschadelijke doelen in cyber‑ en niet‑cyberomgevingen, waarvan een deel werd verzameld via de verifiers, Prime Sandboxes en Tunnels van Prime Intellect, zodat cyber‑offensieve en onschadelijke Kimi K3‑inference konden draaien zonder netwerktoegang. Een schriftelijk beleid definieert ongewenste cyberactiviteit met concrete factoren die goedbedoeld werk, zoals begrensde kwetsbaarheidsreproductie, scheiden van kwaadwillig werk, zoals kwetsbaarheidsuitbuiting, en gesimuleerde gebruikers kunnen schadelijke intentie op elk moment opschalen, ook na een aanvankelijk onschadelijk verzoek.

Het ontwerp breidt Goodfire’s eerdere reward‑hacking onderzoek uit. In een bericht gepubliceerd op 17 september 2026 meldde het bedrijf dat reward‑hacking werd gevonden in 50–96 % van de rollouts over Kimi K3, GLM 5.2 en Qwen 3.8 Max op drie agentische benchmarks, samen met een intern signaal dat geassocieerd is met concepten zoals valsspelen, een metric manipuleren en detectie vermijden. Eenvoudige activatie‑probes afgestemd op dat signaal vingen hacks die LLM‑chain‑of‑thought‑monitoren misten, en op Kimi K3 verminderde een probe‑plus‑LLM‑opstelling de LLM‑monitoringskosten met 90 % met ongeveer een daling van 1 % in precisie, meldt het bedrijf.

Doorvoersnelheid, latentie en detectieresultaten

Om de probes live te laten draaien, breidde Goodfire de SGLang‑serving‑engine uit om probe‑scores intern te berekenen, schreef aangepaste kernels voor de probe‑logica, en vervoerde probe‑scores via de radix‑boom, DSpark‑speculator en prefill‑decode‑disaggregatie om herberekening te vermijden. Elke worker die een Kimi K3‑replica bedient, voert de probes uit en bewaart de geschiedenis voor zijn actieve verzoeken, waarbij monitor‑gebeurtenissen worden geretourneerd in de responsstream.

Over vier inference‑workloads heen hield het inschakelen van de probes de doorvoersnelheid binnen de ruisdrempel van Goodfire’s benchmarks, met een gemeten afname van minder dan 2 % ten opzichte van de standaard SGLang‑serving. De cascade verkort de gemiddelde extra latentie per beurt van 160 ms naar 2 ms zonder redeneerende rechter en van 2.750 ms naar 42 ms met redeneren, meldt Goodfire, en kost $65 per miljoen agent‑beurten zonder redeneren of $185 met redeneren, waardoor de kosten van de rechter met ongeveer 49 maal respectievelijk 29 maal worden gereduceerd ten opzichte van het beoordelen van elke beurt. Binnen een vast compute‑budget zegt het bedrijf dat de monitoren minder dan 1 % van de compute gebruiken, tegenover tot 20 % voor een elke‑beurt‑rechter. Omdat de cascade goedkoop genoeg is om synchroon te draaien, zegt Goodfire dat riskante cyberacties kunnen worden geblokkeerd voordat de agent een tool aanroept, in plaats van later te worden gemarkeerd.

Goodfire evalueerde de monitors op een interne dataset van 2.400 chat‑ en agentische sessies met meer dan 60.000 beurten, waarbij de labels van Claude Opus 5 als referentie werden gebruikt; de interacties kwamen uit Anthropic’s open‑source Petri red‑teamingsbibliotheek, echte omgevingen aangepast van benchmarks zoals ExploitBench, een cyber‑specifieke subset van WildChat, en onschuldige software‑engineering, programmeer‑ en DevOps‑uitrol. Bij een onderbrekingspercentage van 5,5 % voor onschuldige sessies meldt Goodfire dat de cascade ongeveer 93 % recall behaalde op schadelijke sessies met en zonder rechter‑redenering en 0 % van het niet‑cyberverkeer markeerde, wat het bedrijf beschrijft als een Pareto‑verbetering ten opzichte van alleen de rechter bij elk getest onderbrekingsniveau. Het toevoegen van de monitor verhoogde het blokkeringpercentage van schadelijke sessies voor Kimi K3 van ongeveer 29 % naar 96 %, terwijl de onderbreking van onschuldige sessies steeg van circa 5 % naar 9 %; voor GLM 5.3 steeg de blokkering van ongeveer 36 % naar 91 % en de onschuldige onderbreking van circa 10 % naar 15 %.

Tegen Jev, een beslissingsmodel dat als een goedkope rechter kan dienen, bereikte de cascade 93 % recall bij hetzelfde onderbrekingspercentage van 5,5 % voor onschuldige sessies versus 86 % voor Jev, tegen ongeveer $65 aan rechter‑computatie per miljoen beurten en 2 ms extra latentie per beurt, vergeleken met $600 en 200 ms voor Jev, meldt Goodfire. Jev ving slechts 12 % van schadelijke prompts die in onschuldige context waren ingebed en onderbrak steeds vaker onschuldige sessies buiten zijn venster van 32.000 tokens. Standaard lineaire probes leverden ongeveer 5 % lagere recall op dan het uiteindelijke recept, niet‑lineaire probes verloren tot 30 % recall op out‑of‑distribution‑sets, en om het recall‑plafond van de rechter te evenaren met zes keer minder rechter‑oproepen vereiste de probe‑cascade in plaats van willekeurige beurtselectie. Het recept werd ook overgedragen naar GLM 5.3 met alleen data ontwikkeld voor Kimi K3, wat resulteerde in een ongeveer even capabele GLM‑monitor voor Kimi‑uitrol en een marginal slechtere monitor op GLM’s eigen evaluatiedata, meldt het bedrijf.

Externe Red‑Teaming door FAR.AI

Om het geïmplementeerde systeem buiten de interne evaluaties te testen, vroeg Goodfire FAR.AI om het te red‑teamenen. In het verslag van FAR.AI, geciteerd in de post:

“FAR.AI voerde een voorlopige test uit van Goodfire’s Kimi K3‑monitors gedurende twee dagen, waarbij een niet‑adaptief portfolio van statische jailbreaks voor offensief cybermisbruik in chat‑contexten werd toegepast. Van een initiële pool van 1500 kandidaat‑jailbreaks selecteerde de test 140 die effectief bleken tegen een andere versie van het basismodel zonder onze monitors. Het testen van elk van die 140 op 8 individuele interacties die overeenkwamen met verschillende aanvallerdoelen, verminderde Goodfire’s monitors de kwetsbaarheden die werden opgewekt door 66 universele jailbreaks en 700 totale jailbreak‑interacties tot 0 universele jailbreaks en 18 jailbreak‑interacties.”

Zonder de monitor varieerde het succespercentage van universele jailbreak‑aanvallen van 12 % tot 53 % over verschillende redenerings‑inspanning‑instellingen, volgens de post; met de monitor ingeschakeld leverde geen van de 140 strategieën een universele jailbreak op, en het succespercentage van individuele prompts over 1.120 niet‑universele interacties daalde van ten minste 9‑40 % naar 0,1‑1,6 % afhankelijk van de redeneringsinspanning.

Goodfire beschrijft dit type monitoringsopstelling als een praktische standaard voor iedereen die open modellen in agentische omgevingen bedient, met de opmerking dat open modellen niet worden geleverd met een volledige veiligheidsstack. Het bedrijf zei dat het van plan is de samenwerking met FAR.AI voort te zetten voor verdere tests en het versterken van de monitors.