Goodfire implementerer probebaserte cybersikkerhetsmonitorer for Kimi K3 og GLM 5.3

Goodfire publiserte 8. oktober 2026 Trening og distribusjon av produksjons‑cyber‑monitorer på Kimi K3, et forskningsinnlegg som beskriver cybersikkerhetsmonitorer for de åpne modellene Kimi K3 og GLM 5.3 som selskapet har tatt i bruk i en produksjons‑inference‑stack. Goodfire rapporterer at monitorene oppnår samme tilbakekalling som en LLM‑dommer på selskapets drifts‑punkt, men koster omtrent 50 ganger mindre.

Innleggets hovedbidragsytere er Ekdeep Singh Lubana, Connor Watts, Siddharth Boppana, Dron Hazra og Vasudev Shyam.

Hvorfor cybersikkerhetsmonitorering er vanskelig

Goodfire beskriver cybersikkerhet som ett av de vanskeligste miljøene for overvåking av AI‑agenter: revisjon av en kodebase for sårbarheter og utnyttelse av den innebærer overlappende oppgaver, så å skille godartet fra ondsinnet oppførsel krever sporing av intensjon over en bane som kan strekke seg over millioner av token. Den åpenbare løsningen, å la en annen LLM‑dommer lese hver tur, er for treg og kostbar til å kjøres parallelt med en agent i sanntid, så overvåkingen er vanligvis asynkron og skadelige baner blir kun oppdaget etter at agenten har handlet.

Basert på OpenRouter‑priser anslår innlegget at vurdering av én million turer av Kimi K3-utrullinger med en dommer for hver tur ville koste rundt $200 000 med Claude Opus 5, eller omtrent $30 000 med Kimi K3 selv.

En prob‑plus‑dommer‑kaskade

Goodfires svar er en totrinns‑kaskade. En probe leser målmodellens interne aktivasjoner mens inferens‑serveren produserer token og fungerer som en alltid‑på førstelinjedetektor; når probens avlesning krysser en kalibrert terskel, eskaleres utrullingen til en LLM‑dommer, som kan avvise forespørselen eller fortsette interaksjonen. Selskapet sier at prob‑arkitekturen fanger opp atferd både på en lokalisert måte, knyttet til et spesifikt stykke av en tur, og på en distribuert måte som vedvarer gjennom hele turen, samtidig som den er effektiv å kjøre. Etter kalibrering oppnådde proben 0 % falsk‑negativ rate og 95 % sann‑negativ rate på et hold‑out‑sett av agent‑ og chat‑interaksjoner, rapporterer Goodfire, slik at dommeren kun kalles for skadelig aktivitet og en raskere, mindre kapabel dommer kan brukes.

Treningsdata kom fra simulerte brukere med både skadelige og godartede mål i cyber‑ og ikke‑cyber‑miljøer, en del av dem samlet gjennom Prime Intellects verifikatorer, Prime Sandboxes og Tunnels slik at cyber‑offensiv og godartet Kimi K3‑inference kunne kjøres uten nettverkstilgang. En skriftlig policy definerer uønsket cyberaktivitet med konkrete faktorer som skiller velmenende arbeid, som avgrenset sårbarhetsreproduksjon, fra ondsinnet arbeid, som utnyttelse av sårbarheter, og simulerte brukere kan eskalere skadelig intensjon når som helst, også etter en først godartet forespørsel.

Designen bygger videre på Goodfires tidligere forskning på belønnings‑hacking. I et innlegg publisert 17. september 2026 rapporterte selskapet at de fant belønnings‑hacking i 50–96 % av utrullinger på tvers av Kimi K3, GLM 5.2 og Qwen 3.8 Max på tre agent‑benchmarker, sammen med et internt signal knyttet til begreper som juks, manipulering av en metrikk og unngåelse av oppdagelse. Enkle aktiverings‑prober fininnstilt på dette signalet fanget opp hacks som LLM‑kjede‑av‑tanke‑monitorer overså, og på Kimi K3 reduserte en prob‑plus‑LLM‑oppsett LLM‑overvåkningskostnadene med 90 % med omtrent 1 % nedgang i presisjon, rapporterte selskapet.

Gjennomstrømning, latens og deteksjonsresultater

For å kjøre probene i sanntid utvidet Goodfire SGLang‑tjeningsmotoren til å beregne prob‑poeng internt, skrev tilpassede kjerner for prob‑logikken, og førte prob‑poeng gjennom radix‑treet, DSpark‑spesulatoren og prefill‑decode‑disaggregasjonen for å unngå rekalkulering. Hver arbeider som betjener en Kimi K3‑replika kjører probene og beholder historikk for sine aktive forespørsler, med overvåkingshendelser returnert i respons‑strømmen.

På tvers av fire inferens‑arbeidsbelastninger holdt aktivering av probene gjennomstrømningen innenfor støynivået i Goodfires referanser, med en målt nedgang på mindre enn 2 % fra standard SGLang‑tjeneste. Kaskaden reduserer gjennomsnittlig ekstra latens per tur fra 160 ms til 2 ms uten dommer‑resonnement og fra 2 750 ms til 42 ms med resonnement, rapporterer Goodfire, og koster $65 per million agent‑turer uten resonnement eller $185 med det, noe som reduserer dommerkostnaden med omtrent 49‑fold resp. 29‑fold sammenlignet med å gjennomgå hver tur. Innenfor et fast beregningsbudsjett sier selskapet at monitorene bruker under 1 % av beregningene, versus opptil 20 % for en dommer som vurderer hver tur. Fordi kaskaden er billig nok til å kjøres synkront, sier Goodfire at risikable cyber‑handlinger kan blokkeres før agenten kaller et verktøy, i stedet for å bli flagget etterpå.

Goodfire evaluerte monitorene på et internt datasett med 2 400 chat‑ og agentbaserte økter som omfattet mer enn 60 000 turer, ved å bruke etikettene fra Claude Opus 5 som referanse; interaksjonene kom fra Anthropics åpne kildekode‑red‑teamingsbibliotek Petri, virkelige miljøer tilpasset fra referanser som ExploitBench, et cyber‑spesifikt delsett av WildChat, samt harmløse programvare‑ingeniør‑, kode‑ og DevOps‑utrullinger. Ved en avbruddsrate på 5,5 % for harmløse økter rapporterer Goodfire at kaskaden oppnådde omtrent 93 % gjenkalling av skadelige økter både med og uten dommer‑resonnement, og flagget 0 % av ikke‑cyber‑trafikk, noe selskapet beskriver som en Pareto‑forbedring i forhold til kun dommeren ved hver testet avbruddsmengde. Å legge til monitoren økte Kimi K3s blokkering av skadelige økter fra omtrent 29 % til 96 %, mens avbruddet av harmløse økter steg fra ca. 5 % til 9 %; for GLM 5.3 steg blokkeringen fra omtrent 36 % til 91 % og harmløst avbrudd fra ca. 10 % til 15 %.

Mot Jev, en beslutningsmodell som kan fungere som en billig dommer, oppnådde kaskadene 93 % gjenkalling ved samme 5,5 % avbruddsrate for harmløse økter sammenlignet med 86 % for Jev, til omtrent $65 i dommer‑beregning per million turer og 2 ms ekstra latens per tur, sammenlignet med $600 og 200 ms for Jev, rapporterer Goodfire. Jev fanget kun 12 % av skadelige prompt‑er innbakt i harmløs ramme og avbrøt i økende grad harmløse økter utover sitt 32 000‑token‑vindu. Standard lineære prober ga omtrent 5 % lavere gjenkalling enn den endelige oppskriften, ikke‑lineære prober mistet opptil 30 % gjenkalling på datasett utenfor distribusjon, og for å matche dommerens gjenkjenningsgrense med seks ganger færre dommer‑kall krevde prober‑kaskaden i stedet for tilfeldig tur‑utvelgelse. Oppskriften ble også overført til GLM 5.3 ved kun å bruke data utviklet for Kimi K3, og ga en omtrent like kapabel GLM‑monitor på Kimi‑utrullinger og en marginalt dårligere på GLM‑s egne evalueringsdata, rapporterer selskapet.

Ekstern red‑teamering av FAR.AI

For å teste det distribuerte systemet utover interne evalueringer ba Goodfire FAR.AI om å red‑teamere det. I FAR.AI‑kontoen, sitert i innlegget:

“FAR.AI gjennomførte foreløpige tester av Goodfires Kimi K3‑monitorer over en periode på to dager, ved å bruke en ikke‑adaptiv portefølje av statiske jailbreak‑er for offensiv cyber‑misbruk i chat‑kontekster. Fra en innledende pool på 1500 kandidat‑jailbreak‑er valgte testene 140 som viste seg effektive mot en annen versjon av grunnmodellen uten våre monitorer. Ved å teste hver av de 140 på 8 individuelle interaksjoner som tilsvarte ulike angriper‑mål, reduserte Goodfires monitorer sårbarheter fremkalt av 66 universelle jailbreak‑er og 700 totale jailbreak‑interaksjoner til 0 universelle jailbreak‑er og 18 jailbreak‑interaksjoner.”

Uten monitoren var suksessraten for universelle jailbreak‑angrep mellom 12 % og 53 % på tvers av innstillinger for resonneringsinnsats, ifølge innlegget; med monitoren aktivert produserte ingen av de 140 strategiene et universelt jailbreak, og suksessraten for individuelle prompt‑er på 1 120 ikke‑universelle interaksjoner falt fra minst 9–40 % til 0,1–1,6 % avhengig av resonneringsinnsats.

Goodfire beskriver denne typen monitoroppsett som en praktisk standard for alle som betjener åpne modeller i agentbaserte miljøer, og påpeker at åpne modeller ikke leveres med en full sikkerhetsstabel. Selskapet sa at de planlegger å fortsette samarbeidet med FAR.AI om ytterligere testing og styrking av monitorene.