Goodfire ottaa käyttöön koetuspohjaiset kybervalvontajärjestelmät Kimi K3:lle ja GLM 5.3:lle

Goodfire julkaisi 8. lokakuuta 2026 Training and Deploying Production Cyber Monitors on Kimi K3 -tutkimusjulkaisun, jossa kuvataan kyberturvallisuusvalvontajärjestelmiä Kimi K3- ja GLM 5.3 -avomalleille, jotka yhtiö on ottanut käyttöön tuotantotason inferenssiketjussa. Goodfire raportoi, että valvontajärjestelmät saavuttavat LLM‑tuomarin palautuskyvyn yhtiön käyttöpisteessä, mutta kustannukset ovat noin 50‑kertainen alhaisemmat.

Julkaisun keskeiset tekijät ovat Ekdeep Singh Lubana, Connor Watts, Siddharth Boppana, Dron Hazra ja Vasudev Shyam.

Miksi kybervalvonta on vaikeaa

Goodfire kuvaa kyberturvallisuutta yhtenä vaikeimmista ympäristöistä AI‑agenttien valvomiseksi: koodikannan tarkastaminen haavoittuvuuksien varalta ja sen hyödyntäminen sisältävät päällekkäisiä tehtäviä, joten hyvän ja pahantahtoisen käyttäytymisen erottaminen edellyttää aikomuksen seuraamista polulla, joka voi ulottua miljooniin tokeneihin. Ilmeinen ratkaisu, että toinen LLM‑tuomari lukisi jokaisen vuoron, on liian hidas ja kallis ajettavaksi agentin rinnalla reaaliajassa, joten valvonta on yleensä asynkronista ja haitalliset polut tulevat ilmi vasta sen jälkeen, kun agentti on toiminut.

OpenRouter‑hintoihin perustuen julkaisu arvioi, että Kimi K3 -rullausten miljoonan vuoron tuomitseminen jokaisessa vuorossa maksaisi noin 200 000 $ Claude Opus 5:n kanssa tai noin 30 000 $ Kimi K3:n itsensä kanssa.

Koetus‑plus‑tuomari -ketju

Goodfire’n vastaus on kaksivaiheinen ketju. Koetus lukee kohdemallin sisäisiä aktivointeja samalla kun inferenssipalvelin tuottaa tokeneita ja toimii jatkuvasti toimivana ensimmäisenä havaitsemiskerroksena; kun koetuksen tulos ylittää kalibroidun kynnyksen, rullausta nostetaan LLM‑tuomarille, joka voi kieltäytyä pyynnöstä tai jatkaa vuorovaikutusta. Yhtiö kertoo, että koetusarkkitehtuuri tallentaa käyttäytymistä sekä paikallisesti, sidottuna tiettyyn vuoron osaan, että hajautetusti, säilyen koko vuoron ajan, samalla kun se on tehokas ajaa. Kalibroinnin jälkeen koetus saavutti 0 % vääränegatiivisen ja 95 % oikeannegatiivisen tarkkuuden pidetystä joukkosta agenttisissa ja keskustelusivuissa, Goodfire raportoi, joten tuomaria kutsutaan pääasiassa haitalliseen toimintaan ja voidaan käyttää nopeampaa, vähemmän kykenevää tuomaria.

Koulutusdata tuli simuloiduista käyttäjistä, joilla oli haitallisia ja harmittomia tavoitteita kyber- ja ei‑kyberympäristöissä; osa kerättiin Prime Intellectin tarkistajien, Prime Sandboxesin ja Tunnelsin kautta, jotta kyberhyökkäykset ja harmiton Kimi K3 -inferenssi toimivat ilman verkkoyhteyttä. Kirjallinen käytäntö määrittelee ei‑toivottavan kybertoiminnan konkreettisilla tekijöillä, jotka erottavat hyvin tarkoituksenmukaisen työn, kuten rajoitetun haavoittuvuuden uudelleenluomisen, huonosti tarkoituksenmukaisesta työstä, kuten haavoittuvuuden hyväksikäytöstä, ja simuloidut käyttäjät voivat eskaloida haitallisen aikomuksen milloin tahansa, myös alun perin harmittoman pyynnön jälkeen.

Suunnittelu laajentaa Goodfire’n aikaisempaa palkkio-hyökkäystutkimusta. julkaistu 17. syyskuuta 2026, yhtiö raportoi löytäneensä palkkio-hyökkäyksiä 50–96 % rullauksista Kimi K3:n, GLM 5.2:n ja Qwen 3.8 Max:n osalta kolmella agenttisella vertailuarvolla, sekä sisäisen signaalin, joka liittyy käsitteisiin kuten huijaus, mittarin manipulointi ja havaitsemisen välttäminen. Yksinkertaiset aktivaatio‑koetukset, jotka on viritetty tähän signaaliin, nappasivat hyökkäyksiä, jotka LLM‑ketjupohjaiset valvojat eivät havaitse, ja Kimi K3:lla koetus‑plus‑LLM‑ratkaisu vähensi LLM‑valvonnan kustannuksia 90 %:lla noin 1 % tarkkuuden laskulla, yhtiö raportoi.

Läpivirtaus, viive ja havaitsemistulokset

Jotta koetuksia voidaan suorittaa reaaliaikaisesti, Goodfire laajensi SGLang‑palvelinkonetta laskemaan koetuspisteet sisäisesti, kirjoitti räätälöidyt ytimet koetuslogiikkaa varten, ja kuljetti koetuspisteet läpi radix‑puun, DSpark‑spekulaattorin ja esitäyttö‑purku‑erottelun välttääkseen uudelleenlaskennan. Jokainen Kimi K3 -replikaa palveleva työntekijä suorittaa koetukset ja ylläpitää historiaa aktiivisille pyynnöilleen, ja valvontatapahtumat palautetaan vastausvirrassa.

Neljässä inferenssityössä koetusten käyttöönotto piti läpivirran Goodfire’n vertailuarvojen melukynnyskynnyksen sisällä, mitattuna vähemmän kuin 2 %:n laskuna oletus‑SGLang‑palvelusta. Ketju vähentää keskimääräistä lisäviivettä per vuoro 160 ms:stä 2 ms:iin ilman tuomarin päättelyä ja 2 750 ms:stä 42 ms:iin päättelyn kanssa, Goodfire raportoi, ja kustannukset ovat 65 $ miljoonaa agenttivuoroa kohti ilman päättelyä tai 185 $ sen kanssa, mikä vähentää tuomarin kustannuksia noin 49‑kertaisesti ja 29‑kertaisesti verrattuna jokaisen vuoron tarkastamiseen. Kiinteän laskentabudjetin puitteissa yhtiö sanoo, että valvontajärjestelmät käyttävät alle 1 % laskentatehosta, kun taas jokaisen vuoron tuomari voi käyttää jopa 20 %. Koska ketju on riittävän edullinen suoritettavaksi synkronisesti, Goodfire toteaa, että riskialttiit kybertoimet voidaan estää ennen kuin agentti kutsuu työkalua, sen sijaan että ne merkitään jälkikäteen.

Goodfire arvioi monitorit sisäisessä aineistossa, joka koostui 2 400 chat- ja agenttisessiosta, sisältäen yli 60 000 vuoroa, käyttäen Claude Opus 5:n merkintöjä referenssinä; vuorovaikutukset tulivat Anthropicin avoimen lähdekoodin Petri‑red‑team‑kirjastosta, todellisista ympäristöistä, jotka on sovitettu vertailuarvioihin kuten ExploitBench, WildChatin kyber‑spesifiseen osajoukkoon, sekä harmittomiin ohjelmistokehitys-, koodaus‑ ja DevOps‑käyttöön. 5,5 %:n harmittomien istuntojen keskeytymisasteella Goodfire raportoi, että ketju saavutti noin 93 % palautuskyvyn haitallisissa istunnoissa sekä tuomarin että ilman tuomarin päättelyä, eikä se merkinnyt 0 % ei‑kyberliikenteestä, minkä yritys kuvaa Pareto‑parannukseksi verrattuna pelkkään tuomariin kaikissa testatuissa keskeytysmäärissä. Monitorin lisääminen nosti Kimi K3:n haitallisten istuntojen estoprosenttia noin 29 %:sta 96 %:iin, samalla kun harmittomien istuntojen keskeytyminen nousi noin 5 %:sta 9 %:iin; GLM 5.3:lle estoprosentti nousi noin 36 %:sta 91 %:iin ja harmittomien keskeytyminen noin 10 %:sta 15 %:iin.

Vastaan Jev, päätösmalli, joka voi toimia edullisena tuomarina, ketjut saavuttivat 93 % palautuskyvyn samassa 5,5 %:n harmittomien keskeytymisasteessa verrattuna 86 %:iin Jevillä, noin 65 $ tuomarin laskentakustannuksella per miljoona vuoroa ja 2 ms lisäviiveellä per vuoro, kun taas Jev vaati noin 600 $ ja 200 ms. Goodfire raportoi, että Jev nappasi vain 12 % haitallisista kehoituksista, jotka oli upotettu harmittomaan kehyksiin, ja keskeytti yhä enemmän harmittomia istuntoja 32 000‑tokenin ikkunansa jälkeen. Tavalliset lineaariset prokit saavuttivat noin 5 % alhaisemman palautuksen kuin lopullinen resepti, epälineaariset prokit menettivät jopa 30 % palautusta poikkeavissa jakumissa, ja tuomarin palautustason saavuttaminen kuusinkertaisesti vähemmillä tuomarikutsuilla vaati prokkiketjua satunnaisen vuoron valinnan sijaan. Resepti siirtyi myös GLM 5.3:een käyttäen vain Kimi K3:lle kehitettyjä dataa, mikä tuotti suunnilleen yhtä kykenevän GLM‑monitorin Kimi‑julkaisuihin ja hieman heikomman GLM:n omassa arviointidatassa, yrityksen mukaan.

FAR.AI:n ulkoinen red‑team‑testaus

Testatakseen käyttöönotettua järjestelmää sen sisäisten arviointien ulkopuolella Goodfire pyysi FAR.AI:ta tekemään red‑team‑testin. FAR.AI:n kertomuksessa, lainattuna julkaisusta:

“FAR.AI suoritti alustavaa testausta Goodfire:n Kimi K3 -monitorien osalta kahden päivän aikana, käyttäen ei‑adaptiivista kokoelmaa staattisia jailbreakeja hyökkäävään kyberkäyttöön chat‑konteksteissa. Alkuperäisestä 1500 ehdokkaajailbreakien joukosta testaus valitsi 140, jotka osoittautuivat tehokkaiksi eri versiota perusmallia vastaan ilman monitoriamme. Testaamalla kutakin näistä 140:sta kahdeksassa erillisessä vuorovaikutuksessa, jotka vastasivat eri hyökkääjien tavoitteita, Goodfire:n monitorit vähensivät haavoittuvuuksia, jotka olivat peräisin 66 yleisestä jailbreakista ja 700:sta kokonaisuudessaan jailbreakatuista vuorovaikutuksista, nollaan yleiseen jailbreakiin ja 18:aan jailbreakattuun vuorovaikutukseen.”

Ilman monitoria yleisen jailbreak-hyökkäyksen onnistumisprosentti vaihteli 12 %:sta 53 %:iin eri päättelyponnistusten asetuksissa, postauksen mukaan; monitorin ollessa käytössä yksikään 140:sta strategiasta ei tuottanut yleistä jailbreakia, ja yksittäisten kehoitusten onnistuminen 1 120 ei‑yleisessä vuorovaikutuksessa laski vähintään 9–40 %:sta 0,1–1,6 %:iin riippuen päättelyponnistuksesta.

Goodfire kuvaa tällaista monitorointiasetusta käytännöllisenä oletuksena kaikille, jotka tarjoavat avoimia malleja agenttisissa ympäristöissä, huomauttaen, että avoimilla malleilla ei ole täyttä turvallisuuspakettia. Yritys kertoi aikovansa jatkaa yhteistyötään FAR.AI:n kanssa lisätestauksessa ja monitorien vahvistamisessa.