Goodfire ปรับใช้ตัวตรวจสอบไซเบอร์แบบโพรบสำหรับ Kimi K3 และ GLM 5.3

Goodfire เมื่อวันที่ 8 ตุลาคม 2026 ได้เผยแพร่ Training and Deploying Production Cyber Monitors on Kimi K3 ซึ่งเป็นโพสต์วิจัยที่อธิบายตัวตรวจสอบความปลอดภัยไซเบอร์สำหรับโมเดลเปิด Kimi K3 และ GLM 5.3 ที่บริษัทได้ปรับใช้บนสแต็กการสรุปผลการทำงานในสภาพการผลิต Goodfire รายงานว่าตัวตรวจสอบเหล่านี้มีอัตราการเรียกคืนของผู้พิพากษา LLM เทียบเท่าที่จุดดำเนินงานของบริษัท ในขณะที่ต้นทุนต่ำกว่าประมาณ 50 เท่า

ผู้ร่วมเขียนหลักของโพสต์นี้คือ Ekdeep Singh Lubana, Connor Watts, Siddharth Boppana, Dron Hazra, และ Vasudev Shyam.

ทำไมการตรวจสอบไซเบอร์จึงยาก

Goodfire อธิบายว่าความปลอดภัยไซเบอร์เป็นหนึ่งในสภาพแวดล้อมที่ยากที่สุดสำหรับการตรวจสอบเอเจนต์ AI: การตรวจสอบฐานโค้ดเพื่อหาช่องโหว่และการใช้ช่องโหว่เหล่านั้นมีภารกิจที่ทับซ้อนกัน ดังนั้นการแยกแยะพฤติกรรมที่เป็นมิตรจากพฤติกรรมที่เป็นอันตรายต้องติดตามเจตนาตลอดเส้นทางที่อาจยืดหยุ่นไปถึงหลายล้านโทเคน วิธีแก้ที่ชัดเจนคือให้ผู้พิพากษา LLM ตัวที่สองอ่านทุกรอบ แต่สิ่งนี้ช้าและมีค่าใช้จ่ายสูงเกินไปที่จะทำงานร่วมกับเอเจนต์แบบเรียลไทม์ ดังนั้นการตรวจสอบมักทำแบบอะซิงโครนัสและเส้นทางที่เป็นอันตรายจะปรากฏขึ้นหลังจากที่เอเจนต์ทำการกระทำแล้ว

อ้างอิงจากอัตราของ OpenRouter, โพสต์ประมาณว่าการให้ผู้พิพากษาอ่านทุกรอบหนึ่งล้านรอบของการปล่อย Kimi K3 จะมีค่าใช้จ่ายอยู่ที่ระดับประมาณ $200,000 ด้วย Claude Opus 5 หรือประมาณ $30,000 ด้วย Kimi K3 เอง

กระบวนการโพรบบวกผู้พิพากษาแบบต่อเนื่อง

คำตอบของ Goodfire คือกระบวนการสองขั้นตอน. โพรบอ่านการกระตุ้นภายในของโมเดลเป้าหมายขณะเซิร์ฟเวอร์การสรุปผลสร้างโทเคนและทำหน้าที่เป็นตัวตรวจจับระดับแรกที่ทำงานตลอดเวลา; เมื่อผลการอ่านของโพรบข้ามเกณฑ์ที่ปรับเทียบแล้ว การปล่อยจะถูกส่งต่อไปยังผู้พิพากษา LLM ซึ่งสามารถปฏิเสธคำขอหรือดำเนินการต่อได้ บริษัทกล่าวว่าโครงสร้างโพรบจับพฤติกรรมได้ทั้งในรูปแบบที่เป็นท้องถิ่นเชื่อมโยงกับส่วนหนึ่งของรอบและในรูปแบบที่กระจายตลอดรอบทั้งหมด โดยยังคงประสิทธิภาพในการทำงาน หลังจากการปรับเทียบ โพรบบรรลุอัตรา false-negative 0% และอัตรา true-negative 95% บนชุดข้อมูลที่แยกออกสำหรับการโต้ตอบแบบเอเจนต์และแชท Goodfire รายงานว่า ดังนั้นผู้พิพากษาจะถูกเรียกใช้หลัก ๆ สำหรับกิจกรรมที่เป็นอันตรายและสามารถใช้ผู้พิพากษาที่เร็วกว่าแต่มีความสามารถน้อยลงได้

ข้อมูลการฝึกมาจากผู้ใช้จำลองที่มีเป้าหมายเป็นอันตรายและเป็นมิตรในสภาพแวดล้อมไซเบอร์และไม่ใช่ไซเบอร์ ส่วนหนึ่งของข้อมูลถูกเก็บรวบรวมผ่าน verifiers ของ Prime Intellect, Prime Sandboxes และ Tunnels เพื่อให้การสรุปผล Kimi K3 ที่เป็นการโจมตีไซเบอร์และเป็นมิตรทำงานโดยไม่มีการเข้าถึงเครือข่าย นโยบายที่เป็นลายลักษณ์อักษรกำหนดกิจกรรมไซเบอร์ที่ไม่พึงประสงค์ด้วยปัจจัยที่ชัดเจนซึ่งแยกงานที่มีเจตนาดี เช่น การทำสำเนาช่องโหว่ที่มีขอบเขต จำกัด, ออกจากงานที่มีเจตนาไม่ดี เช่น การใช้ช่องโหว่ และผู้ใช้จำลองสามารถเพิ่มเจตนาอันตรายได้ในทุกขั้นตอน รวมถึงหลังจากคำขอที่เริ่มต้นเป็นมิตร

การออกแบบต่อยอดจากการวิจัยการแฮกรางวัลของ Goodfire ก่อนหน้า ใน โพสต์ที่เผยแพร่เมื่อ 17 กันยายน 2026 บริษัทรายงานว่าพบการแฮกรางวัลใน 50–96% ของการปล่อยทั่วทั้ง Kimi K3, GLM 5.2, และ Qwen 3.8 Max บนสามชุดทดสอบเอเจนต์ พร้อมกับสัญญาณภายในที่เชื่อมโยงกับแนวคิดเช่น การโกง, การเล่นเกมเมตริก, และการหลีกเลี่ยงการตรวจจับ โพรบการกระตุ้นแบบง่ายที่ปรับให้สอดคล้องกับสัญญาณนั้นสามารถจับการแฮกที่ตัวตรวจสอบ LLM แบบ chain-of-thought พลาดได้ และบน Kimi K3 การตั้งค่าโพรบบวก LLM ลดค่าใช้จ่ายการตรวจสอบ LLM ลง 90% พร้อมกับการลดความแม่นยำประมาณ 1% บริษัทรายงาน

อัตราการผ่าน, ความหน่วงเวลา, และผลลัพธ์การตรวจจับ

เพื่อให้โพรบทำงานแบบเรียลไทม์ Goodfire ขยายเอนจินให้บริการ SGLang เพื่อคำนวณคะแนนโพรบภายใน, เขียนเคอร์เนลแบบกำหนดเองสำหรับตรรกะของโพรบ, และส่งต่อคะแนนโพรบผ่าน radix tree, DSpark speculator, และการแยกส่วน prefill-decode เพื่อหลีกเลี่ยงการคำนวณซ้ำ ทุก worker ที่ให้บริการสำเนา Kimi K3 จะรันโพรบและเก็บประวัติสำหรับคำขอที่กำลังทำงาน, โดยเหตุการณ์การตรวจสอบจะถูกส่งกลับในสตรีมการตอบสนอง

ในสี่ภาระงานการสรุปผล, การเปิดใช้โพรบทำให้อัตราการผ่านอยู่ภายในระดับเสียงรบกวนของเกณฑ์ Goodfire, ลดลงน้อยกว่า 2% จากการให้บริการ SGLang เริ่มต้น กระบวนการต่อเนื่องลดความหน่วงเวลาเฉลี่ยต่อรอบจาก 160 มิลลิวินาทีเป็น 2 มิลลิวินาทีเมื่อไม่มีการให้เหตุผลจากผู้พิพากษาและจาก 2,750 มิลลิวินาทีเป็น 42 มิลลิวินาทีเมื่อมีการให้เหตุผล Goodfire รายงาน และมีค่าใช้จ่าย $65 ต่อหนึ่งล้านรอบของเอเจนต์เมื่อไม่มีการให้เหตุผล หรือ $185 เมื่อมีการให้เหตุผล ลดค่าใช้จ่ายของผู้พิพากษาโดยประมาณ 49 เท่าและ 29 เท่า ตามลำดับเมื่อเทียบกับการตรวจสอบทุกรอบ ภายในงบประมาณการคำนวณที่คงที่ บริษัทระบุว่าตัวตรวจสอบใช้ทรัพยากรคอมพิวเตอร์ต่ำกว่า 1% เทียบกับผู้พิพากษาที่ใช้ได้ถึง 20% การที่กระบวนการต่อเนื่องมีต้นทุนต่ำพอที่จะทำงานแบบซิงโครนัส Goodfire กล่าวว่าการกระทำไซเบอร์ที่เสี่ยงสามารถถูกบล็อกก่อนที่เอเจนต์จะเรียกใช้เครื่องมือ แทนที่จะถูกทำเครื่องหมายภายหลัง

Goodfire ประเมินตัวตรวจสอบบนชุดข้อมูลภายในที่ประกอบด้วยเซสชันแชทและเอเจนต์จำนวน 2,400 เซสชัน รวมกว่า 60,000 รอบการโต้ตอบ โดยใช้ป้ายกำกับของ Claude Opus 5 เป็นอ้างอิง; การโต้ตอบมาจากไลบรารีการทดสอบ Red‑Teaming แบบเปิดของ Anthropic ชื่อ Petri, สภาพแวดล้อมจริงที่ปรับจากเกณฑ์มาตรฐานเช่น ExploitBench, ส่วนย่อยเฉพาะด้านไซเบอร์ของ WildChat, และการเปิดตัวซอฟต์แวร์วิศวกรรม, การเขียนโค้ด, และ DevOps ที่เป็นมิตรต่อผู้ใช้. ที่อัตราการขัดจังหวะเซสชันที่เป็นมิตร 5.5%, Goodfire รายงานว่าการ cascade สามารถบรรลุการเรียกคืนประมาณ 93% ในเซสชันที่เป็นอันตราย ทั้งมีและไม่มีการให้เหตุผลของผู้ตรวจสอบ และทำเครื่องหมาย 0% ของทราฟฟิกที่ไม่ใช่ไซเบอร์, ซึ่งบริษัทอธิบายว่าเป็นการปรับปรุงแบบ Pareto เมื่อเทียบกับการใช้ผู้ตรวจสอบอย่างเดียวที่ทุกระดับการขัดจังหวะที่ทดสอบ. การเพิ่มตัวตรวจสอบทำให้อัตราการบล็อกเซสชันที่เป็นอันตรายของ Kimi K3 เพิ่มจากประมาณ 29% เป็น 96%, ในขณะที่อัตราการขัดจังหวะเซสชันที่ไม่มีอันตรายเพิ่มจากประมาณ 5% เป็น 9%; สำหรับ GLM 5.3, การบล็อกเพิ่มจากประมาณ 36% เป็น 91% และการขัดจังหวะที่ไม่มีอันตรายเพิ่มจากประมาณ 10% เป็น 15%.

เมื่อเทียบกับ Jev, โมเดลการตัดสินใจที่สามารถทำหน้าที่เป็นผู้ตรวจสอบราคาถูก, cascade สามารถบรรลุการเรียกคืน 93% ที่อัตราการขัดจังหวะเซสชันที่เป็นมิตร 5.5% เทียบกับ 86% ของ Jev, โดยใช้ค่าใช้จ่ายการคำนวณของผู้ตรวจสอบประมาณ 65 ดอลลาร์ต่อหนึ่งล้านรอบและเพิ่มความหน่วงเวลา 2 มิลลิวินาทีต่อรอบ, เทียบกับ 600 ดอลลาร์และ 200 มิลลิวินาทีของ Jev, Goodfire รายงาน. Jev ตรวจจับได้เพียง 12% ของพรอมต์ที่เป็นอันตรายที่ฝังอยู่ในกรอบที่เป็นมิตรและค่อย ๆ ขัดจังหวะเซสชันที่เป็นมิตรเมื่อเกินขอบเขต 32,000 โทเคนของมัน. ตัวตรวจสอบเชิงเส้นมาตรฐานให้การเรียกคืนต่ำกว่าสูตรสุดท้ายประมาณ 5%, ตัวตรวจสอบเชิงไม่เชิงเส้นสูญเสียการเรียกคืนสูงสุดถึง 30% ในชุดข้อมูลที่อยู่นอกการกระจาย, และการจับคู่ระดับการเรียกคืนสูงสุดของผู้ตรวจสอบโดยใช้การเรียกใช้ผู้ตรวจสอบน้อยกว่าหกเท่าต้องอาศัย cascade ของตัวตรวจสอบแทนการเลือกรอบแบบสุ่ม. สูตรนี้ยังสามารถถ่ายโอนไปยัง GLM 5.3 โดยใช้ข้อมูลที่พัฒนาสำหรับ Kimi K3 เท่านั้น, ส่งผลให้ได้ตัวตรวจสอบ GLM ที่มีความสามารถใกล้เคียงกันบนการเปิดตัว Kimi และตัวตรวจสอบที่แย่ลงเล็กน้อยบนข้อมูลการประเมินของ GLM เอง, บริษัทรายงาน.

การทดสอบ Red‑Teaming ภายนอกโดย FAR.AI

เพื่อทดสอบระบบที่เปิดใช้งานนอกการประเมินภายใน, Goodfire ขอให้ FAR.AI ทำการ Red‑Team ระบบนี้. ในบัญชีของ FAR.AI ที่อ้างอิงในโพสต์:

“FAR.AI ทำการทดสอบเบื้องต้นของตัวตรวจสอบ Kimi K3 ของ Goodfire เป็นระยะเวลาสองวัน, โดยใช้พอร์ตโฟลิโอที่ไม่ปรับตัวของ jailbreak แบบคงที่สำหรับการใช้ในเชิงรุกของไซเบอร์ในบริบทแชท. จากกลุ่มเริ่มต้นของ jailbreak 1,500 ตัว, การทดสอบคัดเลือก 140 ตัวที่พบว่ามีประสิทธิภาพต่อรุ่นฐานที่แตกต่างโดยไม่มีตัวตรวจสอบของเรา. การทดสอบแต่ละตัวจาก 140 ตัวนั้นบนการโต้ตอบ 8 รายการที่สอดคล้องกับเป้าหมายของผู้โจมตีต่าง ๆ, ตัวตรวจสอบของ Goodfire ลดช่องโหว่ที่เกิดจาก jailbreak สากล 66 รายการและการโต้ตอบที่ถูก jailbreak ทั้งหมด 700 รายการลงเหลือ 0 jailbreak สากลและ 18 การโต้ตอบที่ถูก jailbreak.”

โดยไม่มีตัวตรวจสอบ, ความสำเร็จของการโจมตี jailbreak สากลอยู่ระหว่าง 12% ถึง 53% ตามการตั้งค่าความพยายามในการให้เหตุผล, ตามโพสต์; เมื่อเปิดใช้งานตัวตรวจสอบ, ไม่มีกลยุทธ์ 140 กลยุทธ์ใดที่สร้าง jailbreak สากล, และความสำเร็จของพรอมต์แต่ละรายการใน 1,120 การโต้ตอบที่ไม่เป็น jailbreak ลดลงจากอย่างน้อย 9–40% เหลือ 0.1–1.6% ขึ้นอยู่กับความพยายามในการให้เหตุผล.

Goodfire อธิบายการตั้งค่าการตรวจสอบแบบนี้ว่าเป็นค่าเริ่มต้นที่ใช้งานได้จริงสำหรับผู้ให้บริการโมเดลเปิดในสภาพแวดล้อมเอเจนต์, โดยระบุว่าโมเดลเปิดไม่ได้มาพร้อมกับชุดความปลอดภัยเต็มรูปแบบ. บริษัทกล่าวว่าจะดำเนินความร่วมมือกับ FAR.AI ต่อไปเพื่อการทดสอบเพิ่มเติมและการเสริมความแข็งแกร่งของตัวตรวจสอบ.