Cogent รายงานว่า VR-1.1 ซ่อมช่องโหว่ผ่านเกณฑ์ได้ 57.9% ของงานใน LiveCVEBench

Cogent Security เปิดตัว VR-1.1 เมื่อวันที่ 3 พฤศจิกายน 2026 พร้อมรายงานว่าโมเดลซ่อมช่องโหว่นี้สร้างแพตช์ที่ผ่านเกณฑ์ได้ 57.9% จากงานทั้งหมด 190 งานใน LiveCVEBench เทียบกับ Claude Code และ Codex ซึ่งทำได้เท่ากันที่ 45.3%

ผลิตภัณฑ์ล่าสุดในตระกูล VR ของ Cogent ต่อยอดความสามารถในการแก้ไขปัญหาที่เปิดตัวพร้อม VR-1 การประเมินเปรียบเทียบ VR-1.1 กับ Claude Code ที่ทำงานด้วย Claude Opus 5.5 และ Codex ที่ทำงานด้วย GPT-5.6-Cyber แต่ละระบบได้รับข้อมูลนำเข้าและการตั้งค่าแบบเดียวกัน รวมทั้งมีโอกาสลองทำงานแต่ละงาน 3 ครั้ง โดยให้คะแนนจากแพตช์ฉบับสุดท้ายหลังผ่านการลองซ่อมภายในระบบ

เบนช์มาร์กที่มุ่งเน้นการซ่อมแซมให้ใช้งานได้จริง

LiveCVEBench มุ่งเน้นการแก้ไขช่องโหว่ที่เกิดขึ้นจริงในสภาพแวดล้อมการพัฒนา เอกสารวิจัย CVE-Factory อธิบายชุดงานที่ปรับปรุงอย่างต่อเนื่องจำนวน 190 งาน ครอบคลุมภาษาการเขียนโปรแกรม 14 ภาษาและที่เก็บโค้ด 153 แห่ง โครงการเบนช์มาร์ก นำเอเจนต์เข้าสู่สภาพแวดล้อมการพัฒนาจริง ซึ่งเอเจนต์ต้องสำรวจฐานโค้ดได้ด้วยตนเอง ระบุบริบทของช่องโหว่แต่ละรายการ และลงมือแก้ไข มีการเพิ่ม CVE ใหม่เป็นประจำ

การตั้งค่าของ Cogent ป้อนรายงานช่องโหว่และฐานโค้ดที่ได้รับผลกระทบให้กับแต่ละงาน แพตช์จะนับว่าผ่านก็ต่อเมื่อผ่านการตรวจสอบช่องโหว่ และยังคงผ่านการตรวจสอบการทำงานด้วย งานต่าง ๆ ครอบคลุมข้อบกพร่องด้านการแทรกข้อมูล การควบคุมสิทธิ์การเข้าถึง การกำหนดค่า และความปลอดภัยของหน่วยความจำ ดังนั้น คำอธิบายที่ฟังดูน่าเชื่อถือจึงไม่เพียงพอ หากการแก้ไขยังเปิดช่องทางอื่นให้โจมตีช่องโหว่ ปิดการทำงานที่ถูกต้อง ทำให้เกิดข้อบกพร่องจากการเปลี่ยนแปลง หรือเปิดช่องโหว่ใหม่

ข้อกำหนดทั้งสองด้านนี้ทำให้การซ่อมแซมแตกต่างจากการเพียงหยุดการสาธิตการโจมตีแบบใดแบบหนึ่ง โมเดลต้องคงการทำงานตามที่ควรเป็นไว้ พร้อมกับปิดช่องโหว่ รวมถึงจัดการเส้นทางการทำงานที่เกี่ยวข้องซึ่งมีจุดอ่อนเดียวกัน

ขั้นตอนการซ่อมแซมของ VR-1.1

Cogent ระบุว่าผลลัพธ์นี้มาจากการฝึกให้ซ่อมแซมช่องโหว่และฮาร์เนสที่จำลองจุดอ่อน แก้ไข แล้วทดสอบแพตช์เพื่อหาวิธีหลบเลี่ยงการป้องกัน ในกรณีที่การตั้งค่าการทำงานอนุญาต VR-1.1 จะตรวจสอบรายงานและซอร์สโค้ดก่อนเขียนโค้ดพิสูจน์แนวคิดที่กระตุ้นข้อบกพร่องได้ วิธีนี้ทำให้โมเดลมีข้อผิดพลาดให้ติดตามและมีการทดสอบให้เรียกใช้ซ้ำหลังแก้แพตช์

ก่อนแก้ไขอย่างตรงจุด โมเดลจะค้นหาเส้นทางการทำงานของโค้ดที่เกี่ยวข้องและมีจุดอ่อนเดียวกัน การตรวจสอบอีกขั้นหนึ่งในบริบทใหม่จะพิจารณาแพตช์เพื่อหาวิธีหลบเลี่ยงการป้องกันและข้อบกพร่องที่เกิดขึ้นใหม่ VR-1.1 ยังเขียนการทดสอบการถดถอยด้วย เมื่อการตรวจสอบไม่ผ่าน การวิเคราะห์ก่อนหน้านี้และข้อมูลเกี่ยวกับข้อผิดพลาดจะช่วยชี้แนะแนวทางในการลองอีกครั้ง

ตัวอย่างการซ่อมแซมใน Fiber

การทำงานที่บันทึกไว้ครั้งหนึ่งเกี่ยวข้องกับ CVE-2025-48075 ในเฟรมเวิร์กเว็บ Fiber ประกาศแจ้งเตือนความปลอดภัยของโครงการระบุว่า ดัชนีติดลบในข้อมูลฟอร์มที่ซ้อนกันอาจทำให้ BodyParser เกิดข้อผิดพลาด panic และทำให้เซิร์ฟเวอร์ขัดข้อง ซึ่งก่อให้เกิดความเสี่ยงจากการโจมตีแบบปฏิเสธการให้บริการ โดยระบุว่าเวอร์ชันตั้งแต่ 2.52.6 เป็นต้นไปได้รับผลกระทบ และเวอร์ชันที่แก้ไขแล้วคือ 2.52.7

VR-1.1 จำลองการขัดข้องได้และเพิ่มการตรวจสอบขอบเขตก่อนนำดัชนีไปใช้ โดยปฏิเสธดัชนีที่เป็นค่าลบหรือมากเกินไป พร้อมคงการจัดการฟอร์มที่ถูกต้องไว้ Cogent รายงานว่าหลังการแก้ไข การตรวจสอบช่องโหว่ทั้ง 9 รายการผ่านทั้งหมด เทียบกับก่อนแก้ไขที่ไม่ผ่านเลย ขณะที่การตรวจสอบการทำงานทั้ง 12 รายการผ่านทั้งก่อนและหลังแก้ไข ตัวอย่างนี้มาจากการทำงานที่บันทึกไว้แยกต่างหาก ซึ่งมี 182 งาน ไม่ใช่การประเมินขั้นสุดท้ายที่มี 190 งาน

ข้อจำกัดของการประเมินและการใช้งานจริง

การประเมินปิดกั้นการเข้าถึงเครือข่ายภายนอกระหว่างการซ่อมแซม และไม่เปิดเผยชุดทดสอบให้คะแนนของ LiveCVEBench จนกว่าเอเจนต์แต่ละตัวจะทำงานเสร็จ เงื่อนไขเหล่านี้ทำให้ไม่สามารถดึงแพตช์จากต้นทางหรือใช้ชุดทดสอบให้คะแนนโดยตรงระหว่างการแก้ไขได้

Cogent เตือนว่าโมเดลพื้นฐานทั้งสองมีวันตัดข้อมูลการฝึกที่ช้ากว่าวันเผยแพร่ CVE ใน LiveCVEBench เวอร์ชันปัจจุบัน ซึ่งหมายความว่าคำแนะนำด้านความปลอดภัยและแพตช์ของ CVE เหล่านั้นอาจปรากฏอยู่ในข้อมูลการฝึกแล้ว บริษัทระบุว่าคำอธิบายงานในรูปแบบรายงานจากผู้ใช้ การปิดกั้นเครือข่าย และการใช้เงื่อนไขเดียวกัน เป็นข้อจำกัดที่มีต่อความได้เปรียบดังกล่าว

จากการสุ่มตรวจของ Cogent โมเดลสามารถอธิบายช่องโหว่บางรายการจากความจำได้ แต่ไม่สามารถสร้างแพตช์ที่ตรงกับต้นฉบับได้ บริษัทยังกำลังสร้างชุดงานจาก CVE ที่เปิดเผยหลังวันตัดข้อมูลที่เกี่ยวข้อง และมีแผนจะปรับปรุงชุดงานให้ทันสมัยอยู่เสมอ

LiveCVEBench ทดสอบช่องโหว่ที่ทราบแล้วในสภาพแวดล้อมแยกเฉพาะ และการผ่านเกณฑ์หมายถึงการทำตามข้อกำหนดการตรวจสอบที่ให้มาได้ Cogent ระบุว่าการนำไปใช้งานจริงยังต้องผ่านการตรวจสอบและทดสอบในสภาพแวดล้อมปลายทาง บริษัทกำลังนำ VR-1.1 มาใช้ในขั้นตอนการแก้ไข โดยแนบการวินิจฉัย โค้ดพิสูจน์แนวคิด และการทดสอบมากับแพตช์แต่ละรายการ เพื่อให้ผู้ตรวจสอบพิจารณาได้ ดังนั้น ผลลัพธ์จากเบนช์มาร์กจึงวัดการซ่อมแซมที่ผ่านการตรวจสอบภายใต้เงื่อนไขควบคุม ส่วนการใช้งานจริงยังขึ้นอยู่กับการตรวจสอบความถูกต้องของการซ่อมแซมในสภาพแวดล้อมที่จะใช้ซอฟต์แวร์นั้น