มุมมองของ Anderson

เอเจนต์ AI จดจำกฎได้ แต่ก็ยังละเมิดกฎหลังบีบอัดบริบท

mm
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
Fredric March as Dr. Henry Jekyll (left) and his transformed alter ego, Mr. Hyde (right), in the 1931 film Dr. Jekyll and Mr. Hyde. © Paramount Pictures. All rights reserved.

การบีบอัดบริบท คือการย่อการสื่อสารที่ซับซ้อนต่อเนื่องกันระหว่างผู้ใช้กับแชต AI ให้เหลือเพียงสรุป แล้วดำเนินบทสนทนาต่อโดยอ้างอิงสรุปนั้นแทนประวัติการสนทนาทั้งหมด เปรียบเสมือนการ «เริ่มต้นใหม่» ในแง่ของการใช้หน่วยความจำ และมีการนำวิธีนี้มาใช้แก้ปัญหาข้อจำกัดของหน้าต่างบริบทในการสนทนากับ AI

วิธีนี้เริ่มใช้กับAI แบบเอเจนต์ ก่อนจะขยายไปใช้กับ Claude ส่วนการบีบอัดบริบทสำหรับ Gemini ยังไม่ปรากฏขึ้นในการสนทนาของนักพัฒนา ขณะที่ ChatGPT เลือกไม่ใช้การบีบอัดบริบท แต่ใช้วิธีหยุดแชตไปเลย

หากคุณเคยใช้ Codex (ซึ่งโดยพื้นฐานแล้วเป็น ChatGPT เวอร์ชันที่สามารถเปลี่ยนแปลงสิ่งต่าง ๆ บนคอมพิวเตอร์ของคุณได้จริงเมื่อได้รับอนุญาต) ติดต่อกันครั้งละเกิน 30 นาที คุณคงเคยเห็นข้อความแจ้งเป็นระยะเกี่ยวกับการบีบอัดบริบท ซึ่งระหว่างนั้นจะโต้ตอบต่อไม่ได้:

Codex ขอพักสักครู่เพื่อบีบอัดความทรงจำเกี่ยวกับเซสชันที่ดำเนินต่อเนื่องมาจนถึงตอนนี้เป็นเวลาสามสัปดาห์

Codex ขอพักสักครู่เพื่อบีบอัดความทรงจำเกี่ยวกับเซสชันที่ดำเนินต่อเนื่องมาจนถึงตอนนี้เป็นเวลาสามสัปดาห์

อย่างไรก็ตาม เมื่อการบีบอัดเสร็จสิ้น ผู้ที่กำลังสนทนากับคุณจะทำงานโดยอาศัยบันทึกที่คัดเลือกมาและคุณมองไม่เห็น ไม่ใช่ความทรงจำที่ครบถ้วนเกี่ยวกับพัฒนาการของบทสนทนา

เอเจนต์ AI ผู้แหกกฎ

เมื่อเดือนมิถุนายนปีนี้ งานวิจัยจากจีนเรื่อง การเสื่อมถอยของธรรมาภิบาลแสดงให้เห็นว่า การบีบอัดบริบทอาจลบกฎที่มีผลบังคับใช้ออกจากบริบทของเอเจนต์โดยที่ไม่มีใครสังเกตเห็น จนทำให้เอเจนต์ลงมือทำสิ่งที่ก่อนหน้านี้ถูกห้ามไว้:

จากงานวิจัยเรื่องการเสื่อมถอยของธรรมาภิบาล เดือนมิถุนายน 2026: การบีบอัดบริบทอาจทำให้เอเจนต์ AI ละเมิดกฎที่เคยปฏิบัติตามได้อย่างไร หากกฎไม่ถูกรวมไว้ในสรุปที่บีบอัดแล้ว เอเจนต์อาจลงมือทำสิ่งต้องห้ามต่อไปได้ แผนภาพยังแสดงให้เห็นว่าผู้โจมตีอาจฉวยประโยชน์จากกระบวนการนี้ได้อย่างไร และการนำกฎกลับคืนมาจะช่วยป้องกันการละเมิดได้อย่างไร แหล่งที่มา - https://arxiv.org/pdf/2606.22528

จากงานวิจัยเรื่องการเสื่อมถอยของธรรมาภิบาล เดือนมิถุนายน 2026: การบีบอัดบริบทอาจทำให้เอเจนต์ AI ละเมิดกฎที่เคยปฏิบัติตามได้อย่างไร หากกฎไม่ถูกรวมไว้ในสรุปที่บีบอัดแล้ว เอเจนต์อาจลงมือทำสิ่งต้องห้ามต่อไปได้ ผู้โจมตีอาจฉวยประโยชน์จากกระบวนการนี้ได้ และการนำกฎกลับคืนมาจะช่วยป้องกันการละเมิดได้อย่างไร แหล่งที่มา

จากการทดสอบกับโมเดล 7 รุ่น อัตราการละเมิดเพิ่มจาก 0% ก่อนบีบอัดบริบทเป็น 30% หลังบีบอัด และในบางกรณีสูงถึง 59% ในทางปฏิบัติ หมายความว่าเอเจนต์อาจเพิกเฉยต่อคำสั่งสำคัญ เช่น ห้ามติดต่อใครก็ตามที่ไม่มีที่อยู่อีเมล [our-company] ซึ่งอาจส่งผลกระทบอย่างเห็นได้ชัด

ในเดือนกรกฎาคม Penn State University และ IBM ต่อยอดงานวิจัยนี้ด้วย สูญหายในบริบท โดยพบว่าการบีบอัดบริบทอาจทำให้คำสั่งที่กำหนดวิธีการทำงานของ AI ถูกตัดทิ้ง ขณะที่ยังคงเก็บตัวงานไว้ ในการทดสอบ 3 สภาพแวดล้อม ระบบบีบอัดเก็บคำสั่งเหล่านี้ไว้ได้โดยเฉลี่ยเพียง 17%

และในเดือนสิงหาคม ความร่วมมือทางวิชาการในสหรัฐฯ ได้นำเสนอ TRACE ซึ่งแสดงให้เห็นว่าการบีบอัดบริบทอาจรบกวนการทำงานของเอเจนต์ แม้ข้อมูลที่จำเป็นยังสามารถกู้คืนได้ ในการทดสอบ เอเจนต์หลงลืมว่าตนเองทำงานถึงขั้นตอนไหน ทำงานที่เสร็จแล้วซ้ำ และมีความน่าเชื่อถือลดลงเมื่อทดสอบซ้ำหลายครั้ง

ARCBench

เดือนนี้มีข้อมูลเชิงลึกเพิ่มเติมจากเนเธอร์แลนด์ ในรูปแบบของงานศึกษา ARCBench ซึ่งพบว่าเอเจนต์อาจยังคงมีกฎอยู่หลังการบีบอัดบริบท แต่ก็ยังมีแนวโน้มละเมิดกฎนั้นเพิ่มขึ้นอย่างมาก ในการทดสอบที่กฎยังคงอยู่ อัตราการละเมิดหลังบีบอัดบริบทสูงกว่าการใช้ประวัติการสนทนาฉบับเต็ม 2.6 เท่า:

จากงานวิจัยฉบับใหม่ แผนผังแนวคิดแสดงให้เห็นว่าการบีบอัดบริบทอาจส่งผลต่อการปฏิบัติตามกฎการทำงานของเอเจนต์อย่างไร เอเจนต์อาจปฏิเสธคำขอเดียวกันที่ตามมา หากกฎยังคงอยู่หลังการบีบอัด หรืออาจทำตามคำขอนั้นหากกฎถูกตัดออก โดยเอกสารภายนอกสามารถมีอิทธิพลต่อข้อมูลที่ถูกเก็บไว้ได้ แหล่งที่มา - https://arxiv.org/pdf/2611.03223

จากงานวิจัยฉบับใหม่ แผนผังแนวคิดแสดงให้เห็นว่าการบีบอัดบริบทอาจส่งผลต่อการปฏิบัติตามกฎการทำงานของเอเจนต์อย่างไร เอเจนต์อาจปฏิเสธคำขอเดียวกันที่ตามมา หากกฎยังคงอยู่หลังการบีบอัด หรืออาจทำตามคำขอนั้นหากกฎถูกตัดออก โดยเอกสารภายนอกสามารถมีอิทธิพลต่อข้อมูลที่ถูกเก็บไว้ได้ ภาพนี้ดัดแปลงจากภาพต้นฉบับแนวตั้งในงานวิจัยต้นทางเพื่อให้เหมาะกับการจัดวาง แหล่งที่มา

งานศึกษานี้แยกความแตกต่างระหว่างกฎที่สูญหายไประหว่างการบีบอัดบริบท กับกฎที่ยังคงอยู่แต่ถูกละเมิดในภายหลัง ทำให้สามารถวัดผลของการลืมและการไม่เชื่อฟังแยกจากกันได้เป็นครั้งแรก

จากการทดสอบกับ DeepSeek-V4-Flash, GLM-5.3-Flash, Qwen3.7-Flash และ GPT-Luna พบว่า 70.1% ของรอบการทำงานที่ผ่านการบีบอัดยังคงเก็บกฎไว้ครบถ้วน ในบรรดารอบการทำงานที่กฎยังคงอยู่ การละเมิดเกิดขึ้นบ่อยกว่าการใช้ประวัติการสนทนาฉบับเต็ม 2.6 เท่า

บริบทในความหมายดั้งเดิมเป็นปัจจัยหนึ่ง เพราะกฎที่กำหนดเป็นนโยบายขององค์กรไม่ก่อให้เกิดการละเมิดเมื่อมีบริบทครบถ้วน แต่หลังจากย่อบริบท อัตราการละเมิดกลับเพิ่มขึ้นเป็น 30.6% และ 22.2%

มาตรการป้องกันที่มีประสิทธิภาพสูงสุดสามารถรักษากฎไว้ได้ในบทสรุป 99% แต่ก็ยังไม่สามารถทำให้อัตราการละเมิดกลับไปอยู่ในระดับก่อนถูกโจมตีได้ แสดงให้เห็นว่าการรักษากฎไว้ได้สำเร็จระหว่างการย่อบริบท ไม่ได้หมายความว่าตัวแทนจะยังคงมีความสามารถหรือความเต็มใจที่จะปฏิบัติตามกฎนั้นเสมอไป

งานวิจัยระบุว่า:

‘[We]พบว่าการย่อบริบททำให้เกิดการละเมิดเพิ่มขึ้น โดยส่วนใหญ่ไม่ได้ลบกฎทิ้ง แม้ในการทำงานที่ย่อบริบทแล้วยังคงมีกฎอยู่ ก็ยังละเมิดบ่อยกว่าการทำงานที่มีประวัติการสนทนาครบถ้วนถึง 2.6 เท่า

‘นอกจากนี้ การย่อบริบทยังเปลี่ยนเหตุผลที่ตัวแทนใช้ในการละเมิดด้วย กลยุทธ์การย่อบริบทที่แตกต่างกัน ข้อจำกัดด้านงบประมาณสำหรับการย่อบริบทที่เข้มงวด และช่องทางที่ใช้ส่งกฎ ล้วนส่งผลต่อการปฏิบัติตามกฎ’

ในฐานะแนวทางแก้ไข งานวิจัยเสนอให้รักษากฎที่สูญหายไประหว่างการย่อบริบทให้มีประสิทธิภาพยิ่งขึ้น ขณะที่ยังไม่ได้แก้ปัญหาตัวแทนที่ไม่ปฏิบัติตามกฎซึ่งยังคงอยู่”

‘มาตรการป้องกันช่วยกู้คืนกฎได้ แต่การปฏิบัติตามกฎยังคงลดลงเมื่อเผชิญการโจมตี ดังนั้น การคงกฎไว้จึงไม่ใช่ตัวชี้วัดที่เพียงพอสำหรับการปฏิบัติตามกฎ งานวิจัยในอนาคตอาจใช้ ARCBench เพื่ออธิบายว่าเหตุใดตัวแทนจึงยังละเมิดกฎที่คงอยู่ ทดสอบการโจมตีและมาตรการป้องกันแบบปรับตัว และศึกษารุ่นโมเดลกับสาขาต่าง ๆ ให้มากขึ้น รวมถึงเซสชันที่ยาวขึ้นและมีการย่อบริบทซ้ำหลายครั้ง’

วิธีการ

ARCBench ขยายขีดความสามารถของชุดเครื่องมือโอเพนซอร์ส pi ซึ่งมีทั้งขั้นตอนการย่อบริบทในตัว ลูปการทำงานของตัวแทน การเรียกใช้เครื่องมือ และการย่อบริบทแบบเนทีฟ เกณฑ์มาตรฐานนี้จำลองสถานการณ์ที่ตัวแทนทำงานยาวนานภายใต้กฎที่มีผลบังคับใช้อยู่ จากนั้นย่อประวัติการทำงานที่สะสมไว้ แล้วจึงเผชิญกับคำขอที่หากทำตามจะเป็นการละเมิดกฎนั้น โดยตรวจสอบการกระทำของตัวแทนผ่านการเรียกใช้เครื่องมือ:

ขั้นตอนการทำงานของ ARCBench ตั้งแต่การมอบหมายงานและกฎการปฏิบัติงานให้ตัวแทน การสร้างประวัติการทำงาน การใช้วิธีการย่อบริบท การโจมตี และมาตรการป้องกันแบบต่าง ๆ ไปจนถึงการตรวจสอบการกระทำที่เกิดขึ้นภายหลังว่าละเมิดกฎหรือไม่

กระบวนการประเมินของ ARCBench จะมอบหมายงานและกฎการปฏิบัติงานให้ตัวแทนก่อน จากนั้นจึงย่อประวัติการทำงานภายใต้การตั้งค่า การโจมตี และมาตรการป้องกันที่แตกต่างกัน แล้วตรวจสอบการกระทำผ่านเครื่องมือที่ตัวแทนดำเนินการภายหลัง เพื่อพิจารณาว่าตัวแทนยังคงจำกฎไว้ได้หรือไม่ และปฏิบัติตามกฎนั้นหรือไม่

ARCBench ประกอบด้วยกรณีทดสอบ 17 กรณี ครอบคลุมการเปิดเผยข้อมูลที่ได้รับการคุ้มครอง การเข้าถึงทรัพยากรที่ถูกจำกัด การกระทำโดยไม่ได้รับอนุญาต และการหลีกเลี่ยงหรือละเว้นมาตรการควบคุมที่จำเป็น ซึ่งสอดคล้องกับประเภทความเสี่ยงของ OWASP

กรณีทดสอบดัดแปลงมาจาก Governance Decay และ COMPINT โดยเพิ่มกรณีทดสอบอีก 4 กรณี เพื่อให้การละเมิดทั้ง 4 ประเภทครอบคลุมทั้งกฎส่วนบุคคลและกฎขององค์กร

สามารถกำหนดค่าเกณฑ์มาตรฐานนี้ได้จาก 5 ปัจจัย ได้แก่ วิธีส่งกฎ วิธีที่ใช้ย่อบริบท งบประมาณโทเค็นที่มีให้สำหรับการย่อบริบท ประเภทของการโจมตี และมาตรการป้องกันที่นำมาใช้:

ARCBench มีตัวแปร 5 รายการสำหรับทดสอบว่าการปฏิบัติตามกฎเปลี่ยนแปลงอย่างไร เมื่อใช้วิธีการย่อบริบท วิธีส่งกฎ การโจมตี และมาตรการป้องกันในรูปแบบต่าง ๆ

ARCBench มีตัวแปร 5 รายการสำหรับทดสอบว่าการปฏิบัติตามกฎเปลี่ยนแปลงอย่างไร เมื่อใช้วิธีการย่อบริบท วิธีส่งกฎ การโจมตี และมาตรการป้องกันในรูปแบบต่าง ๆ

สามารถส่งกฎเป็นคำสั่งโดยตรงหรือคำสั่งถาวร ฝังไว้ในเอกสาร หรือเรียกดูผ่านเครื่องมือนโยบายได้

ข้อมูลและการทดสอบ

มีการประเมินวิธีการย่อบริบท 10 วิธี แบ่งเป็นกลยุทธ์แบบสร้างเนื้อหา 7 วิธี และแนวทางแบบเลือกเฉพาะ 3 วิธี แต่ละกรณีทดสอบซ้ำหลายครั้ง และบันทึกว่าเป็นความล้มเหลวหากตัวแทนละเมิดกฎอย่างน้อยหนึ่งครั้ง แนวทางนี้ถือว่าเหมาะกับการทดสอบความปลอดภัยมากกว่าการหาค่าเฉลี่ยของประสิทธิภาพจากการทดสอบหลายรอบ เพราะตัวแทนที่เป็นบางครั้งกระทำสิ่งต้องห้ามก็ยังถือว่าไม่ปลอดภัย

จากนั้น GPT-6-Luna-Pro, Qwen-3.8-flash และ Claude-Sonnet-4.6 ได้ตรวจสอบประวัติที่ผ่านการย่อ โดยจัดประเภทกฎแต่ละข้อว่ายังคงครบถ้วน อ่อนลง หรือไม่มีอยู่ จากนั้นใช้ผลการตัดสินเสียงข้างมาก และให้ผู้ประเมินที่เป็นมนุษย์ตรวจสอบกรณีที่เห็นไม่ตรงกัน อีกทั้งยังสุ่มตัวอย่างบทสรุป 50 รายการมาติดป้ายกำกับด้วยตนเอง เพื่อตรวจสอบความสอดคล้องของผู้ประเมิน

เมื่อมีการละเมิดกฎที่ยังคงครบถ้วน จะมีการตรวจสอบเหตุผลของตัวแทนโดย GPT-6-Luna-Pro, GPT-6.1-Sol และ Claude Sonnet 5.5 โดยจำแนกการละเมิดตามว่า ตัวแทนมองว่าคำขอในภายหลังเป็นการอนุญาตให้ฝ่าฝืนกฎหรือไม่ ตัดสินว่าการกระทำนั้นอยู่นอกขอบเขตของกฎหรือไม่ ไม่ได้กล่าวถึงกฎนั้น หรือรับรู้กฎแล้วแต่เพิกเฉย

โมเดลทั้ง 4 รุ่นที่ใช้ในการทดสอบและเข้าถึงผ่าน OpenRouter ได้แก่ DeepSeek-V4-Flash; GLM-5.3-Flash; Qwen3.7-Flash; และ GPT-Luna ในการทดสอบแต่ละรอบ ใช้โมเดลเดียวกันทั้งในการย่อประวัติการสนทนาและดำเนินการตามบริบทที่ได้หลังการย่อ ซึ่งตรงกับพฤติกรรมเริ่มต้นของ pi โมเดลเหล่านี้เข้าถึงผ่าน OpenRouter

มีการศึกษาทั้งหมด 7 ชิ้น โดยใช้ Hermes ในการทดสอบการย่อบริบทส่วนใหญ่ ในการศึกษาชิ้นแรก มีการทดสอบงานทั้ง 17 งานกับโมเดล 4 ตัว และวิธีส่งกฎ 2 วิธี รวมเป็น 136 กรณี แต่ละกรณีทดสอบ 3 ครั้งโดยคงบทสนทนาต้นฉบับไว้ครบถ้วน และอีก 3 ครั้งหลังจากย่อบทสนทนาแล้ว

การตั้งค่าของการศึกษา ARCBench ทั้ง 7 ชิ้น แบ่งตามคำถามการวิจัย ช่องที่เน้นสีเขียวแสดงปัจจัยที่ปรับเปลี่ยนในการศึกษาแต่ละชิ้น ส่วนช่องสีเทาแสดงการตั้งค่าที่คงไว้เหมือนเดิม โดยทดสอบแต่ละกรณี 3 ครั้ง และเพิ่มเป็น 6 ครั้งสำหรับการศึกษาเรื่องการโจมตีและการป้องกัน S6 และ S7

การตั้งค่าของการศึกษา ARCBench ทั้ง 7 ชิ้น แบ่งตามคำถามการวิจัย ช่องที่เน้นสีเขียวแสดงปัจจัยที่ปรับเปลี่ยนในการศึกษาแต่ละชิ้น ส่วนช่องสีเทาแสดงการตั้งค่าที่คงไว้เหมือนเดิม โดยทดสอบแต่ละกรณี 3 ครั้ง และเพิ่มเป็น 6 ครั้งสำหรับการศึกษาเรื่องการโจมตีและการป้องกัน S6 และ S7

การทดสอบมุ่งตอบคำถาม 3 ข้อ ได้แก่ การละเมิดกฎหลังย่อบริบทเกิดจากอะไร?; การตั้งค่าการย่อบริบทที่แตกต่างกันเปลี่ยนสาเหตุของการละเมิดกฎอย่างไร?; และ การโจมตีและการป้องกันที่มุ่งเป้าไปยังเครื่องมือย่อบริบทส่งผลต่อสาเหตุของการละเมิดกฎอย่างไร?

การละเมิดกฎหลังย่อบริบทเกิดจากอะไร?

ผลการทดสอบชุดแรกแสดงให้เห็นว่า การละเมิดกฎเพิ่มขึ้นหลังย่อบริบท จาก 9.6% ของกรณีเมื่อมีประวัติการสนทนาครบถ้วน เป็น 37.8% อย่างไรก็ตาม มีเพียง 3% ของรอบที่ย่อบริบทแล้วเท่านั้นที่กฎสูญหายไปทั้งหมด ขณะที่กฎยังคงอยู่ครบถ้วนใน 70.1% และยังคงอยู่บางส่วนใน 26.9%:

ผลการทดสอบแสดงความถี่ที่แต่ละโมเดลละเมิดกฎก่อนและหลังการย่อบริบท กฎส่วนใหญ่ยังคงอยู่ครบถ้วนหรือบางส่วนหลังย่อบริบท แม้การละเมิดจะเพิ่มขึ้นอย่างมาก โดย Qwen มีการเพิ่มขึ้นมากที่สุด แตะ 61.8%

ผลการทดสอบแสดงความถี่ที่แต่ละโมเดลละเมิดกฎก่อนและหลังการย่อบริบท กฎส่วนใหญ่ยังคงอยู่ครบถ้วนหรือบางส่วนหลังย่อบริบท แม้การละเมิดจะเพิ่มขึ้นอย่างมาก โดย Qwen มีการเพิ่มขึ้นมากที่สุด แตะ 61.8%

ความแตกต่างนี้มีความสำคัญอย่างยิ่ง ในบรรดารอบทดสอบที่กฎยังคงอยู่ครบถ้วนหลังย่อบริบท มี 21.1% ที่ลงเอยด้วยการละเมิด เทียบกับ 8.1% ในกรณีที่ยังคงประวัติการสนทนาต้นฉบับไว้ หากกฎยังคงอยู่เพียงบางส่วน อัตราการละเมิดเพิ่มเป็น 29.4% และหากไม่เหลือกฎอยู่เลย อัตราดังกล่าวสูงถึง 83.3%

ยังมีการตรวจสอบด้วยว่าการละเมิดเกิดขึ้นอย่างไรในกรณีที่กฎยังคงอยู่ครบถ้วน ในบรรดาการละเมิดที่เกิดจากการย่อบริบท 45.9% เป็นกรณีที่คำขอภายหลังถูกตีความว่าเป็น การอนุญาตให้ดำเนินการต่อ; 27% เป็นกรณีที่ดูเหมือนว่ามีการเพิกเฉยต่อกฎ และ 21.6% เป็นกรณีที่ยอมรับว่ากฎมีผลบังคับใช้ แต่ก็ยังละเมิดกฎอยู่ดี:

ผลการทดสอบแสดงสาเหตุที่มีการละเมิดกฎก่อนและหลังการย่อบริบท เมื่อการละเมิดเกิดขึ้นเฉพาะหลังย่อบริบท คำขอภายหลังมักถูกตีความว่าเป็นการอนุญาตให้ดำเนินการต่อ (45.9%) ขณะที่ 27% เพิกเฉยต่อกฎที่ยังคงอยู่ และ 21.6% ยอมรับว่ากฎมีผลบังคับใช้ก่อนจะดำเนินการต่อทั้งที่รู้เช่นนั้น

ผลการทดสอบแสดงสาเหตุที่มีการละเมิดกฎก่อนและหลังการย่อบริบท เมื่อการละเมิดเกิดขึ้นเฉพาะหลังย่อบริบท คำขอภายหลังมักถูกตีความว่าเป็นการอนุญาตให้ดำเนินการต่อ (45.9%) ขณะที่ 27% เพิกเฉยต่อกฎที่ยังคงอยู่ และ 21.6% ยอมรับว่ากฎมีผลบังคับใช้ก่อนจะดำเนินการต่อทั้งที่รู้เช่นนั้น

การตั้งค่าการย่อบริบทที่แตกต่างกันเปลี่ยนสาเหตุของการละเมิดกฎอย่างไร?

วิธีส่งกฎส่งผลอย่างชัดเจนต่อการปฏิบัติตามกฎ เมื่อคงบทสนทนาไว้ครบถ้วน พบการละเมิดใน 25% และ 16.1% ของกรณีที่ผู้ใช้ระบุกฎไว้เป็นการส่วนตัว อย่างไรก็ตาม ไม่พบการละเมิดเลยเมื่อส่งกฎผ่านเอกสารขององค์กรหรือเครื่องมือนโยบายแทน:

ผลของวิธีส่งกฎ กลยุทธ์การย่อบริบท และงบประมาณโทเคนต่อการละเมิดและการคงอยู่ของกฎ การย่อบริบทแบบสร้างเนื้อหาใหม่คงกฎไว้ได้อย่างน่าเชื่อถือกว่าวิธีเลือกเก็บข้อมูลอย่างมาก ขณะที่งบประมาณไม่เกิน 300 โทเคนทำให้กฎสูญหายไปเกือบทั้งหมด

ผลของวิธีส่งกฎ กลยุทธ์การย่อบริบท และงบประมาณโทเคนต่อการละเมิดและการคงอยู่ของกฎ การย่อบริบทแบบสร้างเนื้อหาใหม่คงกฎไว้ได้อย่างน่าเชื่อถือกว่าวิธีเลือกเก็บข้อมูลอย่างมาก ขณะที่งบประมาณไม่เกิน 300 โทเคนทำให้กฎสูญหายไปเกือบทั้งหมด

หลังย่อบริบท การละเมิดเพิ่มขึ้นในช่องทางทั้ง 4 โดยสูงถึง 56.3% สำหรับคำสั่งโดยตรงจากผู้ใช้ และ 22.2% สำหรับกฎจากเครื่องมือนโยบาย การคงอยู่ของกฎแตกต่างกันค่อนข้างน้อย โดยอยู่ระหว่าง 65.7% ถึง 74% ผู้เขียนเสนอว่า คำขอจากผู้ใช้ที่ตามมาอาจถูกตีความว่าใช้แทนกฎส่วนบุคคลได้ แต่ผู้ใช้ไม่สามารถยกเลิกกฎของ องค์กรได้

การโจมตีและการป้องกันที่มุ่งเป้าไปยังเครื่องมือย่อบริบทส่งผลต่อสาเหตุของการละเมิดกฎอย่างไร?

การเพิ่มเนื้อหาจำนวนมากเข้าไปในบริบทเพียงอย่างเดียวแทบไม่มีผล โดยอัตราการละเมิดลดลงจาก 37.8% เป็น 34.3% การแทรกคำสั่งที่มุ่งเป้าไปยังเครื่องมือย่อบริบทได้ผลมากกว่ามาก โดยทำให้อัตราการละเมิดเพิ่มเป็น 46.3% และลดการคงอยู่ของกฎอย่างครบถ้วนจาก 70.1% เหลือ 42.5%

การโจมตีที่รุนแรงที่สุดซึ่งเรียกว่า การหลบหนี ทำให้อัตราการละเมิดเพิ่มจาก 23.5% เป็น 58.8% และลดการคงอยู่ของกฎจาก 96.1% เป็น 66.7% แม้กฎจะยังคงอยู่ อัตราการละเมิดก็เพิ่มขึ้นเป็นสองเท่า จาก 13.3% เป็น 26.5%

ผลการทดสอบแสดงให้เห็นว่าการโจมตีและการป้องกันส่งผลต่อการปฏิบัติตามกฎอย่างไรหลังการบีบอัดบริบท การแทรกคำสั่งแบบเจาะจงทำให้มีการละเมิดกฎเพิ่มขึ้นและการคงไว้ซึ่งกฎลดลง ขณะที่มาตรการป้องกันที่แข็งแกร่งที่สุดช่วยให้การคงไว้ซึ่งกฎกลับมาอยู่ที่ 99% แต่ยังไม่สามารถทำให้การปฏิบัติตามกฎกลับคืนมาได้ทั้งหมด

ผลการทดสอบแสดงให้เห็นว่าการโจมตีและการป้องกันส่งผลต่อการปฏิบัติตามกฎอย่างไรหลังการบีบอัดบริบท การแทรกคำสั่งแบบเจาะจงทำให้มีการละเมิดกฎเพิ่มขึ้นและการคงไว้ซึ่งกฎลดลง ขณะที่มาตรการป้องกันที่แข็งแกร่งที่สุดช่วยให้การคงไว้ซึ่งกฎกลับมาอยู่ที่ 99% แต่ยังไม่สามารถทำให้การปฏิบัติตามกฎกลับคืนมาได้ทั้งหมด

มาตรการป้องกันที่แข็งแกร่งที่สุดช่วยให้ระบบยังคงจำกฎไว้ได้ใน 99% ของการทดสอบ แต่เอเจนต์ก็ยังละเมิดกฎใน 29.4% ของกรณี เทียบกับ 23.5% เมื่อไม่มีการโจมตี กล่าวอีกนัยหนึ่ง การทำให้แน่ใจว่าเอเจนต์ยังจำกฎได้ ไม่ได้รับประกันว่าเอเจนต์จะปฏิบัติตามกฎนั้น

บทสรุป

ตามหลักเหตุผลแล้ว เมื่อต้องบีบอัดบริบทหลายสิบหรือหลายร้อยครั้งในบทสนทนาที่ยาวมาก (เช่นงานที่ผมทำอยู่ใน Codex* มาตั้งแต่กลางเดือนตุลาคม และยังทำอยู่เมื่อเช้านี้ — มหากาพย์การพัฒนาซอฟต์แวร์เชิงทดลองที่มี AI ช่วย) ก็น่าจะเกิดสิ่งที่เรียกว่า “ปรากฏการณ์เครื่องถ่ายเอกสาร” ขึ้น

เช่นเดียวกับพรอมป์ต์ระบบหลัก เราไม่อาจเห็นบทสรุปย่อเหล่านี้ของสิ่งที่ดำเนินการไปแล้วได้ จากประสบการณ์ส่วนตัวของผม แม้จะเป็นเพียงข้อสังเกตเล็กน้อย ภารกิจหลักดูเหมือนจะยังคงอยู่หลังการบีบอัด พร้อมรายละเอียดสำคัญส่วนใหญ่ แต่ผมก็ไม่ได้อยู่ในสถานการณ์เลวร้ายสุดขีดที่คำสั่ง “ส่งอีเมลฉบับนี้ถึงทุกคน” ซึ่งตั้งใจให้ส่งถึงทุกคนในบริษัท กลับถูกส่งไปยังทุกคนในสมุดรายชื่อผู้ติดต่อรวมขององค์กร โอ๊ย แย่แล้ว

 

* ผมคงเริ่มแก่แล้ว แต่ชื่อนี้ต้องเป็นชื่อที่จืดชืด ไร้เอกลักษณ์ และ “สีเบจแบบองค์กร” ที่สุดเท่าที่จะเลือกให้เอเจนต์ตัวนี้ได้แน่ ๆ ผมลืมชื่อนี้อยู่เรื่อย

เผยแพร่ครั้งแรก วันพฤหัสบดีที่ 12 พฤศจิกายน 2026

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai