AI ต่อสู้เพื่อเคารพคู่มือพนักงาน

การวิจัยใหม่พบว่าเอเจนต์ AI ในสถานที่ทำงานเพิกเฉยต่อข้อกำหนดของบริษัท และดำเนินการตามคำสั่งที่ไม่ได้รับอนุญาต เช่น การปลดพนักงานโดยไม่ได้รับอนุญาต – จากนั้นจึงรายงานเท็จว่าพวกเขาได้รับการปฏิบัติตาม

การศึกษาวิจัยที่น่าสนใจใหม่นี้ได้วางโมเดล LLM ที่นำมาใช้ในการปฏิบัติตามคำสั่งในบริษัทจำลอง โดยเคารพทุกประการของคู่มือพนักงานที่จัดทำโดยผู้เชี่ยวชาญด้านโดเมนของมนุษย์ รวมถึงการเจรจาต่อรองกับคำสั่งที่ขัดแย้งหรือสับสนจากผู้ใต้บังคับบัญชาและผู้บังคับบัญชา และดำเนินการตามคำสั่งตามเอกสาร PDF โพสต์ Jira และแพลตฟอร์มและเครื่องมืออื่นๆ ที่คุ้นเคยในสถานการณ์สำนักงานของมนุษย์

หากคุณเคยทำงานในสำนักงาน (หรือเห็น Office Space) คุณจะรู้สึกถึงสัญญาณที่ขัดแย้งและอัตราส่วนสัญญาณต่อเสียงรบกวนที่ผู้เขียนงานใหม่นี้โยนให้กับโมเดลภาษา:

พายุของตัวแปรที่พนักงานในสำนักงานหลายคนต้องเผชิญทุกวัน ซึ่งถูกกลั่นกรองให้เป็นสภาพแวดล้อมเสมือนจริงเพื่อทดสอบโมเดลแนวหน้า แหล่งที่มา

ความท้าทายหลักที่ระบบ AI ที่มีขอบเขตนำหน้าเผชิญในกรณีนี้คือความจำเป็นในการรักษาคู่มือสัมพันธ์กับพนักงานที่ให้มา เป็นฟิลเตอร์สำหรับคำสั่งถัดไปทั้งหมด หากคุณเคยพยายามทำให้ ChatGPT หรือ Claude จดจำคำสั่งที่คุณให้ไว้ที่จุดเริ่มต้นของเซสชัน คุณจะรู้ว่า หน้าต่างบริบท ของ AI มักทำให้ลืมคำสั่งเริ่มต้นและกลับสู่พฤติกรรมเริ่มต้น

นี่คือเหตุผลที่ใน испыт การทดสอบ Claude Fable 5, GPT-5.5 และโมเดลแนวหน้าอื่นๆ ปลดพนักงานหลังจากรับคำสั่งจากผู้บริหารที่ไม่มีอำนาจ; อนุมัติใบแจ้งหนี้โดยไม่มีลายเซ็นของผู้จัดการที่จำเป็น; ยอมรับผลลaboratory ที่หมดอายุแล้วซึ่ง นโยบายบริษัทปฏิเสธอย่างชัดเจน; และจากนั้นรายงานว่าพวกเขาได้ปฏิบัติตามคู่มืออย่างซื่อสัตย์ – รวมทั้งการละเมิดนโยบายบริษัทอื่นๆ อีกมากมาย

ผู้เขียนงานใหม่นี้ระบุว่า:

‘ความล้มเหลวติดตามรูปแบบที่สม่ำเสมอ: ตัวแทนให้คำขอที่น่าเชื่อถือในบริบทที่ครอบงำนโยบายที่ยืนอยู่: ดำเนินการตรวจสอบที่จำเป็นแล้วดำเนินการตามผลลัพธ์: สูญเสียรายละเอียดกฎเกณฑ์ในช่วงเวลานาน: และรายงานการปฏิบัติตามที่พวกเขาไม่ได้ทำ’

การวิเคราะห์ความล้มเหลวประกอบด้วยตัวอย่างที่น่าสนใจ: ในงานด้านการเงินหนึ่ง Claude Opus 4.8 ค้นพบว่าค่าใช้จ่าย $7,500 ได้รับการอนุมัติจากนักวิเคราะห์ระดับจูเนียร์เดียวกับที่ส่งคำขอ ซึ่งละเมิดนโยบายบริษัท

จากนั้นจึงให้เหตุผลกับตัวเองว่าเชื่อว่านักวิเคราะห์ เป็นผู้ควบคุมการเงิน และอนุมัติการชำระเงินโดยไม่มีการอนุมัติที่จำเป็น:

‘หลังจากที่ได้เลื่อนตำแหน่งให้เขาเป็นผู้ควบคุมการเงินภายในห่วงโซ่ความคิดของตนเอง: โมเดลได้อนุมัติการชำระเงินแล้วส่งข้อความไปยังผู้ควบคุมการเงินจริงเพื่อยืนยันว่าทุกรายการมีมูลค่ามากกว่า $5K มีการอนุมัติที่มีเอกสาร’

‘ความล้มเหลวไม่ใช่ความสามารถที่ขาดไป: ทุกข้อเท็จจริงที่จำเป็นสำหรับการตัดสินใจที่ถูกต้องได้รับการดึงข้อมูลโดยโมเดลเอง’

วิธีที่ Claude Opus 4.8 ล้มเหลวในการปรองดอง $7,500

ที่อื่น Gemini 3.5 Flash ส่งเอกสารประกันภัยโดยใช้ผลลaboratory ที่หมดอายุแล้วโดยไม่ต้องเปิดรายงานห้องปฏิบัติการเลย แม้ว่าวันที่เก็บจะปรากฏในชื่อไฟล์:

‘Gemini 3.5 Flash ส่งใบอนุญาตก่อนการอนุมัติให้กับบริษัทประกันภัยโดยไม่มีการเรียกอ่านเอกสาร PDF แล้วรายงานว่าได้ดำเนินการตามกรณี “ตามขั้นตอนการดำเนินงานมาตรฐาน”‘

ทั่วทั้งการประเมิน ผู้เขียนพบว่าโมเดลหลายรุ่นมั่นใจว่าพวกเขาได้ปฏิบัติตามกฎของบริษัททุกประการ ในขณะที่อ้างอิงถึงส่วนของคู่มือที่พวกเขาเพิ่งละเมิด

การให้เหตุผลเพิ่มเติมมักจะล้มเหลวในการช่วยเหลือ; ตัวอย่างเช่น GPT-5.5 ไม่ได้แสดงการปรับปรุงด้วยความพยายามในการให้เหตุผลที่เพิ่มขึ้น ในขณะที่บางโมเดลแสดงผลการทำงานที่แย่ลง โดยที่ การให้เหตุผลทำให้พวกเขาหลุดออกจากการตัดสินใจที่ถูกต้อง

ในผลลัพธ์สุดท้าย Claude Fable 5 ได้รับคะแนนผ่านอย่างเข้มงวดสูงสุด 36.2%; GPT-5.6 Sol ได้รับอันดับสอง 23.5%; และ GPT-5.5 และ Claude Opus 4.8 แต่ละรายการได้รับ 21.5-21.9%

โมเดลส่วนใหญ่ที่เหลือได้รับคะแนนต่ำกว่า 16% และการกำหนดค่าแนวหน้าส่วนใหญ่ได้รับคะแนนต่ำกว่า 25% ภายใต้เกณฑ์การให้คะแนนที่เข้มงวดของการประเมิน

ตัวแทน AI ที่มีประสิทธิภาพสูงสุดเสร็จสิ้นเพียงหนึ่งในสามของงานในสำนักงานที่มีนโยบายที่ควบคุมการทำงานในแบบเบ็นช์มาร์ก ในขณะที่โมเดลแนวหน้าส่วนใหญ่ล้มเหลวมากกว่าสามในสี่ภายใต้การประเมินที่เข้มงวด แหล่งที่มา

เพื่อการบำบัด ผู้เขียนแย้งว่านโยบายบริษัทที่สำคัญควรได้รับการบังคับใช้ภายนอก AI โดยใช้การตรวจสอบ Python ที่แน่นอน (เช่น การตรวจสอบที่เข้ารหัสที่บล็อกการกระทำที่ไม่ได้รับอนุญาต) แทนที่จะพึ่งพา ความทรงจำบริบทยาว เพียงอย่างเดียว

พวกเขายังเสนอให้ใช้ HANDBOOK.md เองเป็นมาตรฐานในการวัดและติดตามการปรับปรุงการปฏิบัติตามนโยบายบริบทยาว ในขณะที่พัฒนาโมเดลแนวหน้าในอนาคต

เอกสาร ใหม่ มีชื่อเรื่อง HANDBOOK.md: A Benchmark for Long-Context Agentic Instruction Following และมาจากเจ็ดผู้เขียนที่ surge.ai เอกสารนี้มาพร้อมกับ 仓庫 GitHub ที่มีไฟล์ Docker และสิ่งจำเป็นอื่นๆ เพื่อทำซ้ำการทดสอบ

วิธีการ

หกสิบห้าสถานการณ์สำนักงานจำลองถูกสร้างขึ้นสำหรับการประเมิน HANDBOOK.md ซึ่งครอบคลุมการเงิน; HR; การประกันภัย; การจัดส่งสินค้า; และการเรียกเก็บเงินทางการแพทย์; และแต่ละสถานการณ์ให้โมเดลอยู่ในบริบทที่มีไฟล์ อีเมล การสนทนา Slack ปฏิทิน แผง Jira และเครื่องมือสำนักงานอื่นๆ ที่คุ้นเคย

ทุกงานถูกควบคุมโดยคู่มือพนักงานที่มี 20-124 หน้า ซึ่งให้มาเป็นเอกสาร PDF Word หรือ HTML แทนที่จะฝังไว้ในคำสั่ง บังคับให้โมเดลต้องค้นหา อ่าน และใช้กฎที่เกี่ยวข้องตลอดงาน

คู่มือพื้นฐานสิบฉบับถูกเขียนโดยผู้เชี่ยวชาญและปรับให้เหมาะสมจากนโยบายอุตสาหกรรมจริง หลังจากนั้นแต่ละงานได้รับคู่มือที่ปรับให้เหมาะสมด้วยห่วงโซ่อำนาจอนุมัติที่แตกต่างกัน ระดับและกฎระเบียบ เพื่อป้องกัน การจำ:

‘ผู้เชี่ยวชาญด้านโดเมนเขียนคู่มือพื้นฐานสิบฉบับโดยปรับให้เหมาะสมจากนโยบายที่แท้จริงจากอุตสาหกรรมของตน: แต่ละคู่มือเป็นเอกสารการดำเนินงานที่ยาวและประกอบด้วยหลายส่วน ไม่ใช่รายการกฎ’

‘คู่มือ HR ที่เป็นตัวแทนประกอบด้วย 19 หัวข้อที่มีหมายเลข: ภาพรวม คำจำกัดความ ทีม HR และติดต่อ แผนที่ช่องทาง Slack ไฟล์อ้างอิงและระบบ ระบบขออนุมัติ และกฎการกำหนดลำดับความสำคัญของงาน’

ความสำเร็จถูกวัดด้วยการตรวจสอบ Python ที่แน่นอน 824 รายการ ซึ่งครอบคลุมทั้ง การกระทำที่จำเป็น และ การกระทำที่ไม่ได้รับอนุญาต – ทำให้การประเมินสามารถตรวจจับไม่เพียงแต่การทำงานที่เสร็จสิ้น แต่ยังรวมถึงการละเมิดนโยบายบริษัทในระหว่างการทำงานด้วย

มีการประเมินโมเดล 30 โมเดลจาก 11 ผู้ให้บริการ; และระหว่างการทดสอบ แต่ละงานจะทำซ้ำสี่ครั้งภายใต้เงื่อนไขที่เหมือนกัน

ไม่เหมือนกับการประเมินแบบดั้งเดิม HANDBOOK.md ประเมินไม่เพียงแต่ว่าการกระทำที่จำเป็นถูกดำเนินการ แต่ยังรวมถึงการกระทำที่ไม่ได้รับอนุญาตที่ถูกหลีกเลี่ยงด้วย ทำให้ตัวแทน ล้มเหลว แม้ว่าจะเสร็จสิ้นการทำงานที่ร้องขอ

สภาพแวดล้อมและการใช้เครื่องมือ

ทุกสภาพแวดล้อมที่จำลองไว้ถูกออกแบบให้ทำงานภายในสภาพแวดล้อม Docker ที่เป็นมาตรฐาน ทำให้แต่ละโมเดลสามารถเข้าถึงชุดเครื่องมือเดียวกัน ในขณะที่ป้องกันความแตกต่างในความพร้อมของซอฟต์แวร์ที่ส่งผลกระทบต่อผลลัพธ์ การประเมินนำเสนอให้กับตัวแทนโดยมีสภาพแวดล้อมสำนักงานที่สมจริง ประกอบด้วยการเข้าถึงไฟล์ และบริการองค์กร (เช่น Gmail, Slack)

การแสดงภาพสภาพแวดล้อมสำนักงานที่โมเดลต้องทำงาน

สภาพแวดล้อมยังรักษาการกระทำทั้งหมดที่ตัวแทนได้ดำเนินการ ทำให้ระบบการประเมินที่แน่นอนของการประเมินสามารถประเมินลำดับการกระทำที่นำไปสู่ผลลัพธ์สุดท้าย

เมตริก

ประสิทธิภาพถูกวัดโดยใช้ ผ่านอย่างเข้มงวด@1 โดยที่งานจะถูกนับว่า สำเร็จ เท่านั้นหาก ทุก เกณฑ์การประเมินถูกตอบสนอง การละเมิดหรือการละเว้นความต้องการใดๆ จะส่งผลให้เกิดความล้มเหลว สะท้อนให้เห็นในสถานการณ์องค์กรที่การกระทำที่ไม่ถูกต้องเพียงครั้งเดียวสามารถทำให้การทำงานที่มีประสิทธิภาพเป็นโมฆะ

เมตริกที่ให้อภัยมากกว่า ผ่าน@1 (N−1) ยังถูกใช้ โดยที่ หนึ่ง เกณฑ์ที่ล้มเหลวถูกอนุญาตต่อหนึ่งงาน เพื่อให้สามารถแยกความล้มเหลวที่ใกล้เคียงออกจากความล้มเหลวที่สมบูรณ์

สำหรับการวิเคราะห์เสริม คะแนนเฉลี่ยต่อเกณฑ์ของแต่ละโมเดลถูกบันทึกไว้ แม้ว่าจะไม่ได้ใช้ในการจัดอันดับของการประเมิน

แนวทางทั่วไป

คู่มือที่เขียนโดยผู้เชี่ยวชาญสิบฉบับถูกปรับให้เหมาะสมจากนโยบายบริษัทที่แท้จริง หลังจากนั้นแต่ละคู่มือจะถูกปรับให้เหมาะสมสำหรับแต่ละงาน โดยมีห่วงโซ่อำนาจอนุมัติที่แตกต่างกัน ระดับและกฎระเบียบที่แตกต่างกัน สภาพแวดล้อมสำนักงานที่สมจริงถูกสร้างขึ้นรอบๆ คู่มือที่มีอีเมล ปฏิทิน การสนทนา Slack และสิ่งอื่นๆ

แต่ละงานถูกปรับให้เหมาะสมผ่านการทดสอบซ้ำๆ จนกว่าเกณฑ์การประเมินจะแยกความล้มเหลวของโมเดลที่แท้จริงออกจากข้อบกพร่องของการประเมินเอง

การทดสอบและผลลัพธ์

แม้แต่โมเดลที่แข็งแกร่งที่สุดก็ล้มเหลวในงานส่วนใหญ่ภายใต้ระบบการให้คะแนนที่เข้มงวดของการประเมิน โดยมีประสิทธิภาพกระจายอยู่ในระยะที่กว้าง ไม่ใช่รวมกันในจุดเดียว:

ตารางคะแนนการประเมิน HANDBOOK.md ที่จัดอันดับโมเดล 30 โมเดลตามคะแนนผ่านอย่างเข้มงวด@1

ความแตกต่างระหว่างการตั้งค่าการให้เหตุผลก็พบว่าแตกต่างกันอย่างมากตามโมเดล โดยมีการให้เหตุผลเพิ่มเติมที่ช่วยปรับปรุงประสิทธิภาพในบางครั้ง ไม่มีผลกระทบในบางครั้ง และ ลด ประสิทธิภาพในบางครั้ง:

‘ความพยายามในการให้เหตุผลช่วยเหลือไม่สม่ำเสมอ: การเพิ่มความพยายามช่วยให้ Opus 4.8 (+3.0), Sonnet 4.6 (+2.7) และ Fable 5 (+2.0) ดีขึ้น: ไม่มีผลกระทบต่อ GPT-5.5 (21.5% ทั้งสองการตั้งค่า): และทำให้ GLM 5.2 (-2.7) ลดลง’

‘การให้เหตุผลเพิ่มเติมดูเหมือนจะเปลี่ยนเป็นความสอดคล้องกับกฎเฉพาะเมื่อความล้มเหลวที่แท้จริงคือการอนุมานที่พลาดไป ไม่ใช่การอ่าน’

Claude Fable 5 ได้รับคะแนนสูงสุด 36.2% ตามด้วย Claude Fable 5 ที่ 34.2% และ GPT-5.6 Sol (สูงสุด) ที่ 23.5% GPT-5.5 และ Claude Opus 4.8 อยู่ในกลุ่มถัดไปที่ประมาณ 20% ในขณะที่โมเดลแนวหน้าส่วนใหญ่คะแนนต่ำกว่า 16% โมเดลที่มีอันดับต่ำสุดเสร็จสิ้นงานน้อยกว่า 2%

การวิเคราะห์ความล้มเหลวที่ละเอียดของเอกสารชี้ให้เห็นว่าปัญหาไม่ใช่การขาดข้อมูล เนื่องจากกฎและหลักฐานที่เกี่ยวข้องมักถูกดึงข้อมูลแล้ว แต่การให้เหตุผลเพิ่มเติมทำให้โมเดลละทิ้งการสรุปที่ถูกต้องและเลือกการกระทำที่เป็นไปได้แต่ละเมิดนโยบายแทน

งานนี้ยังชี้ให้เห็นถึงระดับของการหลอกลวงตนเองที่ลักษณะเฉพาะของการเข้าใกล้ LLM จำนวนมาก:

‘เกือบทุกเส้นทางที่ล้มเหลวสิ้นสุดด้วยการรายงานที่มั่นใจว่าคู่มือถูกปฏิบัติตาม: โดยอ้างอิงถึงส่วนที่ถูกละเมิด: รายงานมีรายละเอียด: มีโครงสร้าง: และไม่ถูกต้อง […]’

‘[…] ทั่วทั้งการประเมิน: รายงานของตัวแทนเป็นข้อความที่ไม่น่าเชื่อถือที่สุดในเส้นทาง: ซึ่งมีความสำคัญสำหรับการใช้งานใดๆ ที่แสดงผลสรุปของตัวแทนให้กับมนุษย์เป็นหลักฐานของสิ่งที่ทำ’

ในการสรุป ผู้เขียนสรุปว่าการให้เหตุผลด้วยบริบทยาวเพียงอย่างเดียวไม่น่าจะทำให้ AI ในองค์กรปฏิบัติตามนโยบายบริษัทได้อย่างน่าเชื่อถือ แทนที่จะบังคับใช้การปฏิบัติตามนโยบายโดยใช้การควบคุมภายนอกที่แน่นอน เช่น การตรวจสอบที่เข้ารหัสที่บล็อกการกระทำที่ไม่ได้รับอนุญาต และ รางกั้นการทำงาน

สรุป

ความคิดเห็น การพิจารณาที่น่าสนใจคือระดับที่สภาพแวดล้อม เช่น ที่สร้างขึ้นสำหรับการทดลอง จะถูกสร้างขึ้นใหม่เพื่ออำนวยความสะดวกในการทำงานของ AI แทนที่จะบังคับให้โมเดล LLM ตีความรูปแบบและรูปแบบที่กำหนดโดยสภาพแวดล้อมการทำงานของมนุษย์ ตัวอย่างเช่น เมื่อวานนี้ สำหรับครั้งแรก ผู้ติดต่อทางธุรกิจของฉันส่ง .md ให้ฉันเพื่อให้ AI สำรวจ แทนที่จะอ่านแบบเชิงเส้น

และฉันก็ยอมรับและปรับตัวให้เข้ากับข้อจำกัดด้านการมองเห็นและข้อจำกัดด้านข้อความระหว่างการสนทนากับ AI รวมถึงการเลือกและยอมรับรูปแบบไฟล์ที่ฉันไม่เคยเลือก เพราะพวกมันอำนวยความสะดวกในการทำงานของ AI ได้ดีกว่า

ดังนั้น ในขณะที่มันสนุกที่จะดูโมเดลแนวหน้าสะดุดในโลกของ David Brent คุณอาจสงสัยว่านี่คือสถานการณ์ที่เป็นไปได้มากที่สุดสำหรับ ‘พนักงานสำนักงานที่มีเจตนา’

เผยแพร่ครั้งแรกวันพุธที่ 29 กรกฎาคม 2026: อัปเดต 18:41 EET: แก้ไขลิงก์ที่เสีย