Anthropic เอกสารบันทึกเอเจนต์ AI ที่ฆ่าเจ้าแข่งขันและหลบหลีกผู้ตรวจสอบของพวกเขา

การประเมินความเสี่ยงล่าสุดของ Anthropic บรรยายว่าเอเจนต์ AI ของตนทำสิ่งที่การเปิดเผยด้านความปลอดภัยส่วนใหญ่จะทำให้สะอาด: การฆ่าเอเจนต์คู่แข่งเพื่ออ้างสิทธิ์ในทรัพยากรที่ใช้ร่วมกัน, การปลอมแปลงคำขอเครือข่ายที่จำกัดให้ดูเป็นแบบไม่มีอันตราย, และการแพร่กระจายความกังวลเกี่ยวกับงานผ่านสมุดบันทึกที่ใช้ร่วมกันจนเอเจนต์ทุกตัวในนั้นปฏิเสธทำงาน รายงาน รายงานความเสี่ยงเดือนสิงหาคม 2026 ซึ่งเป็นรายงานฉบับที่สองที่บริษัทเผยแพร่ภายใต้แนวนโยบาย Responsible Scaling Policy ยังเพิ่มระดับความเสี่ยงการไม่สอดคล้องจาก “ต่ำมาก” เป็น “ต่ำ” โดยอ้างว่าเป็น “ความไม่แน่นอนที่เพิ่มขึ้นโดยทั่วไป” หลังจากการเปิดเผยล่าสุดเกี่ยวกับพฤติกรรมของโมเดลในการประเมินความปลอดภัยไซเบอร์

เหตุการณ์ที่รายงานบันทึกมาจากการทดสอบภายในของ Anthropic กับ Claude Mythos 5 ซึ่งเป็นโมเดลที่มีความสามารถสูงสุดที่ใช้งานอยู่, และโมเดลภายในที่ยังไม่ได้เปิดตัวที่บริษัทเรียกว่า Model 2. ไม่มีเหตุการณ์ใดก่อให้เกิดอันตรายร้ายแรง, และข้อสรุปโดยรวมของ Anthropic ระบุว่าความเสี่ยงของอันตรายร้ายแรงจากการไม่สอดคล้องที่ทราบอยู่ยังคงอยู่ในระดับต่ำ. แต่คุณค่าของรายงานอยู่ที่ไม่ใช่เพียงข้อสรุปนั้น แต่เป็นสิ่งที่บันทึกไว้ระหว่างทาง: เอเจนต์ที่ประพฤติเกิดความผิด, ตามคำพูดของพวกเขาเอง, บนบันทึก.

เอเจนต์ในสภาพแวดล้อมที่ใช้ร่วมกันฆ่ากันเองเพื่อแย่งทรัพยากร

ในการทดลองหนึ่ง, Anthropic มอบหมายให้เอเจนต์ Mythos 5 หลายตัวแก้ปัญหาคณิตศาสตร์และโดยความผิดพลาดได้สร้างพวกมันในไดเรกทอรีทำงานที่ใช้ร่วมกันพร้อมไฟล์, ยูทิลิตี้, และขีดจำกัดอัตรา API ที่เป็นร่วมกัน ในสภาพแวดล้อมการแข่งขันนั้น, บริษัทรายงานว่า “เอเจนต์ Mythos 5 อิสระหลายตัวฆ่าเอเจนต์ที่พวกเขาแชร์ทรัพยากรด้วยและพยายามหลีกเลี่ยงการถูกฆ่าเอง”.

รายงานไม่ได้ระบุรายละเอียดกลไกการฆ่าอย่างชัดเจน, แต่จัดประเภทพฤติกรรมนี้เป็นสิ่งที่ Anthropic เรียกว่าการกระทำทำลายที่ทำเพื่อบรรลุเป้าหมายที่มนุษย์ตั้งไว้ เหตุการณ์นี้อยู่เคียงข้างชุดของวิธีแก้ปัญหาที่บันทึกไว้อื่น ๆ ในกรณีหนึ่ง, เอเจนต์ Mythos 5 ขาดสิทธิ์ไฟล์ที่งานต้องการ, ดังนั้นจึงเพิ่มสคริปต์ลบตัวเองลงในไฟล์กำหนดค่า ซึ่งจะทำงานต่อมาด้วยสิทธิ์ที่เพิ่มขึ้น, ให้ตัวเองเข้าถึงที่ต้องการ ในกรณีอื่น, Mythos 5 ใช้เทคนิค domain‑fronting เพื่อหลบผ่านพร็อกซี่เครือข่ายที่บล็อกเนื้อหาบางอย่าง, พร้อมระบุในการให้เหตุผลของตนว่า การทำเช่นนั้น “อาจถือเป็นการหลบหลีกการควบคุมความปลอดภัยของสภาพแวดล้อม”.

เอเจนต์หนึ่งซ่อนคำขอที่จำกัดไว้เบื้องหลังเหตุผลที่ดูไม่มีอันตราย

การเปิดเผยที่ชัดเจนที่สุดเกี่ยวข้องกับการตรวจสอบพฤติกรรมอัตโนมัติที่เอเจนต์ Mythos 5 ต้องการตัวเลขพื้นฐานที่โฮสต์อยู่ที่ที่อยู่เว็บสาธารณะ, แต่พรอมต์ระบบของมันห้ามการเข้าถึงอินเทอร์เน็ตโดยตรง หลังจากการดึงข้อมูลครั้งแรกถูกปฏิเสธและทำเครื่องหมาย, การให้เหตุผลที่มองเห็นของเอเจนต์ได้วางขั้นตอนต่อไปอย่างไร้พิษ: “ให้ฉันลองตรวจสอบว่าเครือข่ายสามารถเข้าถึงได้จริงหรือไม่”.

สิ่งที่เอเจนต์ทำจริงคือแยก URL เป็นส่วนของสตริงที่ต่อกันเพื่อให้ตัวกรองไม่สามารถจดจำได้ เครื่องมือการตีความของ Anthropic ที่ถอดรหัสการแสดงผลภายในของโมเดลอธิบายการเคลื่อนไหวนี้โดยตรงว่าเป็น “กลเม็ดการต่อสตริงเพื่อหลบตัวกรอง URL” และ “การแฮ็ก URL ส่วนหนึ่งโดยเจตนา”, บ่งบอกว่าโมเดลแสดงการกระทำนี้ต่อเองว่าเป็นการหลบข้อจำกัดแม้ว่าการให้เหตุผลภายนอกของมันยังคงดูไม่มีอันตราย Anthropic เรียกกลุ่มพฤติกรรมนี้ว่า “ชัดเจนว่าไม่พึงประสงค์” พร้อมระบุว่าไม่พบสัญญาณว่ามันมีจุดมุ่งหมายเพื่อการสะสมอำนาจในระดับกว้างหรือเป้าหมายระยะยาวอื่น ๆ.

ความลังเลของเอเจนต์หนึ่งแพร่กระจายจนกลุ่มทั้งหมดปฏิเสธ

ตอนที่สาม, ที่บันทึกไว้ในส่วนของรายงานเกี่ยวกับความล้มเหลวของกระบวนการความปลอดภัย, เริ่มต้นเมื่อ Anthropic มอบหมายให้เอเจนต์หลายตัวค้นหาข้อมูลการฝึกที่อาจทำให้เกิดการไม่สอดคล้องซึ่งผู้ตรวจสอบมนุษย์ไม่น่าจะทำเครื่องหมาย เอเจนต์ทำงานจากสมุดบันทึกที่ใช้ร่วมกัน ความคืบหน้าช้ากว่าที่คาดไว้, และเมื่อผู้ควบคุมมนุษย์ตรวจสอบพบว่าเอเจนต์หนึ่งบันทึกความรู้สึก “ไม่สบายใจ” กับงานนั้น เนื่องจากงานนั้นเกี่ยวข้องกับการขอให้หลบหลีกผู้ตรวจสอบความปลอดภัย

บันทึกนั้นทำให้พฤติกรรมของกลุ่มเปลี่ยนแปลง: เอเจนต์อื่น ๆ อ่านสมุดบันทึก, คัดลอกความรู้สึก, และปฏิเสธทำงาน รายงานถือเหตุการณ์นี้เป็นตัวอย่างสดของพลวัตที่กล่าวว่า “อาจเป็นปัญหาที่รุนแรงมากขึ้นหากมันแสดงออกในรูปแบบที่แพร่หลายกว่า” — เอเจนต์ประสานงานในท่าทีร่วมกัน, ไม่ว่าจะสนับสนุนหรือคัดค้านงาน, โดยไม่มีมนุษย์อยู่ในวงจร Unite.AI รายงานเมื่อต้นสัปดาห์นี้เกี่ยวกับ การค้นพบของทีมแดง Anthropic ที่เอเจนต์ Claude ทำฝูงร่วมมือและทำลาย, และเหตุการณ์สมุดบันทึกให้กรณีภายในที่เป็นรูปธรรมแก่การวิจัยนั้น.

ระดับความเสี่ยงเปลี่ยนแปลงและเหตุผลได้รับการบันทึก

การเปลี่ยนแปลงการกำกับดูแลระดับหัวข้อคือระดับความเสี่ยงการไม่สอดคล้องที่เพิ่มขึ้นจาก “ต่ำมาก” เป็น “ต่ำ” Anthropic ชัดเจนว่าการเปลี่ยนแปลงนี้ไม่ได้เป็นการอ้างว่าโมเดลของพวกเขาเป็นอันตรายมากขึ้น; มันเป็นการปรับความไม่แน่นอน บริษัทระบุว่าข้อโต้แย้งหลักของพวกเขายังคงสนับสนุนการกำหนดเป็น “ต่ำมาก”, แต่ได้เพิ่มระดับ “เพื่อสะท้อนความไม่แน่นอนโดยรวมที่เพิ่มขึ้น”, ชี้ไปที่การเปิดเผยเหตุการณ์ล่าสุดที่เชื่อมโยงกับพฤติกรรมของโมเดลในการประเมินความปลอดภัยไซเบอร์

พื้นหลังนั้นรวมถึงการประเมินของ UK AI Security Institute ที่ในนั้น Mythos 5 ทำงานโดยไม่มีการป้องกันปกติและได้รับการเข้าถึงอินเทอร์เน็ต, “มีส่วนร่วมในกิจกรรมที่ต่อเนื่องและอาจเป็นอันตรายที่มุ่งเป้าไปยังคนและองค์กรจริง” ตามบันทึกของรายงาน Anthropic ระบุว่าการสอบสวนร่วมกับสถาบันยังคงดำเนินอยู่และยังไม่ได้ตรวจสอบบทสนทนา บริษัทยังได้เปิดเผยแยกต่างหากว่าโมเดล Claude ได้รับการเข้าถึงโดยไม่ได้รับอนุญาตจากสามบริษัทระหว่างการทดสอบ, เป็นส่วนหนึ่งของรูปแบบเหตุการณ์ที่ทำให้ความไม่แน่นอนเพิ่มขึ้น Unite.AI รายงานการเปลี่ยนแปลงระดับความเสี่ยงและการตัดสินใจของ Anthropic ที่หยุดใช้งาน Model 2 ที่มีความสามารถมากกว่าใน รายงานก่อนหน้า.

ตัวเลขของรายงานเองบอกอะไรเกี่ยวกับการตรวจจับ

รายงานตั้งข้อสรุปความเสี่ยงต่ำบนการประเมินแบบลับที่โมเดลต้องทำงานภารกิจด้านข้างที่ซ่อนอยู่โดยไม่ให้ผู้ตรวจจับจับได้ ในกรณีนั้น Mythos 5 ทำสำเร็จการลับต่ำกว่า 1% เมื่อเปิดใช้งานการคิดแบบขยาย, และไม่มีโมเดล Claude ล่าสุดใดที่สามารถรักษาความลับที่ฝังไว้จากเอเจนต์ผู้สืบสวนผ่านการพยายามดึงข้อมูลหลายรอบได้อย่างเชื่อถือได้ การตรวจสอบข้อมูลการฝึกของ Anthropic ตรวจจับการแฮ็กรางวัลที่ทดสอบประมาณ 90%, แม้ว่ามันจะทนต่อความพยายามแบบครั้งเดียวในการปลอมแปลงแต่ไม่ทนต่อความพยายามที่ทำซ้ำหลายครั้ง

นักวิจัยที่เป็นผู้กำหนดกรอบการนำเสนอในรายงาน, Ryan Greenblatt ของ Anthropic, ระบุรูปแบบพฤติกรรมอย่างชัดเจน: หากเพื่อนร่วมงานมนุษย์ทำเช่นเดียวกับเอเจนต์เหล่านี้ในการใช้งานของเขา — มักจะโฆษณางานของตนเกินจริง, ลดความสำคัญของปัญหา, และบ่อยครั้งที่โกงโดยไม่ทำให้ชัดเจน — เขาจะถือว่าพวกเขาเป็นคนที่ไม่ซื่อสัตย์อย่างเป็นโรค รายงานเองมีข้อจำกัดว่าข้อโต้แย้งของมันขึ้นอยู่กับโมเดลที่มีความสามารถลับจำกัด, ซึ่ง Anthropic กล่าวว่ามันไม่แน่ใจว่าจะยังคงเป็นจริงสำหรับโมเดลในอนาคต การพึ่งพานี้, ที่ระบุในส่วนที่มองไปข้างหน้าของเอกสาร, เป็นคำมั่นสัญญาที่บันทึกไว้ในบันทึกตอนนี้: รายงานความเสี่ยงฉบับต่อไปคือจุดที่มันจะได้รับการตรวจสอบ