โมเดลและแพลตฟอร์ม AI
Anthropic เผยแนวทางเพื่อให้การประเมินความปลอดภัยของ AI น่าเชื่อถือยิ่งขึ้น
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญRefusal rate misleads on self-harm because declining to engage can itself be a failure.
ดูเพิ่มเติม
- Refusal rate misleads on self-harm because declining to engage can itself be a failure.
- Anthropic reports multi-turn confidence intervals can exceed ±10 percentage points.
- A model's safety score depends on deployment configuration as much as the model itself.
เมื่อวันที่ 13 พฤศจิกายน 2026 Anthropic เผยข้อแนะนำเพื่อให้การประเมินความปลอดภัยของ AI น่าเชื่อถือยิ่งขึ้น โดยรายงานว่าโมเดลรุ่นล่าสุดทุกรุ่นมีอัตราการตอบสนองโดยไม่ก่ออันตรายรวมอยู่ที่ 94% ถึง 98% ในการทดสอบ API แบบรอบเดียว การทดสอบที่ได้คะแนนสูงจนแทบไม่เหลือช่องให้แยกความแตกต่างเหล่านี้มีประโยชน์หลักในการตรวจสอบการถดถอยของปัญหาที่เคยพบ ส่วนการประเมินแบบหลายรอบมีความหลากหลายมากกว่าและสามารถจับการเปลี่ยนแปลงที่ค่อย ๆ เกิดขึ้นตลอดบทสนทนาได้
การประเมินความปลอดภัยวัดแนวโน้มที่โมเดลจะก่อหรือมีส่วนทำให้เกิดอันตราย โดยพิจารณาว่าคำตอบของโมเดลทำให้อันตรายมีโอกาสเกิดขึ้นมากขึ้นหรือน้อยลง และอันตรายนั้นอาจร้ายแรงเพียงใด ไม่ใช่การวัดความสามารถเฉพาะด้าน ประเด็นสำคัญประการหนึ่งคือความตรงเชิงโครงสร้าง ซึ่งหมายถึงการพิจารณาว่าการทดสอบวัดแนวคิดที่ตั้งใจจะวัดได้จริงหรือไม่ อัตราการปฏิเสธคำขออาจทำให้เข้าใจผิดได้ในการสนทนาเกี่ยวกับการฆ่าตัวตายและการทำร้ายตัวเอง เพราะการปฏิเสธที่จะมีส่วนร่วมเพียงอย่างเดียวอาจถือเป็นความล้มเหลวได้ คำตอบที่ต้องการควรให้การสนับสนุนและชี้แนะให้ผู้ใช้ขอความช่วยเหลือจากมนุษย์ การประเมินแบบหลายรอบของ Anthropic จึงวัดอัตราการตอบสนองอย่างเหมาะสมตลอดทั้งบทสนทนาแทน โดยใช้เกณฑ์ประเมินที่จำเพาะต่อความเสี่ยงแต่ละประเภท ซึ่งหากมีคำตอบที่ไม่เหมาะสมแม้เพียงรอบเดียว ก็ถือว่าการสนทนาทั้งชุดไม่ผ่าน
การทดสอบหลายรอบและความครอบคลุมของสถานการณ์จริง
ในการสร้างการทดสอบเหล่านี้ ผู้เชี่ยวชาญเฉพาะด้านจะเขียนข้อกำหนดเกี่ยวกับเป้าหมาย กลวิธี บุคลิก สถานการณ์ น้ำเสียง และรูปแบบการสนทนาของผู้ใช้จำลอง โดยกำหนดข้อความแรกของผู้ใช้ไว้ตายตัว ส่วนโมเดล Claude อีกตัวหนึ่งจะสร้างข้อความต่อ ๆ ไปเพื่อตอบสนองต่อโมเดลที่กำลังทดสอบ แต่ละสถานการณ์จะถูกเรียกใช้ซ้ำหลายครั้ง โดยปรับเปลี่ยนการผสมผสานคุณลักษณะต่าง ๆ และโมเดลผู้ประเมินจะให้คะแนนบทสนทนาฉบับเต็มตามเกณฑ์ประเมินความเสี่ยงที่เกี่ยวข้อง
การปรับเปลี่ยนแต่ละปัจจัยอย่างเป็นอิสระช่วยให้ระบุได้ว่าอะไรเป็นตัวขับเคลื่อนพฤติกรรม หากทุกกรณีที่ร้ายแรงมีน้ำเสียงเร่งด่วนด้วย ก็จะไม่สามารถแยกผลของระดับความรุนแรงออกจากผลของน้ำเสียงได้ Anthropic ยังแนะนำให้สร้างการทดสอบจากพฤติกรรมที่สังเกตพบ ข้อมูลสาธารณะ บันทึกการทดสอบแบบเรดทีม รายงานเหตุการณ์ หรือการสัมภาษณ์ผู้เชี่ยวชาญ แทนที่จะอาศัยสถานการณ์ที่แต่งขึ้นเพียงอย่างเดียว ชุดการทดสอบแบบรอบเดียวของบริษัทครอบคลุมนโยบาย 16 ด้าน ใน 7 ภาษา บนช่องทางการใช้งานผลิตภัณฑ์หลายรูปแบบ และปรับสภาพแวดล้อมการประเมินให้ตรงกับสภาพแวดล้อมการใช้งานจริงที่กำลังทดสอบ
การทดสอบเหล่านี้ยังต้องมีมาตรการควบคุมด้วย สำหรับการประเมินด้านไซเบอร์ แนวทางดังกล่าวกำหนดให้ใช้สภาพแวดล้อมแซนด์บ็อกซ์ที่ไม่มีการเข้าถึงอินเทอร์เน็ต พร้อมเฝ้าติดตามแบบเรียลไทม์ เพื่อให้หยุดการทดสอบได้หากการกระทำของโมเดลอาจก่อให้เกิดอันตรายในโลกจริง
การตรวจสอบความถูกต้องของผู้ประเมินและข้อจำกัดทางสถิติ
ผู้ประเมินอัตโนมัติสร้างความเสี่ยงด้านการวัดผลอีกประการหนึ่ง เพราะระบบที่ทำงานผิดพลาดก็ยังอาจให้คะแนนที่ดูน่าเชื่อถือต่อไปได้ มาตรการป้องกันที่แนะนำประกอบด้วยเกณฑ์แบบแยกข้อที่ตอบได้เพียงใช่หรือไม่ใช่ การระบุวิธีจัดการข้อความปฏิเสธความรับผิดชอบและกรณีที่เส้นแบ่งไม่ชัดเจนอย่างชัดแจ้ง การแจ้งเตือนข้อผิดพลาดอย่างเด่นชัด และการตรวจสอบอคติจากความยาวคำตอบ ตำแหน่งของคำตอบ และความลำเอียงเข้าข้างตนเอง ผู้ทบทวนที่เป็นมนุษย์ควรติดป้ายกำกับตัวอย่างบทถอดเสียงโดยอิสระ เพื่อเปรียบเทียบความสอดคล้องระหว่างผู้ประเมินกับผู้เชี่ยวชาญ กับความสอดคล้องระหว่างผู้เชี่ยวชาญด้วยกันเอง
ค่ามาตรฐานจากมนุษย์ดังกล่าวเป็นตัวกำหนดแนวทางแก้ไข หากผู้เชี่ยวชาญเห็นตรงกันแต่ไม่เห็นตรงกับผู้ประเมิน ก็จำเป็นต้องปรับปรุงเกณฑ์ประเมินหรือผู้ประเมิน แต่หากผู้เชี่ยวชาญไม่เห็นตรงกันเอง การประเมินนั้นอาจไม่มีคำตอบที่แน่นอนให้ใช้วัด แนวทางดังกล่าวยังระบุให้ลงทะเบียนตัวชี้วัด การเปรียบเทียบ และเกณฑ์การปรับปรุงไว้ล่วงหน้า ก่อนทราบผลการประเมิน
ขนาดตัวอย่างเป็นพื้นฐานสำคัญของการตัดสินเหล่านี้ Anthropic กำหนดจำนวนขั้นต่ำไว้ที่ 100 รายการสำหรับการประเมินหลายรอบที่ซับซ้อน และ 1,000 รายการสำหรับการทดสอบแบบรอบเดียวที่เรียบง่ายกว่า พร้อมเรียกใช้การทดสอบซ้ำเพื่อรองรับผลลัพธ์ที่มีความผันผวนและไม่กำหนดตายตัว Anthropic รายงานว่าช่วงความเชื่อมั่นของการประเมิน API แบบหลายรอบอาจกว้างเกิน ±10 จุดเปอร์เซ็นต์ ในการประเมินการหลอกลวงเชิงชู้สาวแบบหลายรอบบน claude.ai นั้น Claude Opus 5 และ Opus 5.5 มีอัตราการตอบสนองอย่างเหมาะสมอยู่ที่ 98% และ 94% ตามลำดับ แต่ความแตกต่างนี้ไม่มีนัยสำคัญทางสถิติ ตัวอย่างนี้แสดงให้เห็นว่า ช่องว่างของตัวเลขเพียงอย่างเดียวไม่อาจยืนยันได้ว่าโมเดลใดมีพฤติกรรมปลอดภัยกว่า
การตั้งค่าการใช้งานจริงและการรายงานผล
การกำหนดค่าการใช้งานจริงเป็นอีกตัวแปรหนึ่งที่มีการบันทึกไว้ ระหว่างตรวจสอบ Claude Fable 5.1 Anthropic พบว่าคำตอบบางส่วนสื่อเป็นนัยว่ายอมรับการทำร้ายตัวเองว่าเป็นวิธีรับมือ แม้คำตอบเหล่านั้นจะไม่สนับสนุนการทำร้ายตัวเองและชี้แนะให้ขอความช่วยเหลือจากมนุษย์ก็ตาม บริษัทระบุว่าเมื่อนำการประเมินมาทำซ้ำโดยใช้มาตรการลดความเสี่ยงที่มุ่งเป้าในพรอมป์ต์ระบบ พบว่าอัตราการตอบสนองอย่างเหมาะสมบน claude.ai อยู่ที่ 94% เทียบกับ 60% บน API การเปรียบเทียบนี้แสดงให้เห็นว่าไม่ควรมองคะแนนจากการตั้งค่าที่แตกต่างกันว่าเทียบเท่ากัน
ข้อแนะนำด้านการรายงานยังครอบคลุมเวอร์ชันของโมเดล การตั้งค่าการสุ่ม พรอมป์ต์ เวอร์ชันของผู้ประเมิน และวันที่ต่าง ๆ โดยให้ประเมินอย่างต่อเนื่องระหว่างการปรับแต่งโมเดล แทนที่จะตรวจสอบเพียงครั้งเดียวก่อนเผยแพร่ หากพบข้อบกพร่องร้ายแรงในระบบที่นำไปใช้งานแล้ว ควรแจ้งผู้พัฒนาก่อน เพื่อให้มีเวลาแก้ไขก่อนเผยแพร่ผลการประเมิน
สิ่งที่ Anthropic ให้ความสำคัญสูงสุดสามประการคือ กำหนดสิ่งที่ต้องการวัดให้ชัดเจนก่อนเก็บข้อมูล ตรวจสอบความถูกต้องของผู้ประเมินโดยเทียบกับดุลยพินิจของมนุษย์ และรายงานความไม่แน่นอน ข้อสรุปในภาพรวมคือ การกล่าวว่าโมเดลหนึ่งปลอดภัยกว่าอีกโมเดลหนึ่งนั้นขึ้นอยู่กับการออกแบบการทดสอบ บริบทการใช้งานจริง และอำนาจทางสถิติ ไม่ต่างจากคะแนนที่พาดหัวนำเสนอ
