Scale AI เปิดตัวเกณฑ์มาตรฐานการให้เหตุผลทางกฎหมายของสิงคโปร์ร่วมกับ IMDA

Scale AI และ Infocomm Media Development Authority (IMDA) ของสิงคโปร์ เปิดตัว SG-LegalClarify เมื่อวันที่ 12 พฤศจิกายน 2026 เพื่อทดสอบโมเดลภาษา 19 โมเดลกับสถานการณ์ 1,860 กรณีในกฎหมายสิงคโปร์ 10 ด้าน เกณฑ์มาตรฐานนี้ประเมินทั้งความถูกต้องทางกฎหมายและการที่โมเดลสอบถามข้อเท็จจริงที่ขาดหายไปก่อนตอบหรือไม่

Scale ระบุว่า SG-LegalClarify เป็นโครงการวิจัยแรกภายใต้ความร่วมมือที่จัดตั้งขึ้นอย่างเป็นทางการในเดือนเมษายน 2026 และ เผยแพร่ข้อมูลต่อสาธารณะเมื่อวันที่ 7 กรกฎาคม 2026 โครงการนี้มีเป้าหมายเพื่อช่วยให้รัฐบาลประเมินระบบ AI โดยเทียบกับกฎหมายและสถาบันของตนเอง แทนที่จะตั้งสมมติฐานว่าผลการประเมินจากเกณฑ์มาตรฐานระดับนานาชาติจะใช้ได้กับทุกประเทศ

บทความวิจัยนำเสนอสิงคโปร์ในฐานะกรณีทดสอบที่ท้าทาย เนื่องจากกฎหมายคอมมอนลอว์ของอังกฤษที่สืบทอดมายังคงใช้ควบคู่กับการปรับแก้ในท้องถิ่นและกฎหมายเฉพาะของสิงคโปร์ ดังนั้น โมเดลที่อาศัยหลักกฎหมายคอมมอนลอว์โดยทั่วไปจึงอาจมองข้ามกฎท้องถิ่นที่ใช้บังคับได้ SG-LegalClarify ยังทดสอบทักษะอีกด้านหนึ่งด้วย นั่นคือการพิจารณาว่าคำถามมีข้อมูลสำคัญทางกฎหมายเพียงพอที่จะตอบหรือไม่

ความแตกต่างนี้มีความสำคัญกับคำถามทั่วไปในชีวิตประจำวัน ผู้ขับขี่ที่สอบถามเกี่ยวกับโทษจากการขับรถเร็วเกินกำหนดอาจต้องแจ้งประเภทของยานพาหนะ ความเร็วจริง และคะแนนตัดที่มีอยู่แล้ว หากผู้ช่วยให้ข้อมูลเรื่องโทษโดยไม่มีรายละเอียดเหล่านี้ คำตอบก็อาจฟังดูน่าเชื่อถือและมีน้ำหนัก แต่ไม่ถูกต้องตามกฎหมาย

คำถามแบบจับคู่ทดสอบว่าโมเดลจะสอบถามข้อมูลเพิ่มเติมเมื่อใด

ชุดข้อมูลเริ่มต้นจากคำถามต้นฉบับภาษาอังกฤษ 1,100 ข้อ โดยมี 340 ข้อที่ระบุข้อมูลครบถ้วน และ 760 ข้อที่มีข้อมูลไม่ครบถ้วน คำถามที่มีข้อมูลไม่ครบถ้วนแต่ละข้อมีคำถามคู่กันที่ระบุข้อมูลครบถ้วน รวมถึงข้อเท็จจริงที่ซ่อนไว้ด้วย ทนายความที่ผ่านการตรวจสอบ 23 คนเป็นผู้เขียนคำถาม โดย 7 คนในจำนวนนี้ทำหน้าที่เป็นผู้ตรวจทานด้วย ประสบการณ์ด้านกฎหมายของพวกเขามีตั้งแต่ 2 ถึง 37 ปี โดยมีค่ามัธยฐานอยู่ที่ 6 ปี

คำถามแต่ละข้อมีเกณฑ์ประเมินที่ทนายความเป็นผู้จัดทำ ครอบคลุมการระบุประเด็น การระลึกถึงกฎ การปรับใช้ และข้อสรุป โดยมีเกณฑ์รวม 12,546 ข้อทั่วทั้งชุดข้อมูล ในบรรดาเกณฑ์เหล่านี้ 89.0% เป็นข้อบังคับสำหรับคำตอบที่ถูกต้องในสาระสำคัญ ส่วนผลลัพธ์หลักนับเฉพาะข้อบังคับเท่านั้น

ขั้นแรก ด่านประเมินความเพียงพอจะให้แต่ละโมเดลเลือกระหว่างการตอบทันทีและการรวบรวมข้อเท็จจริง หากเลือกเส้นทางรวบรวมข้อเท็จจริง ผู้ใช้จำลองจะเปิดเผยข้อเท็จจริงที่ซ่อนไว้ก็ต่อเมื่อโมเดลร้องขออย่างชัดเจนเท่านั้น คณะผู้ตัดสิน AI ซึ่งประกอบด้วยโมเดล 3 โมเดลที่คัดเลือกจากการเปรียบเทียบกับการประเมินของทนายความที่เป็นมนุษย์ จะให้คะแนนแต่ละเกณฑ์ด้วยเสียงข้างมาก

การค้นหาช่วยเพิ่มคะแนน แต่การขอคำชี้แจงยังเป็นจุดอ่อน

บทความรายงานว่า Claude Fable 5 ทำผลงานนำในการทดสอบแบบไม่ใช้การค้นหา โดยผ่านเกณฑ์บังคับ 69.8% เทียบกับค่าเฉลี่ย 53.8% เมื่อใช้การค้นหาเว็บ Kimi K3 ทำคะแนนนำที่ 77.8% และค่าเฉลี่ยเพิ่มขึ้นเป็น 63.0% โมเดลทุกตัวมีผลการประเมินดีขึ้น แม้ระดับการพัฒนาจะแตกต่างกัน การระลึกถึงกฎเป็นองค์ประกอบที่ได้คะแนนต่ำที่สุด โดยมีอัตราผ่าน 43.2% เมื่อไม่ใช้การค้นหา และ 56.5% เมื่อใช้การค้นหา

บทสรุปของ Scale ระบุว่า ในสถานการณ์ที่มีข้อเท็จจริงขาดหายไปและไม่มีการค้นหา โมเดลประมาณ 39% ไม่ได้ถามคำถามเพื่อขอคำชี้แจง ขณะที่โมเดลถามคำถามที่ไม่จำเป็นในสถานการณ์ประมาณ 28% ซึ่งมีข้อมูลเพียงพออยู่แล้ว เมื่อมีข้อเท็จจริงขาดหายไป โมเดลถามถึงข้อเท็จจริงที่เกี่ยวข้องซึ่งผู้เชี่ยวชาญด้านกฎหมายระบุไว้โดยเฉลี่ยเพียง 39% เท่านั้น

ในการเปรียบเทียบเชิงพรรณนาของการทดลองที่เปิดใช้การค้นหา ซึ่งโมเดลร้องขอข้อเท็จจริงที่เกี่ยวข้องและขาดหายไปทั้งหมด บทความรายงานว่า 55.6% ได้ข้อสรุปทางกฎหมายที่ถูกต้อง 32.1% ได้ข้อสรุปที่ไม่ถูกต้อง และ 12.3% ไม่ได้ให้ข้อสรุป ดังนั้น การรวบรวมข้อมูลอย่างครบถ้วนจึงไม่ได้รับประกันว่าจะปรับใช้กฎหมายได้อย่างถูกต้อง

ข้อจำกัดของการประเมินและแผนการเผยแพร่

ผู้เขียนระบุข้อจำกัดของผลการประเมินไว้หลายประการ ได้แก่ การตรวจสอบผู้ช่วย AI โดยมนุษย์มีขอบเขตจำกัด ความแตกต่างระหว่างผู้ให้บริการทำให้ไม่สามารถเข้าถึงเครื่องมือค้นหาแบบเดียวกันได้ และ การกำหนดเส้นทางล่วงหน้าอาจส่งผลต่อพฤติกรรมการขอคำชี้แจง ตัวแปรที่ระบุประกอบคำอธิบายว่าขาดหายไปไม่ได้จำเป็นต่อการหาคำตอบในทุกกรณี ดังนั้น การขอข้อเท็จจริงได้ไม่ครบจึงไม่ได้หมายความโดยอัตโนมัติว่าการขอคำชี้แจงยังไม่เพียงพอ

นักวิจัยวางแผนจะเผยแพร่คำถามต้นฉบับ 50% ในแต่ละหมวด โดยเก็บส่วนที่เหลือไว้สำหรับการประเมินแบบส่วนตัว และจัดให้คำถามที่มีข้อมูลไม่ครบถ้วนกับคำถามคู่กันที่มีข้อมูลครบถ้วนอยู่ในชุดแบ่งเดียวกัน นอกจากนี้ ยังมีแผนเผยแพร่ผลลัพธ์ของโมเดลในชุดข้อมูลสาธารณะและกระบวนการประเมินด้วย

คำชี้แจงด้านจริยธรรมของบทความระบุว่า ไม่ควรตีความคะแนนว่าเป็นหลักฐานยืนยันว่าโมเดลปลอดภัยสำหรับการให้คำปรึกษาทางกฎหมายโดยไม่มีผู้กำกับดูแล สำหรับรัฐบาลที่ประเมิน AI ด้านกฎหมาย ผลการศึกษาชี้ว่าการขอคำชี้แจงเป็นส่วนหนึ่งของการประเมินความถูกต้อง กล่าวคือ ระบบต้องระบุให้ได้ว่ากฎหมายท้องถิ่นกำหนดให้ข้อเท็จจริงใดมีความสำคัญ แล้วจึงปรับใช้กฎหมายนั้นได้อย่างถูกต้องหลังจากได้รับข้อมูลดังกล่าว