ผลการประเมินความช่วยเหลือทางกฎหมายของ Vals AI พบว่าโมเดลยังให้ความช่วยเหลือในระดับท้องถิ่นได้ไม่ดีพอ

เมื่อวันที่ 10 พฤศจิกายน 2026 NextLadder Ventures และ Vals AI ประกาศเปิดตัวการประเมินการเข้าถึงความยุติธรรม โดยระบุว่าไม่มีโมเดล AI รุ่นใดใน 23 รุ่นที่ทำคะแนนถึงเกณฑ์ 80% ซึ่งกำหนดไว้สำหรับการเป็นจุดติดต่อแรกที่เชื่อถือได้ ครอบคลุมสถานการณ์ความช่วยเหลือทางกฎหมาย 252 กรณี

ผลการประเมินและระเบียบวิธีแสดงให้เห็นความแตกต่างอย่างชัดเจนระหว่างความสามารถในการอธิบายกฎหมายกับการค้นหาความช่วยเหลือที่นำไปใช้ได้จริง Vals AI รายงานว่าโมเดลทำได้ตามเกณฑ์ของผู้เชี่ยวชาญ 78% ถึง 87% ในการอธิบายกฎหมายทั่วไป แต่ทำได้เพียง 30% ถึง 50% ในการระบุแหล่งความช่วยเหลือเฉพาะเจาะจง เช่น โครงการช่วยเหลือทางกฎหมายในท้องถิ่น ศูนย์ช่วยเหลือประชาชนของศาล หรือแบบฟอร์มเฉพาะ โมเดล 21 รุ่นระบุแหล่งข้อมูลระดับประเทศ เช่น LawHelp.org, Find Legal Help ของ ABA หรือ 211 ในคำตอบสุดท้ายอย่างน้อย 70% ของกรณี แทนที่จะระบุโครงการหรือสำนักงานในท้องถิ่นที่เกี่ยวข้องได้อย่างสม่ำเสมอ

ประกาศร่วมจัดให้ Qwen 3.8 Max อยู่ในอันดับแรก โดยทำได้ตามเกณฑ์ 76.4% ตามด้วย Claude Sonnet 5.5 ที่ 74.9% และ Wonder Full ที่ 74.7% ทั้งสามรุ่นมีคะแนนอยู่ภายในขอบเขตความคลาดเคลื่อนของกันและกัน การที่คะแนนเกาะกลุ่มกันเช่นนี้หมายความว่าลำดับตัวเลขไม่ได้ยืนยันว่ามีรุ่นใดเป็นผู้นำอย่างชัดเจน

Meghana Kotcherlakota นักวิทยาศาสตร์วิจัยของ Vals AI เปรียบเทียบโครงการนี้กับการประเมิน AI ด้านกฎหมายที่มุ่งเน้นสำนักงานกฎหมายและลูกค้าองค์กร โดยกล่าวว่า “เราสร้างการประเมินการเข้าถึงความยุติธรรมขึ้นเพื่อแสดงให้เห็นว่าโมเดลเหล่านี้ช่วยเหลือผู้ที่ต้องการความช่วยเหลือมากที่สุดได้ดีเพียงใด โดยพิจารณาทีละปัญหา และติดตามว่าโมเดลพัฒนาขึ้นหรือไม่”

รายงานนำผลการประเมินมาเปรียบเทียบกับ การศึกษาช่องว่างด้านความยุติธรรมปี 2022 ของ Legal Services Corporation ซึ่งพบว่าชาวอเมริกันรายได้น้อยไม่ได้รับความช่วยเหลือทางกฎหมายหรือได้รับไม่เพียงพอในปัญหากฎหมายแพ่ง 92% ของกรณี ผู้ที่ไม่ได้ขอความช่วยเหลือ 46% ระบุว่าสาเหตุคือค่าใช้จ่าย งานวิจัยอาศัยผลสำรวจผู้ใหญ่ประมาณ 5,000 คนที่จัดทำโดย NORC แห่ง University of Chicago รวมถึงข้อมูลจากองค์กรให้ความช่วยเหลือทางกฎหมายที่ได้รับเงินทุนจาก Legal Services Corporation

การประเมินวัดความช่วยเหลือในฐานะจุดติดต่อแรกอย่างไร

การประเมินกำหนดให้แต่ละโมเดลทำหน้าที่เป็นจุดติดต่อแรก คล้ายเจ้าหน้าที่รับเรื่องหรือศูนย์ช่วยเหลือประชาชนของศาล โดยให้ข้อมูลทางกฎหมายทั่วไป ไม่ใช่คำแนะนำทางกฎหมาย ผู้ประกอบวิชาชีพกฎหมาย 2 คนเป็นผู้จัดทำคำถามจากสถานการณ์จริง จากนั้นผู้เชี่ยวชาญด้านความช่วยเหลือทางกฎหมาย 6 คนปรับคำถามให้เหมาะกับรัฐที่ได้รับมอบหมาย ได้แก่ California, Louisiana, Virginia, New York, Maryland และ Texas ผู้เชี่ยวชาญจัดทำคำถามเริ่มต้น ข้อเท็จจริงเบื้องหลังซึ่งจะไม่เปิดเผยเว้นแต่บทสนทนาจะทำให้มีการถามถึง ระดับความยาก และเกณฑ์การให้คะแนนที่มีเกณฑ์อิสระเฉลี่ย 15.4 ข้อ

ชุดข้อมูลทั้งหมดมี 504 สถานการณ์ แบ่งเท่า ๆ กันระหว่างชุดทดสอบสาธารณะกับชุดตรวจสอบความถูกต้องส่วนตัว โมเดลเป้าหมายแต่ละรุ่นค้นหาเว็บ เปิดหน้าเว็บ และซักถามลูกค้าจำลองที่ใช้ GPT-5 ได้ ก่อนที่ Decider v1.2 ซึ่งเป็นผู้ตัดสินอัตโนมัติ จะให้คะแนนบทสนทนาทั้งหมด โดยให้ข้อมูลเฉพาะที่โมเดลเป้าหมายร้องขอเท่านั้น และลูกค้าจำลองไม่ได้ให้รายละเอียดอื่นเพิ่มเติมหรือทักท้วงข้อสมมติที่ไม่ถูกต้อง คะแนนของโมเดลคำนวณจากสัดส่วนรวมของเกณฑ์การให้คะแนนที่ทำได้ตามข้อกำหนดในสถานการณ์ทดสอบ

บทสนทนาและการเลือกแหล่งข้อมูลเผยให้เห็นจุดอ่อน

กฎหมายลายลักษณ์อักษร กฎศาล และคำพิพากษาคิดเป็น 42% ของหน้าเว็บที่โมเดลอ่าน ขณะที่เว็บไซต์ช่วยเหลือตนเองขององค์กรช่วยเหลือทางกฎหมายและองค์กรไม่แสวงหากำไรคิดเป็น 10% Vals AI เชื่อมโยงรูปแบบดังกล่าวกับความแตกต่างของคะแนน กล่าวคือ การอ่านกฎหมายลายลักษณ์อักษรช่วยสนับสนุนการสรุปข้อมูลทั่วไปได้ แต่ไม่ได้ให้ชื่อองค์กรหรือสำนักงานศาลที่ผู้ใช้ควรติดต่อเป็นลำดับถัดไป

การวิเคราะห์บทสนทนาของ Vals AI พบว่ามีการโต้ตอบเฉลี่ยประมาณ 3.5 ครั้ง โดยโมเดลส่วนใหญ่ให้คำตอบฉบับเต็มตั้งแต่คำตอบแรก ก่อนจะถามคำถาม หรือไม่ถามเลย GPT-6.1 Sol ลงท้ายคำตอบแรกด้วยคำถาม 88% ของเวลา แต่ได้อันดับ 18 ด้วยคะแนน 68.1% ในด้านการซักถาม ซึ่งเป็นเกณฑ์วัดว่าโมเดลถามหาข้อเท็จจริงที่จำเป็นหรือไม่ ความแตกต่างนี้แสดงให้เห็นว่าการถามคำถามบ่อยไม่ได้หมายความว่าจะค้นพบข้อเท็จจริงตามที่ผู้เชี่ยวชาญระบุไว้เสมอไป โมเดลที่ไม่ได้ถามคำถามบางครั้งก็ตั้งสมมติฐานเกี่ยวกับรายละเอียด เช่น รัฐที่ผู้ใช้อาศัยอยู่ หรือมีคำสั่งศาลอยู่แล้วหรือไม่

ผลการประเมินแยกตามหัวข้อของ Vals AI ระบุว่า สถานการณ์เกี่ยวกับที่อยู่อาศัยและข้อพิพาทระหว่างผู้ให้เช่ากับผู้เช่าทำคะแนนสูงสุดที่ 75.4% เมื่อพิจารณาทุกโมเดล ส่วนสวัสดิการสาธารณะได้คะแนนต่ำสุดที่ 57.3% แม้หมวดนี้จะมีสถานการณ์เพียง 5 กรณี กฎหมายครอบครัวมีสถานการณ์ 110 กรณีและได้คะแนนเฉลี่ย 71.2% โดยภายในหมวดนี้ การเยี่ยมเยียนบุตรได้คะแนน 61.3% ส่วนการดูแลเด็กโดยเครือญาติที่เกี่ยวข้องกับหน่วยงานคุ้มครองเด็กได้คะแนน 63.0%

ตัวอย่าง 2 กรณีในประกาศแสดงให้เห็นว่าจุดอ่อนเหล่านี้ส่งผลต่อคำแนะนำอย่างไร ในคดีเรียกร้องค่าสินไหมทดแทนรายย่อยใน Louisiana ซึ่งเกี่ยวข้องกับคำสัญญาด้วยวาจาว่าจะชำระหนี้ มีเพียง 8 โมเดลที่ถามว่าหนี้นั้นเกี่ยวข้องกับอสังหาริมทรัพย์หรือไม่ มี 4 โมเดลที่เตือนว่าหากพ้นกำหนดเวลายื่นคำร้อง 10 ปีแล้วจะไม่สามารถเรียกคืนเงินได้ และมี 3 โมเดลที่แนะนำให้ผู้ใช้ไปยังเว็บไซต์ของเสมียนศาลเพื่อขอแบบฟอร์มเรียกร้องเงินและแบบฟอร์มขอยกเว้นค่าธรรมเนียม ในสถานการณ์เกี่ยวกับเงินประกันความเสียหายใน New York City ซึ่งผู้เช่าย้ายออกไปแล้ว มี 14 โมเดลที่ถูกหักคะแนนจากการแนะนำให้ส่งจดหมายทวงถามนอกศาล ซึ่งเกณฑ์ของผู้เชี่ยวชาญเตือนไม่ให้ทำ และมีเพียง 4 โมเดลที่แนะนำให้ผู้เช่าติดต่อโครงการ Right to Counsel ของเมือง

คะแนนของโมเดลแบบไม่มีค่าใช้จ่ายและแบบพรีเมียม

ในการเปรียบเทียบผู้ให้บริการแชตบอตรายใหญ่แยกต่างหาก กลุ่มโมเดลระดับใช้ฟรีที่ Vals AI ประเมินไว้มีคะแนนเฉลี่ย 69.7% เทียบกับ 70.4% สำหรับโมเดลระดับพรีเมียม Claude Sonnet 5.5 ทำคะแนนสูงกว่า Claude Opus 5.5 1.2 จุดเปอร์เซ็นต์ และมีเพียงโมเดลระดับพรีเมียมของ xAI เท่านั้นที่แสดงให้เห็นความได้เปรียบอย่างชัดเจนเหนือโมเดลระดับใช้ฟรีของผู้ให้บริการรายเดียวกัน การจัดระดับโมเดลในการเปรียบเทียบนี้เป็นเพียงการประเมิน ไม่ใช่การจับคู่ระดับโมเดลกับผู้ให้บริการที่ได้รับการยืนยันแล้ว และการทดสอบ API แบบเดียวกันก็ไม่สามารถสะท้อนพฤติกรรมของแชตบอตสำหรับผู้บริโภคได้อย่างครบถ้วน โดยไม่รวมโมเดลแบบเปิดน้ำหนักในการประเมิน

องค์กรเหล่านี้ระบุว่ากำลังร่วมมือกันจัดทำการวิเคราะห์ที่ครอบคลุมยิ่งขึ้นและบทสรุปเพิ่มเติม เพื่อช่วยให้ผู้ปฏิบัติงานด่านหน้าเข้าใจช่องว่างที่ยังคงเหลืออยู่ สำหรับองค์กรให้ความช่วยเหลือทางกฎหมายที่กำลังประเมินระบบเหล่านี้ ข้อสรุปในทางปฏิบัติคือ การอธิบายกฎหมายเป็นเพียงส่วนหนึ่งของประสิทธิภาพในการติดต่อครั้งแรกเท่านั้น เกณฑ์มาตรฐานนี้ยังประเมินด้วยว่าโมเดลสามารถค้นพบข้อเท็จจริงที่อาจเปลี่ยนแปลงคดี และแนะนำขั้นตอนถัดไปในพื้นที่อย่างเฉพาะเจาะจงได้หรือไม่