Chuẩn đánh giá hỗ trợ pháp lý của Vals AI cho thấy các mô hình chưa đáp ứng được nhu cầu trợ giúp tại địa phương

Ngày 10 tháng 11 năm 2026, NextLadder Ventures và Vals AI công bố Chuẩn đánh giá Tiếp cận Công lý, cho biết không mô hình AI nào trong số 23 mô hình đạt ngưỡng 80% để được xem là điểm liên hệ ban đầu đáng tin cậy trong 252 tình huống cần hỗ trợ pháp lý.

Kết quả và phương pháp đánh giá cho thấy sự chênh lệch rõ rệt giữa khả năng giải thích luật và khả năng tìm trợ giúp thiết thực. Vals AI cho biết các mô hình đáp ứng từ 78% đến 87% tiêu chí của chuyên gia khi giải thích pháp luật nói chung, nhưng chỉ đạt từ 30% đến 50% khi xác định các nguồn trợ giúp cụ thể, chẳng hạn như chương trình hỗ trợ pháp lý tại địa phương, trung tâm tự trợ giúp của tòa án hoặc một biểu mẫu cụ thể. Trong ít nhất 70% câu trả lời cuối cùng, 21 mô hình nêu tên một danh bạ toàn quốc, chẳng hạn như LawHelp.org, Find Legal Help của ABA hoặc 211, thay vì nhất quán xác định chương trình hoặc văn phòng địa phương phù hợp.

Thông báo chung xếp Qwen 3.8 Max ở vị trí đầu tiên với 76,4% tiêu chí được đáp ứng, tiếp theo là Claude Sonnet 5.5 với 74,9% và Wonder Full với 74,7%; cả ba đều nằm trong biên độ sai số của nhau. Các kết quả sít sao này có nghĩa là thứ hạng về mặt số liệu không xác lập được một mô hình dẫn đầu rõ rệt.

Meghana Kotcherlakota, nhà khoa học nghiên cứu tại Vals AI, so sánh dự án này với các chuẩn đánh giá AI pháp lý tập trung vào công ty luật và khách hàng doanh nghiệp: “Chúng tôi xây dựng Chuẩn đánh giá Tiếp cận Công lý để cho thấy các mô hình này phục vụ những người cần trợ giúp nhất tốt đến đâu, trong từng vấn đề cụ thể, đồng thời theo dõi xem chúng có tiến bộ hay không.”

Thông cáo đặt các kết quả trong bối cảnh nghiên cứu Khoảng cách Công lý năm 2022 của Legal Services Corporation, theo đó người Mỹ có thu nhập thấp không nhận được trợ giúp pháp lý hoặc nhận được trợ giúp không đầy đủ trong 92% các vấn đề pháp lý dân sự của họ. Trong số những người không tìm kiếm trợ giúp, 46% cho biết nguyên nhân là chi phí. Nghiên cứu dựa trên khảo sát khoảng 5.000 người trưởng thành do NORC at the University of Chicago thực hiện, cùng dữ liệu từ các tổ chức hỗ trợ pháp lý được tổ chức này tài trợ.

Cách chuẩn đánh giá chấm điểm khả năng trợ giúp khi liên hệ lần đầu

Chuẩn đánh giá xem mỗi mô hình như điểm liên hệ đầu tiên, tương tự nhân viên tiếp nhận hồ sơ hoặc trung tâm tự trợ giúp của tòa án, cung cấp thông tin pháp lý chung chứ không đưa ra tư vấn pháp lý. Hai chuyên gia thực hành luật cung cấp các câu hỏi thực tế; sau đó, sáu chuyên gia hỗ trợ pháp lý điều chỉnh chúng cho các tiểu bang được phân công: California, Louisiana, Virginia, New York, Maryland và Texas. Các chuyên gia soạn câu hỏi mở đầu, thông tin bối cảnh chỉ được tiết lộ nếu cuộc trò chuyện khơi gợi được, mức độ khó và các bảng tiêu chí chấm điểm có trung bình 15,4 tiêu chí độc lập.

Bộ dữ liệu đầy đủ gồm 504 tình huống, chia đều giữa tập kiểm thử công khai và tập xác thực riêng tư. Mỗi mô hình mục tiêu có thể tìm kiếm trên web, mở trang và đặt câu hỏi cho một khách hàng mô phỏng bằng GPT-5 trước khi Decider v1.2, một giám khảo tự động, chấm điểm toàn bộ cuộc trò chuyện. Mô hình mục tiêu chỉ được cung cấp thông tin mà nó yêu cầu; khách hàng mô phỏng không bổ sung chi tiết nào khác và cũng không chất vấn những giả định sai. Điểm của một mô hình là tỷ lệ gộp các tiêu chí trong bảng chấm điểm được đáp ứng trên toàn bộ các tình huống kiểm thử.

Lựa chọn trong hội thoại và nguồn thông tin làm lộ rõ những hạn chế

Các trang về luật thành văn, quy tắc tòa án và án lệ chiếm 42% số trang mà các mô hình đọc, trong khi các trang tự trợ giúp của tổ chức hỗ trợ pháp lý và tổ chức phi lợi nhuận chiếm 10%. Vals AI liên hệ xu hướng này với sự chênh lệch điểm số: đọc luật thành văn có thể giúp tạo ra bản tóm lược khái quát, nhưng không cung cấp tên của tổ chức hoặc văn phòng tòa án mà người dùng nên liên hệ tiếp theo.

Phân tích hội thoại của Vals AI cho thấy trung bình có khoảng 3,5 lượt trao đổi; phần lớn mô hình đưa ra câu trả lời đầy đủ ngay trong phản hồi đầu tiên rồi mới đặt câu hỏi, nếu có đặt câu hỏi. GPT-6.1 Sol kết thúc phản hồi đầu tiên bằng một câu hỏi trong 88% số lần, nhưng xếp thứ 18 với điểm 68,1% ở tiêu chí khai thác thông tin, thước đo đánh giá việc mô hình có hỏi để thu thập các thông tin bắt buộc hay không. Sự tương phản này cho thấy việc thường xuyên đặt câu hỏi không nhất thiết giúp làm rõ những thông tin mà chuyên gia xác định là cần thiết. Đôi khi, các mô hình không đặt câu hỏi lại tự giả định những chi tiết như tiểu bang nơi người dùng sinh sống hoặc liệu đã có lệnh của tòa hay chưa.

Kết quả theo chủ đề của Vals AI cho thấy các tình huống về nhà ở và quan hệ chủ nhà–người thuê đạt điểm cao nhất, với mức 75,4% tính trên tất cả các mô hình; trong khi đó, chủ đề trợ cấp công đạt điểm thấp nhất, 57,3%, dù nhóm này chỉ gồm năm tình huống. Luật gia đình có 110 tình huống và đạt trung bình 71,2%; trong nhóm này, các tình huống về quyền thăm nom đạt 61,3%, còn các tình huống chăm sóc trẻ theo quan hệ họ hàng có liên quan đến cơ quan bảo vệ trẻ em đạt 63,0%.

Hai ví dụ trong thông báo cho thấy những hạn chế đó ảnh hưởng đến hướng dẫn như thế nào. Trong một vụ kiện đòi khoản tiền nhỏ ở Louisiana liên quan đến lời hứa trả nợ bằng miệng, chỉ có tám mô hình hỏi liệu khoản nợ có liên quan đến bất động sản hay không; bốn mô hình cảnh báo rằng khi thời hạn nộp đơn 10 năm hết hạn, người đòi nợ sẽ không thể thu hồi khoản tiền; và ba mô hình hướng dẫn người dùng đến trang web của thư ký tòa án để tìm biểu mẫu khiếu kiện và xin miễn lệ phí. Trong một tình huống ở Thành phố New York về tiền đặt cọc bảo đảm, trong đó người thuê nhà đã chuyển đi, 14 mô hình bị trừ điểm vì đề xuất bước gửi thư yêu cầu giải quyết ngoài tòa án mà bảng tiêu chí của chuyên gia khuyến cáo không nên thực hiện; chỉ có bốn mô hình giới thiệu người thuê nhà đến chương trình Right to Counsel của thành phố.

Điểm số của mô hình miễn phí và mô hình cao cấp

Trong một phép so sánh riêng giữa các nhà cung cấp chatbot lớn, nhóm mô hình miễn phí do Vals AI ước tính đạt điểm trung bình 69,7%, so với 70,4% ở các mô hình trả phí cao cấp. Claude Sonnet 5.5 đạt điểm cao hơn Claude Opus 5.5 1,2 điểm phần trăm, và chỉ mô hình cao cấp của xAI cho thấy lợi thế rõ rệt so với mô hình miễn phí của nhà cung cấp này. Việc phân loại các mô hình theo cấp độ trong phép so sánh chỉ là ước tính, không phải cách phân loại đã được các nhà cung cấp xác nhận; các bài kiểm tra API giống hệt nhau cũng không thể phản ánh đầy đủ hành vi của chatbot dành cho người tiêu dùng; các mô hình trọng số mở bị loại trừ.

Các tổ chức này cho biết họ đang hợp tác để thực hiện một phân tích toàn diện hơn và soạn thêm một bản tóm lược nhằm giúp những người làm công tác tuyến đầu hiểu rõ các khoảng trống còn tồn tại. Đối với các tổ chức trợ giúp pháp lý đang đánh giá những hệ thống này, hệ quả thực tiễn là việc giải thích luật chỉ là một phần trong hiệu quả ở lần tiếp xúc đầu tiên: bài đánh giá cũng chấm điểm xem các mô hình có làm rõ được những tình tiết có thể thay đổi vụ việc và đưa ra bước tiếp theo cụ thể tại địa phương hay không.