Scale AI ra mắt bộ chuẩn đánh giá suy luận pháp lý tại Singapore cùng IMDA

Scale AI và Cơ quan Phát triển Truyền thông và Thông tin Singapore (IMDA) giới thiệu SG-LegalClarify vào ngày 12 tháng 11 năm 2026, đánh giá 19 mô hình ngôn ngữ trên 1.860 tình huống thuộc 10 lĩnh vực luật pháp Singapore. Bộ chuẩn đánh giá này xem xét cả độ chính xác pháp lý lẫn việc các mô hình có hỏi thêm thông tin còn thiếu trước khi trả lời hay không.

Scale mô tả SG-LegalClarify là sáng kiến nghiên cứu đầu tiên trong khuôn khổ hợp tác được chính thức hóa vào tháng 4 năm 2026 và được công bố rộng rãi vào ngày 7 tháng 7 năm 2026. Dự án nhằm giúp các chính phủ đánh giá hệ thống AI dựa trên luật pháp và thể chế của chính họ, thay vì cho rằng kết quả trên các bộ chuẩn đánh giá quốc tế có thể áp dụng cho mọi bối cảnh quốc gia.

Bài báo nghiên cứu cho rằng Singapore là một phép thử khắt khe vì hệ thống thông luật Anh được kế thừa cùng tồn tại với những điều chỉnh trong nước và các đạo luật riêng của Singapore. Vì vậy, mô hình dựa vào suy luận thông luật chung chung có thể bỏ sót quy định địa phương đang chi phối vụ việc. SG-LegalClarify còn kiểm tra một kỹ năng riêng: xác định liệu truy vấn đã có đủ thông tin quan trọng về mặt pháp lý để trả lời hay chưa.

Sự khác biệt này có ý nghĩa với những câu hỏi thường gặp. Người lái xe hỏi về mức phạt chạy quá tốc độ có thể cần cung cấp loại xe, tốc độ thực tế và số điểm trừ hiện có. Trợ lý đưa ra mức phạt mà không có những thông tin đó có thể tạo ra câu trả lời nghe có vẻ đáng tin nhưng lại sai về mặt pháp lý.

Các câu hỏi theo cặp kiểm tra thời điểm mô hình cần hỏi thêm

Bộ dữ liệu bắt đầu với 1.100 câu hỏi nguồn bằng tiếng Anh: 340 câu có đầy đủ thông tin và 760 câu còn thiếu thông tin. Mỗi câu hỏi còn thiếu thông tin có một câu tương ứng đã được điền đầy đủ các dữ kiện ẩn. Hai mươi ba luật sư đã được xác minh soạn câu hỏi, trong đó bảy người đồng thời làm công việc rà soát. Kinh nghiệm pháp lý của họ từ hai đến 37 năm, với mức trung vị là sáu năm.

Mỗi câu hỏi có một bộ tiêu chí chấm điểm do luật sư soạn, bao quát việc xác định vấn đề, nhớ lại quy tắc pháp lý, áp dụng quy tắc và đưa ra kết luận; toàn bộ bộ dữ liệu có 12.546 tiêu chí. Trong số đó, 89,0% là tiêu chí bắt buộc để câu trả lời đúng về thực chất; các kết quả chính chỉ tính những tiêu chí bắt buộc.

Trước tiên, một bước kiểm tra tính đầy đủ yêu cầu mỗi mô hình chọn giữa trả lời ngay và thu thập thêm thông tin. Nếu chọn thu thập thông tin, người dùng mô phỏng chỉ tiết lộ dữ kiện ẩn khi mô hình chủ động yêu cầu. Một hội đồng gồm ba mô hình AI làm giám khảo, được lựa chọn thông qua việc đối chiếu với đánh giá của luật sư, chấm từng tiêu chí theo đa số phiếu.

Tra cứu giúp cải thiện điểm số, nhưng khả năng hỏi làm rõ vẫn yếu

Bài báo cho biết Claude Fable 5 dẫn đầu trong các bài kiểm tra không tra cứu, đáp ứng 69,8% tiêu chí bắt buộc, so với mức trung bình 53,8%. Khi có chức năng tìm kiếm trên web, Kimi K3 dẫn đầu với 77,8% và mức trung bình tăng lên 63,0%; mọi mô hình đều cải thiện, dù mức tăng khác nhau. Khả năng nhớ lại quy tắc là thành phần có kết quả yếu nhất, với tỷ lệ đạt 43,2% khi không tìm kiếm và 56,5% khi có tìm kiếm.

Bản tóm tắt của Scale cho biết trong các tình huống không tra cứu còn thiếu dữ kiện, khoảng 39% trường hợp không nhận được câu hỏi làm rõ nào; trong khi đó, ở khoảng 28% tình huống vốn đã có đủ thông tin, các mô hình lại đặt câu hỏi không cần thiết. Khi thiếu dữ kiện, trung bình các mô hình chỉ hỏi về 39% số dữ kiện liên quan mà chuyên gia pháp lý đã xác định.

Trong một so sánh mô tả về các lượt thử nghiệm có hỗ trợ tìm kiếm trên web, ở đó mô hình yêu cầu tất cả dữ kiện liên quan còn thiếu, bài báo cho biết 55,6% trường hợp đưa ra kết luận pháp lý đúng, 32,1% đưa ra kết luận sai và 12,3% không đưa ra kết luận. Vì vậy, việc thu thập đầy đủ thông tin không đảm bảo áp dụng pháp luật chính xác.

Giới hạn của đánh giá và kế hoạch công bố

Các tác giả nêu một số giới hạn của kết quả: việc con người xác nhận các công cụ trợ giúp AI còn hạn chế, khác biệt giữa các nhà cung cấp khiến khả năng truy cập công cụ tìm kiếm không đồng nhất, và việc định tuyến ngay từ đầu có thể đã làm thay đổi hành vi hỏi làm rõ. Không phải mọi biến số còn thiếu đã được gắn nhãn đều cần thiết để giải quyết một trường hợp, vì vậy việc chưa hỏi đủ các dữ kiện không mặc nhiên cho thấy khả năng hỏi làm rõ chưa đạt yêu cầu.

Các nhà nghiên cứu dự định công bố 50% số câu hỏi nguồn trong mỗi nhóm, đồng thời giữ phần còn lại để đánh giá riêng tư; mỗi cặp câu hỏi thiếu thông tin và câu hỏi có đầy đủ thông tin sẽ được giữ trong cùng một tập chia. Kết quả đầu ra của các mô hình trên tập công khai và quy trình đánh giá cũng nằm trong kế hoạch công bố.

Tuyên bố đạo đức trong bài báo nêu rõ không nên diễn giải điểm số như bằng chứng cho thấy một mô hình an toàn khi đưa ra tư vấn pháp lý mà không có giám sát. Đối với các chính phủ đánh giá AI pháp lý, những phát hiện này cho thấy việc hỏi làm rõ cũng là một phần của vấn đề độ chính xác: hệ thống phải nhận diện được những dữ kiện mà luật địa phương xem là quan trọng, rồi áp dụng đúng luật sau khi thu thập được các dữ kiện đó.