Tolok Ukur Bantuan Hukum Vals AI Menemukan Model Masih Kurang Mampu Memberikan Bantuan Setempat

NextLadder Ventures dan Vals AI mengumumkan Tolok Ukur Akses terhadap Keadilan pada 10 November 2026. Mereka melaporkan bahwa tidak satu pun dari 23 model AI mencapai ambang 80% untuk menjadi titik kontak pertama yang andal dalam 252 skenario bantuan hukum.

Hasil tolok ukur dan metodologinya menunjukkan kesenjangan tajam antara menjelaskan hukum dan menemukan bantuan praktis. Vals AI melaporkan bahwa model memenuhi 78% hingga 87% kriteria ahli untuk penjelasan hukum umum, tetapi hanya 30% hingga 50% untuk mengidentifikasi sumber daya tertentu, seperti program bantuan hukum setempat, pusat bantuan mandiri di pengadilan, atau formulir tertentu. Sebanyak 21 model menyebut direktori nasional, termasuk LawHelp.org, Find Legal Help milik ABA, atau 211, dalam setidaknya 70% jawaban akhir mereka, alih-alih secara konsisten mengidentifikasi program atau kantor setempat yang relevan.

Pengumuman bersama tersebut menempatkan Qwen 3.8 Max di posisi pertama dengan 76,4% kriteria terpenuhi, disusul Claude Sonnet 5.5 dengan 74,9% dan Wonder Full dengan 74,7%. Ketiganya berada dalam rentang batas galat satu sama lain. Kedekatan skor ini berarti urutan angka tersebut tidak menunjukkan pemimpin yang jelas.

Meghana Kotcherlakota, ilmuwan peneliti di Vals AI, membandingkan proyek ini dengan tolok ukur AI hukum yang berfokus pada firma hukum dan klien korporasi: “Kami membangun Tolok Ukur Akses terhadap Keadilan untuk menunjukkan seberapa baik model-model ini melayani orang-orang yang paling membutuhkan bantuan, masalah demi masalah, serta untuk memantau apakah kinerjanya membaik.”

Rilis tersebut menempatkan hasil ini dalam konteks studi Kesenjangan Keadilan 2022 dari Legal Services Corporation, yang menemukan bahwa warga Amerika berpenghasilan rendah tidak menerima bantuan hukum atau menerima bantuan yang tidak memadai untuk 92% masalah hukum perdata mereka. Di antara mereka yang tidak mencari bantuan, 46% menyebut biaya sebagai alasannya. Penelitian ini menggunakan hasil survei terhadap sekitar 5.000 orang dewasa oleh NORC di University of Chicago serta data dari organisasi bantuan hukum yang didanai oleh lembaga tersebut.

Cara Tolok Ukur Menilai Bantuan pada Kontak Pertama

Tolok ukur ini menempatkan setiap model sebagai titik kontak pertama, serupa dengan petugas penerimaan atau pusat bantuan mandiri di pengadilan, yang memberikan informasi hukum umum, bukan nasihat hukum. Dua praktisi hukum menyusun pertanyaan berdasarkan situasi nyata, kemudian enam pakar bantuan hukum menyesuaikannya dengan negara bagian yang ditugaskan: California, Louisiana, Virginia, New York, Maryland, dan Texas. Para pakar menyusun pertanyaan pembuka, fakta latar belakang yang tidak diberikan kecuali jika percakapan memunculkannya, tingkat kesulitan, serta rubrik yang rata-rata memuat 15,4 kriteria independen.

Kumpulan data lengkap berisi 504 skenario, yang dibagi rata antara set pengujian publik dan set validasi privat. Setiap model yang diuji dapat menelusuri web, membuka halaman, dan mengajukan pertanyaan kepada klien simulasi yang dibuat dengan GPT-5 sebelum Decider v1.2, juri otomatis, menilai seluruh percakapan. Model yang diuji hanya diberi informasi yang dimintanya, sedangkan klien simulasi tidak menambahkan detail lain maupun menentang asumsi yang keliru. Skor model dihitung sebagai proporsi gabungan kriteria rubrik yang terpenuhi di seluruh skenario pengujian.

Pilihan Percakapan dan Sumber Mengungkap Kesenjangan

Undang-undang, peraturan pengadilan, dan yurisprudensi mencakup 42% halaman yang dibaca model, sedangkan situs bantuan hukum dan bantuan mandiri nirlaba mencakup 10%. Vals AI mengaitkan pola tersebut dengan kesenjangan skor: membaca undang-undang dapat mendukung penyusunan ringkasan umum, tetapi tidak memberi tahu nama organisasi atau kantor pengadilan yang perlu dihubungi pengguna selanjutnya.

Analisis percakapan Vals AI menemukan rata-rata sekitar 3,5 pertukaran, dan sebagian besar model memberikan jawaban lengkap pada balasan pertama sebelum mengajukan pertanyaan—jika memang mengajukan pertanyaan. GPT-6.1 Sol mengakhiri balasan pertamanya dengan pertanyaan sebanyak 88% dari waktu, tetapi berada di peringkat ke-18 dengan skor 68,1% dalam penggalian informasi, yaitu ukuran dalam rubrik yang menilai apakah model menanyakan fakta yang diperlukan. Perbedaan ini menunjukkan bahwa sering bertanya belum tentu membuat model menggali fakta yang ditetapkan para pakar. Model yang tidak bertanya terkadang mengasumsikan detail, seperti negara bagian tempat pengguna berada atau apakah perintah pengadilan sudah diterbitkan.

Hasil Vals AI berdasarkan topik menempatkan skenario perumahan serta hubungan pemilik dan penyewa di posisi tertinggi, dengan skor 75,4% untuk seluruh model. Sementara itu, tunjangan publik mendapat skor terendah, yaitu 57,3%, meskipun kategori tersebut hanya mencakup lima skenario. Hukum keluarga mencakup 110 skenario dengan skor rata-rata 71,2%; di dalam kategori ini, skor untuk hak kunjungan adalah 61,3%, sedangkan pengasuhan oleh kerabat yang melibatkan layanan perlindungan anak mendapat skor 63,0%.

Dua contoh dalam pengumuman tersebut menunjukkan dampak kelemahan itu terhadap panduan yang diberikan. Dalam kasus gugatan sederhana di Louisiana yang melibatkan janji lisan untuk membayar kembali utang, hanya delapan model yang menanyakan apakah utang tersebut berkaitan dengan real estat, empat model memperingatkan bahwa berakhirnya tenggat pengajuan 10 tahun akan menghalangi penagihan, dan tiga model mengarahkan pengguna ke situs web panitera pengadilan untuk mendapatkan formulir gugatan dan pembebasan biaya. Dalam skenario uang jaminan di New York City yang melibatkan penyewa yang sudah pindah, 14 model mendapat pengurangan nilai karena menyarankan langkah pengiriman surat tuntutan di luar pengadilan, yang menurut rubrik pakar harus dihindari. Hanya empat model yang merujuk penyewa ke program Right to Counsel kota tersebut.

Skor Model Gratis dan Premium

Dalam perbandingan terpisah terhadap penyedia chatbot utama, kelompok model tingkat gratis yang diperkirakan Vals AI mencatat rata-rata 69,7%, dibandingkan dengan 70,4% untuk model premium. Claude Sonnet 5.5 meraih skor 1,2 poin persentase lebih tinggi daripada Claude Opus 5.5, dan hanya model premium xAI yang menunjukkan keunggulan jelas atas model tingkat gratis dari penyedia yang sama. Penetapan tingkat dalam perbandingan ini merupakan perkiraan, bukan pemetaan penyedia yang telah dikonfirmasi, dan pengujian API yang sama tidak dapat sepenuhnya menggambarkan perilaku chatbot konsumen; model dengan bobot terbuka tidak disertakan.

Organisasi-organisasi tersebut mengatakan bahwa mereka bekerja sama menyusun analisis yang lebih menyeluruh dan ringkasan tambahan untuk membantu praktisi yang berhadapan langsung dengan masyarakat memahami kesenjangan yang masih ada. Bagi organisasi bantuan hukum yang mengevaluasi sistem ini, implikasi praktisnya adalah bahwa menjelaskan hukum hanyalah salah satu aspek kinerja dalam kontak pertama: tolok ukur ini juga menilai apakah model menggali fakta yang dapat mengubah penanganan perkara dan memberikan langkah lanjutan yang spesifik di tingkat lokal.