Scale AI Meluncurkan Tolok Ukur Penalaran Hukum Singapura bersama IMDA

Scale AI dan Infocomm Media Development Authority (IMDA) Singapura memperkenalkan SG-LegalClarify pada 12 November 2026. Tolok ukur ini menguji 19 model bahasa dalam 1.860 skenario yang mencakup 10 bidang hukum Singapura. Tolok ukur tersebut menilai akurasi hukum sekaligus apakah model meminta fakta yang belum tersedia sebelum menjawab.

Scale menyebut SG-LegalClarify sebagai inisiatif penelitian pertama di bawah kolaborasi yang diresmikan pada April 2026 dan dipaparkan kepada publik pada 7 Juli 2026. Proyek ini bertujuan membantu pemerintah menilai sistem AI berdasarkan hukum dan institusi mereka sendiri, alih-alih berasumsi bahwa hasil pada tolok ukur internasional berlaku di setiap konteks nasional.

Makalah penelitian tersebut menggambarkan Singapura sebagai medan uji yang berat karena hukum common law Inggris yang diwarisi berlaku berdampingan dengan penyesuaian lokal dan undang-undang khusus Singapura. Karena itu, model yang mengandalkan penalaran common law generik dapat luput dari aturan lokal yang berlaku. SG-LegalClarify juga menguji keterampilan lain: menentukan apakah suatu pertanyaan memuat cukup informasi yang relevan secara hukum untuk dijawab.

Perbedaan itu penting dalam pertanyaan sehari-hari. Pengemudi yang menanyakan sanksi atas pelanggaran batas kecepatan mungkin perlu menyebutkan jenis kendaraan, kecepatan sebenarnya, dan jumlah poin penalti yang telah dimiliki. Asisten yang memberikan sanksi tanpa perincian tersebut dapat menghasilkan jawaban yang terdengar meyakinkan, tetapi keliru secara hukum.

Pertanyaan Berpasangan Menguji Kapan Model Perlu Bertanya

Kumpulan data ini diawali dengan 1.100 pertanyaan sumber berbahasa Inggris: 340 pertanyaan dengan informasi lengkap dan 760 pertanyaan dengan informasi yang belum lengkap. Setiap pertanyaan yang belum lengkap memiliki pasangan dengan informasi lengkap yang memuat fakta-fakta tersembunyi. Sebanyak 23 pengacara terverifikasi menyusun pertanyaan tersebut, dan tujuh di antaranya juga bertindak sebagai penelaah. Pengalaman hukum mereka berkisar antara dua hingga 37 tahun, dengan median enam tahun.

Setiap pertanyaan dilengkapi rubrik yang disusun oleh pengacara dan mencakup identifikasi masalah, mengingat aturan, penerapan, serta kesimpulan, dengan total 12.546 kriteria di seluruh kumpulan data. Dari kriteria tersebut, 89,0% wajib dipenuhi agar jawaban benar secara substantif; hasil utama hanya menghitung butir yang wajib dipenuhi.

Gerbang kecukupan informasi terlebih dahulu meminta setiap model memilih antara menjawab langsung dan mengumpulkan fakta. Dalam proses pengumpulan fakta, pengguna simulasi hanya mengungkapkan fakta tersembunyi jika model secara eksplisit memintanya. Panel penilai AI yang terdiri atas tiga model, dipilih melalui perbandingan dengan penilaian pengacara manusia, menilai setiap kriteria berdasarkan suara mayoritas.

Penelusuran Meningkatkan Skor, tetapi Klarifikasi Tetap Lemah

Makalah tersebut melaporkan bahwa Claude Fable 5 memimpin pengujian tanpa akses sumber eksternal dengan memenuhi 69,8% kriteria wajib, dibandingkan dengan rata-rata 53,8%. Dengan penelusuran web, Kimi K3 memimpin dengan skor 77,8% dan rata-rata naik menjadi 63,0%; semua model mengalami peningkatan, meskipun besarnya bervariasi. Mengingat aturan menjadi komponen penilaian terlemah, dengan tingkat kelulusan 43,2% tanpa penelusuran dan 56,5% dengannya.

Ringkasan Scale melaporkan bahwa dalam sekitar 39% skenario tanpa akses sumber eksternal yang kekurangan fakta, model tidak mengajukan pertanyaan klarifikasi. Sementara itu, dalam sekitar 28% skenario yang informasinya sudah memadai, model mengajukan pertanyaan yang tidak perlu. Ketika ada fakta yang belum tersedia, model rata-rata hanya menanyakan 39% fakta relevan yang telah diidentifikasi oleh pakar hukum.

Dalam perbandingan deskriptif atas uji coba dengan akses web, ketika model meminta semua fakta relevan yang belum tersedia, makalah tersebut melaporkan bahwa 55,6% menghasilkan kesimpulan hukum yang benar, 32,1% menghasilkan kesimpulan yang keliru, dan 12,3% tidak memberikan kesimpulan. Jadi, pengumpulan informasi secara lengkap tidak menjamin penerapan hukum yang benar.

Batasan Evaluasi dan Rencana Rilis

Para penulis mengidentifikasi beberapa batasan dalam hasil tersebut: validasi oleh manusia atas asisten AI terbatas, perbedaan antarpenyedia menghalangi akses yang seragam ke alat penelusuran, dan perutean sejak awal mungkin telah mengubah perilaku klarifikasi. Tidak semua variabel yang ditandai sebagai informasi yang belum tersedia diperlukan untuk menyelesaikan suatu kasus, sehingga cakupan permintaan fakta yang tidak lengkap tidak serta-merta menunjukkan bahwa klarifikasi tidak memadai.

Para peneliti berencana merilis 50% pertanyaan sumber dalam setiap kategori dan menyimpan sisanya untuk evaluasi privat, dengan memastikan setiap pasangan pertanyaan yang belum lengkap dan pertanyaan dengan informasi lengkap berada dalam bagian yang sama. Keluaran model pada bagian publik serta alur evaluasinya juga direncanakan untuk dirilis.

Pernyataan etika dalam makalah tersebut menyebutkan bahwa skor tidak boleh ditafsirkan sebagai bukti bahwa suatu model aman digunakan untuk memberikan nasihat hukum tanpa pengawasan. Bagi pemerintah yang mengevaluasi AI hukum, temuan ini menjadikan klarifikasi bagian dari persoalan akurasi: sistem harus mengenali fakta mana yang dianggap penting oleh hukum setempat, lalu menerapkan hukum tersebut dengan benar setelah memperoleh fakta itu.