Scale AI, IMDA ile Singapur Hukukunda Akıl Yürütme Kıyaslamasını Başlattı

Scale AI ile Singapur Bilgi ve İletişim Medya Geliştirme Kurumu (IMDA), 12 Kasım 2026’da SG-LegalClarify’ı tanıttı. Kıyaslama çalışmasında, Singapur hukukunun 10 alanındaki 1.860 senaryo üzerinden 19 dil modeli test ediliyor. Çalışma, hem hukuki doğruluğu hem de modellerin yanıt vermeden önce eksik bilgileri sorup sormadığını inceliyor.

Scale, SG-LegalClarify’ı Nisan 2026’da resmiyet kazanan ve 7 Temmuz 2026’da kamuoyuna duyurulan bir iş birliği kapsamındaki ilk araştırma girişimi olarak tanımlıyor. Projenin amacı, hükümetlerin uluslararası kıyaslamalardaki sonuçların her ülkenin koşullarına da aktarılabileceğini varsaymak yerine yapay zekâ sistemlerini kendi yasa ve kurumlarına göre değerlendirmelerine yardımcı olmak.

Araştırma makalesi, İngiliz ortak hukuk sisteminin yerel uyarlamalar ve Singapur’a özgü yasalarla birlikte uygulanması nedeniyle Singapur’u zorlu bir sınama alanı olarak sunuyor. Bu nedenle, genel ortak hukuk ilkelerine dayanan bir model, uygulanması gereken yerel kuralı gözden kaçırabilir. SG-LegalClarify, ayrıca ayrı bir beceriyi de ölçüyor: Bir sorgunun yanıtlanabilmesi için hukuken önem taşıyan yeterli bilgi içerip içermediğine karar vermeyi.

Bu ayrım, gündelik sorularda önem taşıyor. Hız sınırını aşmanın cezasını soran bir sürücünün araç türünü, gerçek hızını ve mevcut ceza puanlarını belirtmesi gerekebilir. Bu ayrıntılar olmadan ceza bildiren bir asistan, kulağa kesin ve güvenilir gelen ancak hukuken yanlış bir yanıt verebilir.

Eşleştirilmiş Sorular, Modellerin Ne Zaman Soru Sorduğunu Test Ediyor

Veri kümesi, İngilizce 1.100 kaynak sorudan oluşuyor: 340’ı gerekli tüm bilgileri içerirken 760’ı eksik bilgi içeriyor. Eksik bilgi içeren her sorunun, gizli bilgileri barındıran ve tüm ayrıntıları verilmiş bir karşılığı bulunuyor. Soruları 23 uzman hukukçu hazırladı; bunlardan yedisi aynı zamanda değerlendirici olarak görev yaptı. Hukuk alanındaki deneyimleri iki ila 37 yıl arasında değişiyordu; ortanca deneyim süresi altı yıldı.

Her soru için hukukçular tarafından hazırlanan; hukuki sorunun belirlenmesi, kuralın hatırlanması, kurala uygulanması ve sonuca varılması başlıklarını kapsayan bir değerlendirme ölçütleri listesi bulunuyor. Veri kümesinde toplam 12.546 ölçüt yer alıyor. Bunların %89,0’ı, yanıtın içerik bakımından doğru sayılması için zorunlu; başlıca sonuçlar yalnızca zorunlu ölçütleri dikkate alıyor.

İlk aşamada her model, doğrudan yanıt vermekle bilgi toplamak arasında seçim yapmaya yönlendiriliyor. Bilgi toplama yolunda simüle edilmiş bir kullanıcı, gizli bilgileri yalnızca model açıkça istediğinde açıklıyor. İnsan hukukçuların değerlendirmeleriyle yapılan karşılaştırmalar sonucunda seçilen üç modelli bir yapay zekâ hakem heyeti, her ölçütü çoğunluk oyuyla değerlendiriyor.

Arama Puanları Artırdı, Ancak Açıklama İsteme Zayıf Kaldı

Makale, kapalı kitap testlerinde Claude Fable 5’in zorunlu ölçütlerin %69,8’ini karşılayarak öne çıktığını; ortalamanın ise %53,8 olduğunu bildiriyor. Web araması kullanıldığında Kimi K3, %77,8’le ilk sırada yer aldı ve ortalama %63,0’a yükseldi. Kazanç oranları değişse de tüm modeller daha iyi sonuç verdi. Kuralı hatırlama, değerlendirme bileşenleri arasında en zayıfıydı: arama kullanılmadığında başarı oranı %43,2, kullanıldığında ise %56,5 oldu.

Scale’ın özetine göre, kapalı kitap senaryolarında eksik bilgi bulunmasına rağmen yaklaşık %39’unda açıklayıcı bir soru sorulmadı. Buna karşılık, yeterli bilgi içeren senaryoların yaklaşık %28’inde modeller gereksiz sorular yöneltti. Bilgi eksik olduğunda modeller, hukuk uzmanlarının belirlediği ilgili olguların ortalama yalnızca %39’u hakkında soru sordu.

Makale, modellerin eksik ve ilgili tüm bilgileri istediği, web erişimli denemelere ilişkin betimleyici bir karşılaştırmada vakaların %55,6’sında doğru hukuki sonuca, %32,1’inde yanlış sonuca ulaşıldığını; %12,3’ünde ise herhangi bir sonuca varılmadığını bildiriyor. Dolayısıyla bilgilerin eksiksiz toplanması, hukukun doğru uygulanmasını garanti etmedi.

Değerlendirmenin Sınırları ve Yayımlama Planları

Yazarlar sonuçların çeşitli sınırlamalarını belirtiyor: Yapay zekâ yardımcılarının insanlar tarafından doğrulanması sınırlı kaldı, sağlayıcılar arasındaki farklılıklar arama araçlarına aynı erişimin sağlanmasını engelledi ve başlangıçtaki yönlendirme açıklama isteme davranışını değiştirmiş olabilir. Etiketlenmiş eksik değişkenlerin tümü bir vakayı çözüme kavuşturmak için gerekli değildir; bu nedenle, olgulara yönelik isteklerin eksik kapsamda kalması tek başına yetersiz açıklama istendiğini göstermez.

Araştırmacılar, her kategorideki kaynak soruların %50’sini yayımlamayı, geri kalanını ise özel değerlendirme için saklamayı planlıyor. Eksik bilgi içeren ve tüm ayrıntıları verilmiş her soru çiftini aynı veri bölümünde tutacaklar. Modellerin herkese açık bölümdeki çıktılarının ve değerlendirme sürecinin de yayımlanması planlanıyor.

Makalenin etik beyanında, puanların bir modelin gözetimsiz hukuki danışmanlık vermek için güvenli olduğuna kanıt olarak yorumlanmaması gerektiği belirtiliyor. Hukuk alanındaki yapay zekâyı değerlendiren hükümetler açısından bulgular, açıklama istemenin de doğruluk meselesinin bir parçası olduğunu gösteriyor: Bir sistem, yerel hukukun hangi olguları hukuken önemli saydığını belirlemeli ve bu bilgileri edindikten sonra hukuku doğru uygulamalı.