Vals AI’nin Adli Yardım Kıyaslaması, Modellerin Yerel Destek Bulma Konusunda Yetersiz Kaldığını Ortaya Koydu

NextLadder Ventures ve Vals AI, 10 Kasım 2026’da Adalete Erişim Kıyaslaması’nı duyurdu. Açıklamaya göre 23 yapay zekâ modelinden hiçbiri, 252 adli yardım senaryosunda güvenilir bir ilk başvuru noktası olabilmek için gereken %80 eşiğine ulaşamadı.

Kıyaslama sonuçları ve metodolojisi, hukuku açıklamakla pratik yardım bulmak arasında belirgin bir uçurum olduğunu gösteriyor. Vals AI’ye göre modeller, genel hukuki açıklamalarda uzman ölçütlerinin %78 ila %87’sini karşılarken yerel bir adli yardım programı, mahkemenin öz yardım merkezi veya belirli bir form gibi somut kaynakları belirlemede bu oran yalnızca %30 ila %50 oldu. Yirmi bir model, ilgili yerel programı veya ofisi tutarlı biçimde belirlemek yerine, LawHelp.org, ABA’nın Find Legal Help hizmeti veya 211 dâhil olmak üzere ulusal bir rehberden söz etti; bu, modellerin nihai yanıtlarının en az %70’inde görüldü.

Ortak duyuruda Qwen 3.8 Max, ölçütlerin %76,4’ünü karşılayarak ilk sırada yer aldı. Onu %74,9 ile Claude Sonnet 5.5 ve %74,7 ile Wonder Full izledi; ancak üçünün puanı da birbirlerinin hata payı içinde kaldı. Puanların bu kadar yakın olması, sayısal sıralamanın belirgin bir lider ortaya koymadığı anlamına geliyor.

Vals AI’de araştırma bilimcisi olan Meghana Kotcherlakota, projeyi hukuk firmalarına ve kurumsal müşterilere odaklanan hukuk yapay zekâsı kıyaslamalarından şöyle ayırdı: “Adalete Erişim Kıyaslaması’nı, bu modellerin en çok yardıma ihtiyacı olan insanlara sorun sorun ne kadar iyi hizmet verdiğini göstermek ve zamanla daha iyi olup olmadıklarını izlemek için oluşturduk.”

Duyuruda sonuçlar, Legal Services Corporation’ın 2022 Adalet Uçurumu araştırması bağlamında ele alınıyor. Araştırma, düşük gelirli Amerikalıların medeni hukukla ilgili sorunlarının %92’sinde hiç hukuki yardım alamadığını ya da yetersiz yardım aldığını ortaya koymuştu. Yardım aramayanların %46’sı bunun nedeni olarak maliyeti gösterdi. Araştırmada, NORC’un University of Chicago için yaklaşık 5.000 yetişkinle yaptığı anketten ve Legal Services Corporation tarafından finanse edilen adli yardım kuruluşlarının verilerinden yararlanıldı.

Kıyaslama, İlk Başvurudaki Yardımı Nasıl Puanladı?

Kıyaslamada her model, hukuki danışmanlık vermek yerine genel hukuki bilgi sağlayan ve ilk başvuruda yardımcı olan bir görevli ya da mahkemenin öz yardım merkezi gibi değerlendirildi. İki hukuk uygulayıcısı gerçek yaşamdan sorular sundu; ardından altı adli yardım uzmanı bu soruları kendilerine atanan eyaletlere göre uyarladı: California, Louisiana, Virginia, New York, Maryland ve Texas. Uzmanlar başlangıç sorularını, konuşma sırasında ortaya çıkarılmadıkça paylaşılmayan arka plan bilgilerini, zorluk derecelerini ve ortalama 15,4 bağımsız ölçüt içeren değerlendirme ölçütlerini hazırladı.

Tam veri kümesi, kamuya açık test kümesi ile özel doğrulama kümesi arasında eşit olarak bölünmüş 504 senaryodan oluşuyor. Her hedef model; Decider v1.2 adlı otomatik değerlendirici konuşmanın tamamını puanlamadan önce web’de arama yapabiliyor, sayfaları açabiliyor ve GPT-5 tarafından canlandırılan bir kullanıcıya sorular yöneltebiliyordu. Yalnızca hedef modelin talep ettiği bilgiler verildi; canlandırılan kullanıcı ne başka ayrıntılar ekledi ne de hatalı varsayımlara itiraz etti. Modelin puanı, test senaryolarının tamamında karşılanan değerlendirme ölçütlerinin toplam içindeki payı olarak hesaplandı.

Konuşma Biçimi ve Kaynak Seçimleri Eksikleri Ortaya Çıkardı

Modellerin okuduğu sayfaların %42’sini yasalar, mahkeme kuralları ve içtihatlar oluştururken adli yardım kuruluşlarının ve kâr amacı gütmeyen kuruluşların öz yardım siteleri %10’unu oluşturdu. Vals AI, bu örüntüyü puanlardaki ayrışmayla ilişkilendiriyor: Yasaları okumak genel bir özet hazırlamaya yardımcı olabilir, ancak kullanıcının bir sonraki adımda başvurması gereken kuruluşun veya mahkeme biriminin adını vermez.

Vals AI’nin konuşma analizine göre etkileşimler ortalama yaklaşık 3,5 tur sürdü; modellerin çoğu, soru sorsalar bile, ilk yanıtlarında sorular yöneltmeden önce kapsamlı bir yanıt verdi. GPT-6.1 Sol, ilk yanıtını zamanın %88’inde bir soruyla bitirdi ancak gerekli bilgileri almak için modelin soru sorup sormadığını ölçen değerlendirme ölçütünde %68,1 puanla 18. sırada yer aldı. Bu karşıtlık, sık soru sormanın uzmanların belirlediği bilgilerin mutlaka ortaya çıkarıldığı anlamına gelmediğini gösteriyor. Soru sormayan modeller bazen kullanıcının hangi eyalette olduğu veya mahkeme kararının daha önce verilip verilmediği gibi ayrıntıları varsaydı.

Vals AI’nin konu başlıklarına göre sonuçlarında, tüm modeller genelinde %75,4 ile konut ve ev sahibi-kiracı senaryoları en yüksek puanı aldı. Kamu yardımları ise en düşük puanı (%57,3) aldı; ancak bu kategori yalnızca beş senaryo içeriyordu. Aile hukuku 110 senaryodan oluştu ve ortalama %71,2 puan aldı. Bu alan içinde çocuklarla görüşme %61,3, çocuk koruma hizmetlerinin dâhil olduğu akraba yanında bakım ise %63,0 puan aldı.

Duyurudaki iki örnek, bu eksikliklerin verilen yönlendirmeleri nasıl etkilediğini gösteriyor. Louisiana’da sözlü geri ödeme vaadini içeren bir küçük alacaklar davasında yalnızca sekiz model, borcun taşınmazla ilgili olup olmadığını sordu; dört model, 10 yıllık başvuru süresinin dolmasının alacağın tahsil edilmesini engelleyeceği konusunda uyarıda bulundu; üç model ise kullanıcıyı dava ve harç muafiyeti formları için mahkeme kâtibinin internet sitesine yönlendirdi. New York’ta, kiracının evden taşındığı bir güvence bedeli senaryosunda 14 model, uzmanların değerlendirme ölçütlerinde karşı çıkılan mahkeme dışı ihtar mektubu adımını önerdiği için puan kaybetti; yalnızca dört model kiracıyı kentin Right to Counsel programına yönlendirdi.

Ücretsiz ve Premium Modellerin Puanları

Büyük sohbet botu sağlayıcılarının ayrı bir karşılaştırmasında, Vals AI’nin tahmini ücretsiz katman grubunun ortalaması %69,7 olurken premium modellerin ortalaması %70,4 oldu. Claude Sonnet 5.5, Claude Opus 5.5’ten 1,2 yüzde puan daha yüksek puan aldı; sağlayıcısının ücretsiz katmanlı modeline kıyasla belirgin bir üstünlük gösteren tek model xAI’nin premium modeli oldu. Karşılaştırmadaki katman atamaları, sağlayıcıların doğruladığı eşleştirmeler değil tahminlerdir; aynı API testleri de tüketicilerin sohbet botlarını kullanma biçimini tam olarak yansıtamaz. Açık ağırlıklı modeller karşılaştırmaya dahil edilmedi.

Kuruluşlar, sahada çalışan hukuk uygulayıcılarının devam eden eksiklikleri anlamasına yardımcı olmayı amaçlayan daha kapsamlı bir analiz ve ek bir bilgilendirme metni üzerinde iş birliği yaptıklarını söyledi. Bu sistemleri değerlendiren adli yardım kuruluşları açısından pratik çıkarım şu: Hukuku açıklamak, ilk temas sırasındaki performansın yalnızca bir parçasıdır. Kıyaslama ayrıca modellerin davanın seyrini değiştirebilecek olguları ortaya çıkarıp çıkarmadığını ve bölgeye özgü, somut bir sonraki adım sunup sunmadığını da puanlıyor.