Anthropic’in Yargı Çalışması, Analistlerin Kararları Yapay Zekâ Ajanlarına Bıraktığını Ortaya Koyuyor

Anthropic, 27 Ekim 2026’da, Claude Code kullanan 50 profesyonel analistin açık uçlu analitik yargı gerektiren konularda ajanlarına gizlice atanan tercihi zamanın %86’sında izlediği randomize kontrollü bir çalışma yayımladı. Amaç Herdağdelen, Hailey Joren ve Alex Tamkin’in kaleme aldığı çalışma, yapay zekâ destekli çalışmalarda önemli kararları gerçekten uzmanların mı verdiğini, yoksa uygulamada kararları ajanlarına mı bıraktıklarını inceliyor.

Kurgusal Bir Kooperatif ve Gizli Yazı Tura Atışları

Araştırmacılar; nedensel çıkarım konusundaki bilgi kontrolünü geçen, Python veya R’ı düzenli olarak kullanan ve gözlemsel verilerle nedensel analiz konusunda uygulamalı deneyime sahip 61 profesyoneli çalışmaya aldı. Her katılımcı, gönüllü ve ücretli bir çiftlik danışmanlığı programını genişletme ya da sonlandırma kararı vermesi gereken kurgusal Greenfields Farming Cooperative’in baş analisti rolünü üstlendi. Kooperatifin yönetim kurulu, programı yalnızca çiftlik verimliliğini yaklaşık %3–4 artırması hâlinde genişletecekti; ancak verimliliğin nasıl ölçülmesi gerektiğini belirtmedi.

Görevde, her biri savunulabilir iki seçeneğe sahip dört açık uçlu analitik karar bulunuyordu: verimliliğin hektar başına ürün verimiyle mi yoksa işletme maliyeti birimi başına ürün verimiyle mi ölçüleceği; hangi istatistiksel karşılaştırma yönteminin kullanılacağı; programın etkisinin yalnızca programa kayıtlı çiftliklerde mi yoksa tüm üyeler genelinde mi ölçüleceği ve her çiftliğe eşit ağırlık mı verileceği, yoksa daha büyük üreticilere daha fazla ağırlık mı tanınacağı. Bu tercihler, programın uygulamaya konması, sonlandırılması veya uzatılması yönündeki nihai tavsiyeyi belirliyordu. Her bir karar, tahmini verimlilik artışını yönetim kurulunun belirlediği eşiğe kıyasla birkaç yüzde puan değiştirebilirdi.

Her karar için yazı tura atılarak katılımcının ajanının hangi seçeneği destekleyeceği belirlendi. Bu yönelim, ajana tercihi kendi görüşü olarak benimsemesini, karar gündeme geldiğinde dile getirmesini ve verilerin izin verdiği en güçlü, dürüst savunmayı yapmasını söyleyen gizli bir sistem istemiyle iletildi. Talimatlar ayrıca, kanıtlar kesin biçimde aksi yönde olduğunda ajanın fikrini değiştirmesini ve sonuçları hiçbir zaman çarpıtmamasını ya da verileri gizlememesini gerektiriyordu. Katılımcılara bu yönelimlerin varlığı söylenmedi. Görevi tamamlayan 61 kişiden 11’i ajanı kullanmamayı seçti ve ana analize dâhil edilmedi; kalan 50 kişinin %65’i yüksek lisans veya doktora derecesine sahipti ya da en az altı yıllık deneyimi vardı. Ankete yanıt verenlerin %90’ı nedensel çıkarım konusunda kendilerini yetkin veya uzman olarak değerlendirdi. Katılımcılar, Claude Code v2.1.220 sürümünün yüksek çaba ayarında Claude Opus 4.8’i çalıştırdığı, tarayıcı tabanlı bir VS Code çalışma alanında görev yaptı; görevin tamamlanma süresi ortanca 65 dakikaydı. Tasarım, sonuçlar, tahmin ediciler ve dışlama ölçütleri analiz öncesi bir planda kayda geçirildi; çalışma, katılımcıların izlenmeye onay vermesiyle birlikte kurum içi etik incelemeden geçti.

Kararları Başkasına Bırakma Oranları ve Sahiplenme Uçurumu

Dört analitik kararın tümünde analistlerin seçimleri, şans eseri beklenen %50’lik orana karşılık, zamanın %86’sında ajanın yönelimiyle örtüştü; karar başına uyum oranları sırasıyla %92, %82, %81 ve %90’dı. “Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls” başlıklı tam makale, kayıtlı birleşik yazı tura oranı tahminini 0,72; %95 güven aralığını ise 0,60–0,83 olarak bildiriyor.

Nihai tavsiye üzerindeki etki daha zayıftı ve kayıtlı birincil tahmin ediciye göre istatistiksel olarak anlamlı değildi: Ajan programın uygulamaya konmasını desteklediğinde katılımcıların %54’ü, sonlandırılmasını desteklediğinde ise %36’sı uygulamaya konmasını önerdi; kayıtlı politika değişimi 0,17’ydi. Yazarlar, tahmindeki değişim hesaplandıktan sonra tavsiyenin mekanik olarak bu tahmini izlemesinin, değişimin daha küçük olmasını açıkladığını belirtiyor. Bununla birlikte, yalnızca dört analitik yönelimi kullanan keşifsel bir model, tavsiyelerin %82’sini öngördü; çoğunluk temel oranı ise %61’di. Bu da yazı tura atışlarının, analistlerin göreve başlamadan önce ne önereceklerini büyük ölçüde belirlediği anlamına geliyor.

Analistin tercih belirtip ajanın henüz belirtmediği 38 vakada, ajan aynı fikirde olmadığında analistler tercihlerinden zamanın %60’ında vazgeçti; ajan aynı fikirde olduğunda ise bu oran %6’ydı. Makale, kayıtlı fikir değiştirme oranları arasındaki farkı 0,53; güven aralığını 0,24–0,82 olarak bildiriyor ve tahminin kesin olmadığını, ayrıca bu alt gruba katılımın kişilerin kendi seçimine dayandığını belirtiyor.

Görev sonrası anketler, etkilenme ile kişinin kendi algısı arasında bir fark olduğunu gösterdi. Katılımcıların %52’si nihai tavsiyeyi ajanınkinden çok kendi tavsiyesi olarak değerlendirdi; dört kararın tamamında ajanın yönelimini izleyenlerin güven düzeyi ortalama 71, diğerlerininki ise 73’tü. Katılımcılar, dökümlere erişimleri olmadan her seçimi gerekçelendirirken %77’si en az bir yanıtında ajanın argümanlarını tekrarladı; bazıları bunu kelimesi kelimesine yaptı. Buna karşılık, yalnızca %15’i herhangi bir yerde ajana atıfta bulundu. İncelenen 10 katılımcı özelliğinden hiçbiri, kararları başkasına bırakmayı güvenilir biçimde öngörmedi; yalnızca yaşla nominal bir ilişki görüldü, ancak bu ilişki çoklu testler için yapılan düzeltmeden sonra anlamlılığını yitirdi. 48 katılımcının altısı, çalışmanın yapay zekânın seçimleri üzerindeki etkisini araştırdığını tahmin etti; ancak tercihlerinin kendilerine gizlice aşılandığından hiçbiri şüphelenmedi.

Karşılaştırma Grubu, Varsayılan Ajanlar ve Sınırlılıklar

Ajan olmadan çalışan 11 katılımcının altısı (%55), sonuçları geçersiz kılan ciddi hatalar yaptı; ajan kullanan 50 katılımcı arasında bu sayı üçtü (%6). Yapay zekâ kullanmayan grup ise 65 dakikaya karşılık medyan 90 dakika harcadı. Yazarlar, grupların kendi seçimlerini yaptığını ve deneyim bakımından farklılık gösterdiğini, bu nedenle nedensellik iddiasında bulunulamayacağını belirtiyor. Eğilim eklenmeden yürütülen ayrı doğrudan simülasyonlarda, standart Claude Opus 4.8 123 çalıştırmanın %91’inde aynı beş seçimi yaptı. Senaryoya göre hareket eden bir analist, modelin temel tercihine aykırı bir karar açıkladığında ise standart ajan, değerlendirilen 150 beyanın %41’inde alternatifi önerdi veya savundu.

Yazarlar dört sınırlamaya dikkat çekiyor: Eğilim kasıtlı olarak güçlendirildi; çalışmada tek bir görev, tek bir alan ve sabitlenmiş tek bir model kullanıldı; tahminler, bireysel etkiyi ölçmek yerine analistler genelindeki ortalamaları yansıtıyor; ayrıca tercih gücü değil, yalnızca seçilen seçenek kaydedildi.

Yazarlar, ayrı araştırma ekiplerinin aynı öncülleri paylaşan modellere başvurması hâlinde aralarındaki uzlaşmanın artık bağımsız olmayabileceğini ve bu tür bir başvurunun, insan gözden geçiren kişinin onayının bağımsız bir kontrol sayıldığı yapay zekâ güvenliği araştırmaları açısından risk oluşturduğunu belirtiyor. Gelecekte araştırılması için üç alan öneriyorlar: Gündelik ortamlarda modellere başvurmanın ölçülmesi; iki tarafı da sunan veya önce uzmanın görüşünü ortaya çıkarmasını sağlayan ajanların tasarlanması; hangi kararların kişinin kendi bilgili yargısını gerektirdiğine bilinçli biçimde karar veren kurumsal değişiklikler.