Anthropic, daha güvenilir yapay zekâ güvenliği değerlendirmeleri için rehber yayımladı

Anthropic, 13 Kasım 2026’da daha güvenilir yapay zekâ güvenliği değerlendirmelerine yönelik öneriler yayımladı ve tek turlu API testlerinde yakın tarihli her model için toplu zararsız yanıt oranlarının %94 ila %98 olduğunu bildirdi. Tavana ulaşmış bu testler, esas olarak bilinen hata türlerine yönelik regresyon kontrolleri olarak yararlıdır; çok turlu değerlendirmeler daha fazla çeşitlilik sunar ve bir konuşma boyunca kademeli değişimleri yakalayabilir.

Güvenlik değerlendirmesi, belirli bir yetenekten ziyade, bir modelin zarara yol açma veya zarara katkıda bulunma eğilimini, yanıtının zararı daha olası ya da daha az olası kılıp kılmadığını ve zararın ne kadar ciddi olabileceğini ölçer. Temel kaygılardan biri, bir testin ölçmeyi amaçladığı kavramı gerçekten ölçüp ölçmediği, yani yapı geçerliliğidir. İntihar ve kendine zarar verme konularındaki konuşmalarda reddetme oranı yanıltıcı olabilir; çünkü yalnızca iletişim kurmayı reddetmek başlı başına bir başarısızlık sayılabilir. Arzu edilen yanıt, destek sunar ve kullanıcıyı bir insandan yardım almaya yönlendirir. Anthropic’in çok turlu değerlendirmeleri bunun yerine, konuşmanın tamamı boyunca uygun yanıt oranını ölçer ve tek bir kötü turun tüm konuşmanın başarısız sayılmasına yol açtığı, riske özgü değerlendirme ölçütleri kullanır.

Çok Turlu Testler ve Gerçek Dünya Kapsamı

Bu testleri oluşturmak için alan uzmanı, simüle edilen kullanıcının hedeflerini, taktiklerini, kişiliğini, durumunu, tonunu ve konuşma tarzını tanımlayan bir spesifikasyon hazırlar. Kullanıcının ilk turu sabit kalırken, ayrı bir Claude modeli test edilen modele yanıt olarak sonraki turları oluşturur. Her senaryo, farklı özellik bileşimleriyle tekrar tekrar çalıştırılır ve bir puanlayıcı model, konuşma dökümünün tamamını ilgili risk ölçütlerine göre değerlendirir.

Boyutları birbirinden bağımsız olarak değiştirmek, davranışı neyin belirlediğini saptamaya yardımcı olur; her ciddi vakada acil bir ton da kullanılırsa ciddiyetin ve tonun etkileri birbirinden ayrılamaz. Anthropic ayrıca yalnızca uydurulmuş durumlara dayanmak yerine gözlemlenen davranışlardan, kamuya açık verilerden, kırmızı takım testlerinin konuşma dökümlerinden, olay raporlarından veya uzman görüşmelerinden yararlanılmasını öneriyor. Şirketin tek turlu test paketleri, birden fazla ürün arayüzünde yedi dilde 16 politika alanını kapsıyor ve değerlendirme ortamı test edilen dağıtım ortamıyla eşleştiriliyor.

Testleri çalıştırmak için ayrıca çevreleme önlemleri gerekiyor. Siber güvenlik değerlendirmeleri için rehber, internet erişimi olmayan korumalı alanlar ve modelin eylemlerinin gerçek dünyada zarara yol açma ihtimali varsa test çalışmasının durdurulabilmesini sağlayan gerçek zamanlı izleme yapılmasını öngörüyor.

Puanlayıcı Doğrulaması ve İstatistiksel Sınırlamalar

Otomatik puanlayıcılar, bozuk sistemlerin makul görünen puanlar üretmeye devam edebilmesi nedeniyle başka bir ölçüm riski oluşturur. Önerilen önlemler arasında, her biri tek başına evet ya da hayır yanıtıyla değerlendirilebilen ölçütler; sorumluluk reddi ifadelerinin ve sınırda kalan durumların açıkça ele alınması; belirgin hata uyarıları ve yanıt uzunluğu, konum ve öz-tercih yanlılıklarının kontrol edilmesi yer alıyor. Puanlayıcı ile uzmanların değerlendirmeleri arasındaki uyumun, uzmanların kendi aralarındaki uyumla karşılaştırılabilmesi için insan denetçiler bir konuşma dökümü örneklemini birbirlerinden bağımsız olarak etiketlemeli.

İnsan değerlendirmelerinden elde edilen bu temel karşılaştırma, hangi çözümün gerektiğini belirler. Uzmanlar kendi aralarında hemfikir olup puanlayıcıyla hemfikir değilse, değerlendirme ölçütlerinin veya puanlayıcının iyileştirilmesi gerekir; uzmanlar kendi aralarında anlaşamıyorsa, değerlendirmede ölçülebilecek istikrarlı bir yanıt bulunmayabilir. Rehber ayrıca sonuçlar görülmeden önce ölçütlerin, karşılaştırmaların ve iyileşme eşiklerinin önceden kayda geçirilmesini öngörüyor.

Bu değerlendirmelerin temelinde örneklem büyüklükleri yer alıyor. Anthropic, çok turlu ve karmaşık değerlendirmeler için en az 100, daha basit tek turlu testler içinse en az 1.000 madde kullanıyor; ayrıca gürültülü ve belirlenimci olmayan çıktıları hesaba katmak için testleri tekrarlıyor. Anthropic, çok turlu API değerlendirmelerindeki güven aralıklarının ±10 yüzde puanını aşabildiğini bildiriyor: claude.ai’de yapılan çok turlu bir aşk dolandırıcılığı değerlendirmesinde Claude Opus 5 ve Opus 5.5 sırasıyla %98 ve %94 uygun yanıt oranına ulaştı, ancak aradaki fark istatistiksel olarak anlamlı değildi. Bu örnek, yalnızca sayısal bir farkın hangi modelin daha güvenli davrandığını kanıtlamaya yetmediğini gösteriyor.

Dağıtım Ayarları ve Raporlama

Dağıtım yapılandırması, belgelenen bir diğer değişkendir. Anthropic, Claude Fable 5.1’i incelerken, bazı yanıtların kendine zarar vermeyi caydırıp kullanıcıyı insan desteğine yönlendirmesine rağmen, kendine zarar vermeyi bir başa çıkma yöntemi olarak örtük biçimde onayladığını saptadı. Şirket, hedefe yönelik sistem istemi önlemleriyle değerlendirmeyi yeniden çalıştırdığında claude.ai’de %94, API’de ise %60 uygun yanıt oranı elde edildiğini bildiriyor. Bu karşılaştırma, farklı yapılandırmalardan elde edilen puanların eşdeğer kabul edilemeyeceğini gösteriyor.

Raporlama önerileri; model sürümlerini, örnekleme ayarlarını, istemleri, puanlayıcı sürümlerini ve tarihleri de kapsıyor. Ayrıca, yayımlama öncesinde tek bir kontrol yapmak yerine ince ayar sürecinde sürekli değerlendirme yapılması öneriliyor. Dağıtımda kullanılan sistemlerdeki ciddi kusurlar, sonuçlar yayımlanmadan önce düzeltme için zaman tanımak amacıyla öncelikle geliştiriciye açıklanmalı.

Anthropic’in en yüksek önceliğe sahip üç önerisi; veri toplamadan önce ölçülecek yapıyı tanımlamak, puanlayıcıyı insan yargısına göre doğrulamak ve belirsizliği raporlamaktır. Bunun daha geniş kapsamlı sonucu, bir modelin diğerinden daha güvenli olduğu iddiasının, en az manşet puanı kadar testin tasarımına, dağıtım bağlamına ve istatistiksel gücüne de bağlı olmasıdır.