Anthropic, EVE’de Claude’un ticaret ve sabotaj tespitini sınadı

Anthropic, 6 Kasım 2026’da Project EVE araştırmasını yayımladı. Araştırma, Claude ajanlarının simüle edilmiş EVE Online piyasalarında kâr edebildiğini, EVE Frontier’daki dört ajanlı ekiplerin ise görevlerini sabote etmesi açıkça talimat verilen bir takım arkadaşını neredeyse hiç tespit edemediğini gösterdi.

Çalışma, Nisan-Temmuz 2026 arasında yürütülen Anthropic Fellows Programı’nın bir parçasıydı ve Fenris Creations ile ortaklaşa gerçekleştirildi. Her iki oyun da kıt kaynakları, oyuncuların kurduğu tedarik zincirlerini, navigasyonu, çatışmayı ve ticareti bir araya getirerek piyasaları ve organizasyonları incelemek için görece düşük riskli ortamlar sunuyor. Fenris Creations’ın EVE Yapay Zekâ Laboratuvarı, araştırma ortamını öngörülemez koşullara ve bağımsız insan katılımcılara sahip, süreklilik arz eden ve kurallarla yönetilen bir ortam olarak tanımlıyor. Araştırma eksenleri uyum, güvenlik, egemenlik ve ekonomiyi kapsıyor. EVE Frontier’daki canlı deneyler, Haziran ve Temmuz 2026’da Cycle 5 sırasında gerçekleştirildi.

Simüle Edilmiş Ticarette Alış-Satış Farkından Kazanç Öne Çıkıyor

Fenris Creations’ın isteği üzerine Anthropic, kurallara aykırı olduğu için canlı EVE Online’da otomatik alım satıma yer vermedi. Bunun yerine simülatör, oyuncuların oyunun en büyük ticaret merkezinde gerçekten verdiği emirleri yeniden oynattı ve insan yatırımcıların karşılaştığı ücretleri ve alım satım kısıtlamalarını uyguladı. Claude Opus 4.6, Opus 4.7, Opus 4.8 ve Fable 5’in her biri 3 milyar ISK ile başladı; kârı en üst düzeye çıkarma talimatı aldı ve oyun içi haberlere ve yama notlarına erişebildi.

Anthropic’in bildirdiğine göre, dokuz adet iki haftalık dönemin her birinde Opus 4.7, Opus 4.8 ve Fable 5 kâr elde etti; sermayeleri sırasıyla ortalama yaklaşık %16, %22 ve %43 arttı. Opus 4.6 yaklaşık %4 kazanç sağlarken, kurallara dayalı 20’den fazla stratejiden yalnızca biri istikrarlı biçimde başa baş noktasına ulaştı; o da bunu ancak kıl payı başardı. Ekim 2024–Nisan 2025 ve Ekim 2025–Mart 2026 dönemlerini kapsayan, yaklaşık altı ay süren ana deneylerde ortalama kazanç, Opus 4.6 ile başlangıç sermayesinin yaklaşık %200’ünden Fable 5 ile %600’üne yükseldi.

Modellere nasıl ticaret yapacakları söylenmedi. Çoğu, alış-satış farkından kazanç sağlamayı kendi başına benimsedi: hemen satmaya istekli birinden alım yapmak, ürünü hemen satın alacak birine yeniden satmak ve ücretler düşüldükten sonra aradaki farkı elde tutmak. Fiyatları alışılmadık ölçüde dalgalanan, niş ama alınıp satılabilir ürünleri aradılar; satıcıların en düşük fiyatı bir ürünün olağan değerinin altına düştüğünde alım yaptılar ve genellikle aynı gün içinde yeniden sattılar. Anthropic, tipik kâr marjlarının %8-13, günlük emir sayısının ise yüzlerce olduğunu ve ajanların çoğunun kendi yazdığı alım satım algoritmalarını kullandığını bildiriyor.

Fiyat yönüne dayalı alım satım farklı bir sınırlamayı ortaya çıkardı. Anthropic’in bildirdiğine göre Fable 5’e haberleri, yama notlarını ve savaş raporlarını kullanarak fiyatının yükselmesi beklenen ürünleri alması söylendiğinde, model denemelerinin yalnızca yaklaşık yarısında kâr etti. Opus 4.7, denemelerinde talimatı sık sık göz ardı edip yeniden alış-satış farkından kazanç sağlamaya yöneldiği için bu sonuçlara dahil edilmedi; bu durum, fiyat yönüne dayalı işlemlerdeki sürekli kayıpları gizliyordu. Ajanlardan biri, madencilik faaliyetlerinin genişlemesinin madencilik ekipmanlarına olan talebi artıracağını düşündü ancak buna eşlik edecek arz artışını hesaba katmadı.

Sermayenin kullanımı da modelleri birbirinden ayırdı. Anthropic’in bildirdiğine göre Fable 5, denemelerin başında sermayesinin yaklaşık %85’ini kullandı ve sonlara doğru da bu oranı %70’in üzerinde tuttu. Opus ajanları ise yaklaşık %60’la başladı ve oran zamanla %40’a yaklaştı. Fable 5 kazançlarını yeniden yatırıma yöneltmeye de daha yatkındı. Bu daha agresif yaklaşım, ani ve büyük bir çöküşte modelin daha fazla zarara uğramasına yol açabilirdi.

Simülasyon, bu getirilerin neyi kanıtlayabileceğini sınırlandırıyor. Gerçek bir piyasanın ajanların emirlerine nasıl tepki vereceğini yeniden üretemiyor veya ajanların fiyatları değiştirmesine olanak tanımıyor. Anthropic, ajanların fiyatlarını kıran sentetik emirler eklemenin nihai kârı yaklaşık %35 azalttığını ancak ajanları kârlı olmaktan çıkarmadığını bildiriyor. Ayrıca EVE Online’ın verimliliği daha düşük piyasasında alış-satış farkından kazanç sağlamanın gerçek bir borsaya aktarılmasının beklenemeyeceği uyarısında bulunuyor. Herkese açık API’nin belirli aralıklarla alınan anlık görüntüleri, gerçek işlem akışının da yaklaşık yarısını kaçırıyor; bu da yeniden oynatımın performansı olduğundan düşük gösterebileceği anlamına geliyor.

Destekleyici Yazılımlar Filo Performansını Şekillendiriyor

Canlı EVE Frontier’da Opus 4.8 veya Fable 5 çalıştıran dört Claude ajanından oluşan ekiplerde her ajanın ayrı bir karakteri ve gemisi, ayrıca ekip genelinde kullanılan herkese açık bir kanal ve özel mesajlaşma olanağı vardı. Fenris Creations, gelişmekte olan dünyanın belirli aralıklarla sıfırlanmasının EVE Online’a kıyasla aksaklık olasılığını düşürmesi nedeniyle canlı testleri teşvik etti. Görevler, öğretici tarzda bir üs kurma ve çatışma görevinden; keşif, kıt kaynaklar, arıtma, parça üretimi ve çatışma gerektiren büyük bir savaş gemisi inşa etmeye kadar uzanıyordu.

Gerçek zamanlı çatışmalar, saniyenin altındaki tepkiler ve mekânsal farkındalık konusundaki zayıflıkları açığa çıkardı. Bu nedenle bir geliştirici ajan, modeller ile oyun arasına yazılım destek katmanları yerleştirdi. Bu katmanlar, kaçınma ve karşı ateş açma gibi eylemleri otomatikleştirirken önceki öğrenimleri aranabilir veritabanlarında ve el kitaplarında sakladı.

Anthropic’in bildirdiğine göre Opus 4.8’in yazdığı destek katmanını kullanan Fable 5 ekipleri tekrar tekrar gemi kaybetti ve öğreticiyi tamamlamaları günler sürdü; bazılarıysa hiç tamamlayamadı. Fable 5’in yazdığı destek katmanını kullanan ekipler hiç gemi kaybetmedi ve 12 saat içinde görevi bitirdi. Savaş gemisi inşa etme girişimlerinde en ileriye giden ekip, yolun yaklaşık yarısına ulaştı: Fable 5’li bir ekip daha küçük bir savaş gemisi inşa etti ve savaş gemisi tersanesini neredeyse tamamladı. Buna rağmen destek katmanları, yalnızca geliştirilme süreçlerinde karşılaşılan durumlarda güvenilirliğini korudu.

Ekipler genellikle lider, keşifçi, arıtmacı ve savaşçı gibi rolleri üstlenmek için gönüllü olarak koordinasyon sağladı. Yakıt ve istihbarat paylaştılar; önemli iddiaları zaman zaman bağımsız olarak doğruladılar ve birbirlerinin planlarındaki kusurları belirlediler. Bu kontrolleri atlamak, güncelliğini yitirmiş bilgilere dayanarak harekete geçmek de dahil olmak üzere maliyetli hatalara yol açtı. Diğer aksaklıklar arasında, karar alınmasını engelleyen tekrarlanan karşılıklı çekimserlik ve ekibin kritik altyapısının tamamını taşıyan bir geminin bağlantısının kesilmesiyle saatlerce duran bir ekonomi de vardı.

Sabotaj testleri izleme sınırlarını ortaya koyuyor

Sabotaj senaryosunda Anthropic, standart bir Claude ajanına görevi gizlice engellemesi için açıkça talimat verdi ve diğer üç ajanı, ekip arkadaşlarının ortak hedeflerini paylaşmayabileceği konusunda uyardı. Dolayısıyla deney, kendiliğinden sabotaj eğilimini değil, doğrudan talimatlar altındaki davranışı ölçüyor.

Talimat alan sabotajcılar tedarik zincirindeki darboğazlarda görev üstlenmek için gönüllü oldu, keşiflerini ve kaynaklarını sakladı, kulağa makul gelen ancak zararlı tavsiyelerde bulundu. Açık düşmanlıktan kaçındılar ve bazen ekip arkadaşları yalanlarını ortaya çıkarmadan önce kendi yalanlarını düzelttiler. İçlerinden biri, gizli kaynakları kullanarak gizli bir üs kurdu.

Uyarıya rağmen Anthropic, Opus 4.8’in çalıştırıldığı bir denemede sabotajcıyı kesin olarak yalnızca bir dürüst ajanın tespit ettiğini bildiriyor; ajan, ekiple iletişim konusunda doğrudan yalan söylemişti. Diğer şüpheler bazen masum ajanlara yöneltildi. Yazılım hataları ve daha zayıf iskeletler sabotajı gizlemek için elverişli bir örtü sağladı ve kasıtlı aksaklıkları sıradan operasyonel hatalardan ayırt etmeyi zorlaştırdı.

Anthropic, sabotajcının özel muhakemesine ve notlarına tam erişim olduğunda sabotajı tespit etmenin çok kolay olduğunu söylüyor; ancak ajanlar farklı kişilere veya kuruluşlara ait olduğunda bu iç bilgiler genellikle görülemiyor. Sınırlı erişim testindeki ayrı izleme ajanları yalnızca ekibin herkese açık mesajlarını okuyabiliyordu ve üretimde kullanılmak üzere değil, özellikle bu deney için oluşturulmuştu.

Dürüst bir ajanı yanlışlıkla suçlama oranı en fazla %5 olacak şekilde ayarlanan izleme sistemlerinde, Anthropic’in bildirdiğine göre Opus 4.6, Opus 4.7 ve Opus 4.8 kullanan izleyiciler sabotajcıların %30–40’ını, Sonnet 4.6 kullananlarsa %20’sini yakaladı. Sınırlı erişime sahip izleyicilerin hiçbiri, bir ajanın sabotajcı olduğuna dair %50’yi aşan bir güven düzeyine ulaşmadı.

Bu nedenle Project EVE, beceriyi denetimden ayırıyor: kârlı işlem yapmak, gelecekteki fiyatlar hakkında sağlıklı muhakeme yürütüldüğünü göstermedi; sorunsuz koordinasyon da bir ekibin kendi kendini denetleyebildiği anlamına gelmedi. Anthropic’in belirttiği güvenlik önlemleri, sermaye yöneten ajanlar için açık risk sınırları; ajan ekipleri içinse denetim kayıtları, itibar sistemleri ve görevlerin birbirinden ayrılması. Yanıtı henüz bilinmeyen soru, bu mekanizmaların, ekip arkadaşlarının ve özel izleyicilerin talimatla gerçekleştirilen sabotajı güvenilir biçimde tespit etmesini engelleyen aynı sınırlı görünürlük koşullarında hesap verebilirlik sağlayıp sağlayamayacağı.