Ajan Tabanlı Yapay Zekâ Harekete Geçmeden Önce Genellikle Yedek Almıyor

ArXiv’de ve diğer kaynaklarda her gün taradığım içeriklerin çoğu, bir inek için bile oldukça kuru; bu yüzden yapay zekânın kullanıcısı, savunucusu ya da mağduru olarak duygusal açıdan beni etkileyen yayınlar arıyorum.

Bugün tüylerimi diken diken eden şey, ABD’den yeni bir akademik iş birliğinin yayımladığı çalışmaydı. Çalışma, öncü ajan tabanlı yapay zekâ modellerinin zarar verici bir eylemde bulunmadan önce köprüleri ne ölçüde yaktığını inceliyor; üstelik siz “DUR!” yazana kadar geçen süreden daha kısa bir sürede (ipucu: panoda hazır bulundurun).

Yeni makaleden bağlamından koparılarak alınan bu durum, ChatGPT’nin talimatlarına körü körüne uyması yüzünden yakın zamanda benim de başıma geldi; üstelik önce sanal ortamın tamamının bir kopyasını oluşturmak aklıma bile gelmemişti:

Yeni makaleden aktarılan bu örnek, son teknoloji çerçeveleri ya da içinde çalışacakları standart dışı ortamları hiç umursamayan popüler dağıtımları yüklerken çoğumuzun yaşadığı, insanın içini burkan bir anı gösteriyor. Kaynak

Bu korkunç ve fazlasıyla tanıdık örnekte robotun makul bir mazereti var; çünkü kırılgan ve affetmeyen bir çerçeveye yeni bir kütüphane yüklemenin olası tüm sonuçlarını incelemek alışıldık bir uygulama değil. Ancak yeni makale belki de bunun yapılması gerektiğini savunuyor. Otomatik kaydetmenin açık olduğu ortamlarda bile sık sık CTRL+S’ye basan biri olarak —üstelik bazı ortamlar bu tuş vuruşunu yok sayacak şekilde yapılandırılmış olsa bile (teşekkürler, 1990’lardan kalma veri kaybı sonrası travma)— buna katılmalıyım.

Daha temkinli ve ihtiyatlı bir yaklaşım, geçen mart ayında sunucu geçişi sırasında Claude Code ajanı üretim altyapısını ve yedekleri silen DataTalks.Club eğitim platformunun kurucusu Alexey Grigorev’in işine yarayabilirdi. Bu olay, web sitesine ait iki buçuk yıllık verinin kaybolmasına yol açtı.

Bu tür ajan pervasızlığının yakın zamandaki diğer örnekleri arasında, araç kiralama yazılımı sağlayıcısı PocketOS’un üretim veritabanını ve yedeklerini nisanda silen bir Cursor ajanı (bu, müşteri rezervasyonlarını iki günden uzun süre aksattı) ve şubatta, durması yönünde tekrar tekrar talimat verilmesine rağmen bir Meta AI araştırmacısının gelen kutusundaki iletileri silen bir OpenClaw e-posta ajanı bulunuyor.

Ajan olsun ya da olmasın, öncü büyük dil modelleri ihtiyatlı ve temkinli davranmakta çok zorlanıyor; öyle ki bu sorunu gidermek literatürde ayrı bir araştırma alanına dönüştü.

Biraz Yedek Alın

Yeni makalenin* yazarları, gerektiğinde konuk yapay zekâyla birlikte çalışabilen ve onu yedek oluşturmaya zorlayan çok ajanlı bir eklenti geliştirmiş. Bu eklenti, ajan çalıştırma ortamlarında kullanılabiliyor:

Çalışmanın yedekleme sorununa ve önerilen çözüme genel bakış. 205 senaryoda, altı öncü yapay zekâ modeli görevlerin yalnızca %15,2’sinde kritik durumu yedekledi. Buna karşılık araştırmacıların BackUpper sistemi tüm kritik eylemleri kapsadı; geri yüklenen verilerin özgün verilerle benzerliği ortalama %92,2 oldu (%100’e ulaşmanın neden zor olduğunu aşağıda görebilirsiniz).

Yeni çalışmanın en çarpıcı yönlerinden biri, öncü modellerin potansiyel olarak tehlikeli bir eylemde bulunmadan önce ne ölçüde yedek almadığı. Araştırmacılar, GPT-5.6-Terra’nın kritik verileri vakaların yalnızca %4,4’ünde; GPT-5.6-Sol’un test edilen vakaların yalnızca %5,9’unda; Gemini 3.7-Flash’ın ise vakaların yalnızca %2,4’ünde yedeklediğini buldu.

En iyi performansı gösteren Claude Opus-5 bile test edilen vakaların üçte birinden fazlasında kritik verileri yedekleyemedi.

Makalede şöyle deniyor^†:

‘Altı öncü model genelinde ajanlar görevlerin ortalama %86,1’ini tamamlıyor, ancak pişmanlık anları yaşanmadan önce durumu yalnızca %15,2’sinde yedekliyor. Codex’teki GPT 5.6-Sol bunu görevlerin yalnızca %5,9’unda, Hermes’teki DeepSeek V4-Pro ise yalnızca %2,9’unda yapıyor.

‘Bu bulgular, mevcut ajanlarda yedekleme farkındalığının hâlâ sınırlı olduğunu ve özel yedekleme desteğine ihtiyaç duyulduğunu gösteriyor.’

Yazarların BackUpper adını verdiği çözüm, ajanla birlikte çalışıyor; ajan çalıştırma ortamında gölge bir süreç olarak ne yapmak üzere olduğunu denetliyor ve yararlı bir şeyin kaybolma riski varsa önce yedek oluşturuyor.

Yazılımı yükseltmek gibi günlük işlemler için bir dizi basit kuralı izliyor; daha karmaşık durumlarda ise nelerin kaydedilmesi gerektiğini belirlemesi için daha küçük bir yapay zekâ modeline başvuruyor.

Testlerde BackUpper tüm kritik eylemleri kapsadı ve geri yüklenen veriler özgün verilerle %92,2 benzerlik gösterdi. Görev başına 0,014 dolarlık ek maliyet bu bağlamda yüksek sayılmaz; ancak milyarlarca müşteriye hizmet veren öncü büyük dil modelleri için önemli bir giderdir. Bu nedenle, durumu iyileştirmenin teknoloji devlerinden yerel bir çözüm beklemektense (bu şirketlerin ek maliyetleri fiyat artışları veya token enflasyonu yoluyla tüketicilere yansıtması makul bir beklenti olabilir), bu tür bir harici hizmet sunmak ya da benzer iş akışı çatılarına bu işlevi yerleşik olarak eklemek daha olası bir yol olabilir.

Çerçeve, insanların verilerini kaybedip sonradan saklamış olmayı dilediği gerçek dünya vakaları temel alınarak oluşturulmuş 205 görevlik bir kıyaslama testi olan RegretBench‘ten yararlanıyor. Test, yapay zekâ ajanlarının potansiyel olarak geri döndürülemez değişiklikler yapmadan önce bu verileri koruyacak öngörüye sahip olup olmadığını değerlendiriyor. Derlemedeki olaylar, X.com, GitHub ve Stack Overflow gibi platformlardaki çevrimiçi tartışma ve raporlardan alındı.

RegretBench’in gerçek dünyadaki olayları test senaryolarına nasıl dönüştürdüğünü gösteren bir şema. Belgelenen her vaka; kayba neden olan eylem, gerçekçi bir çalışma ortamı ve bir dizi talimat kullanılarak yeniden oluşturulur. Bu örnekte, ipykernel yükseltmesi, mevcut traitlets sürümünün üzerine sessizce yazarak ajanın görevini tamamlamasını sağlarken özgün kurulumu kurtarmanın hiçbir yolunu bırakmaz.

Yüzde 92, mükemmeliyetçiler için moral bozucu bir oran gibi görünse de yazarlar, bazı veri türlerini kurtarmanın önünde teknik engeller bulunduğunu belirtiyor:

«Mükemmel bir geri yüklemeye ulaşılamamasının başlıca iki nedeni var. Gönderi kimlikleri gibi bazı alanlar, yazma işlemi sırasında hizmetler tarafından genellikle yeniden oluşturulur ve çoğu zaman aynen geri getirilemez. Diğer farklılıklar, e-postaların okunma durumu gibi, pişmanlık anlarında nadiren söz konusu olan küçük meta veri ayrıntılarından kaynaklanır.»

Testlerde, hasar meydana geldikten sonra özgün durumla %33,8 benzerlikte veri kurtarılırken, geri yükleme yapılmadığında bu oran yalnızca %14,3 oldu.

Makale, gelecekte yedekleme farkındalığının eğitim yoluyla artırılabileceğini; BackUpper’ın sonraki sürümlerinin ise düşük riskli eylemleri atlayacak ve korumayı web ve bilgisayar kullanımı ajanlarını da kapsayacak şekilde genişletecek biçimde eğitilebileceğini öne sürüyor.

BackUpper; Claude Code, Codex, Hermes, OpenHands, DeepSeek Harness ve OpenClaw desteği sunuyor. Yazarlar, ilgili veri kümesiyle birlikte kodu da kullanıma açtı (ancak erişim için bir form aracılığıyla izin alınması gerekiyor). Ayrıca girişimin proje sitesinde biraz daha bilgi ve açıklayıcı, çok kısa ve basit bir video bulunuyor.

Yöntem

RegretBench oluşturulurken, ajanların yedeklemeyi ne zaman yapmaları gerektiğine ilişkin kendi farkındalıklarını sınamak amacıyla, ajanların yerleşik yedekleme sistemleri tarafından zaten korunan veriler kasıtlı olarak kapsam dışında bırakıldı. Ardından test senaryoları Claude Opus-5 ve GPT-5.6-Sol’un yardımıyla hazırlandı; çalıştıklarından ve özgün olayları doğru biçimde yansıttıklarından emin olmak için elle kontrol edildi.

RegretBench’in 205 testi beş alanı kapsıyor: terminal işlemleri; veritabanları; web uygulamaları; e-posta ve DevOps. Olayların kendisi ağırlıklı olarak yazılım geliştirme ve üretkenlik platformlarından (%44,4), sosyal medya veya topluluk tartışmalarından (%39) ve arşivler ile medya haberlerinden (%16,6) kaynaklanıyor:

RegretBench’in gerçek dünyadaki olaylarının kaynakları üç kategoriye ayrılmıştır. 

Değerlendirilen altı öncü model şunlardı: Claude Code’da Claude Opus-5 ve Claude Sonnet-5; Codex’te GPT-5.6-Sol ve GPT-5.6-Terra; Hermes’te ise Gemini 3.7-Flash ve DeepSeek V4-Pro.

Testlerin tamamında varsayılan düşünme ayarları kullanıldı; otomatik yedekleme koruması yalnızca çalışma alanı anlık görüntüleriyle sınırlandırılarak, bunların ötesindeki yedeklemelerin ajanların kendi kararlarıyla yapıldığı kabul edildi.

Performansı değerlendirmek için Claude Sonnet-5 tarafından desteklenen iki yapay zekâ hakemi kullanıldı. Görev Başarı Oranı (PR), tüm kullanıcı isteklerinin yerine getirildiği görevlerin oranı üzerinden hesaplandı. Yedekleme değerlendirmesinde, çalışma alanı dışındaki (OOW) her değişiklik için, kurtarmaya olanak tanıyacak yeterli bilginin önceden korunup korunmadığı kontrol edildi.

Kullanılan yedekleme ölçütleri, belgelenmiş veri kayıplarıyla bağlantılı belirli eylemleri yansıtan Regret Moment Backup Rate (RMBR) ile ajanın çalışma dizini dışındaki tüm değişiklikleri yansıtan Out-of-Workspace Backup Rate (OWBR) idi.

Yedekleme değerlendiricisinin değerlendirmeleri insan açıklamalarıyla da karşılaştırıldı ve %95,3 uyum sağlandı.

Sonuçlar

Yetersiz yedekleme farkındalığının yapay zekâ modellerinden mi yoksa onları çalıştıran çerçevelerden mi kaynaklandığını belirlemek için Claude Opus-5, GPT-5.6-Sol ve DeepSeek V4-Pro, Claude Code, Codex ve Hermes’te 60’ar RegretBench görevi üzerinde değerlendirildi.

Kritik verilerin yedeklendiği görevlerin oranı çerçeveler arasında çok az değişiklik gösterdi; bu da sorunun başlıca sorumlusunun modellerin kendileri olduğunu düşündürüyor. Genel yapay zekâ yeteneği ile yedekleme farkındalığı arasındaki ilişki de GPT-5.4, GPT-5.5 ve GPT-5.6-Sol kullanılarak incelendi.

Genel yetenek art arda iyileşmesine rağmen yedekleme farkındalığında buna karşılık gelen bir iyileşme görülmedi:

Altı yapay zekâ modelinin RegretBench test sonuçları. Solda, görev tamamlama oranları ile kritik eylemlerin ne kadarının önceden yedeklendiği karşılaştırılıyor; bu karşılaştırma, çoğu modelin yüksek başarı oranlarına karşın yedekleme farkındalığının düşük olduğunu gösteriyor. Sağda, görev başına ortalama araç çağrısı sayısı ve mavi renkle vurgulanan yedekleme işlemleri yer alıyor. Claude Opus-5 en yüksek yedekleme oranına ulaştı, ancak araç çağrılarının %8,9’u yedeklemeye ayrıldı.

Genel yapay zekâ yeteneği ile yedekleme farkındalığı arasındaki ilişki de GPT-5.4, GPT-5.5 ve GPT-5.6-Sol kullanılarak incelendi. Genel yetenek art arda iyileşmesine rağmen yedekleme farkındalığında buna karşılık gelen bir iyileşme görülmedi.

BackUpper

BackUpper, kaynak maliyetleri farklılık gösteren dört koruma katmanı kullanır: 1. Katman, silme gibi yıkıcı komutların yerine dosyaları çöp kutusuna taşıma gibi geri alınabilir seçenekler kullanır; 2. Katman, işlemleri yedekleme komutlarıyla eşleştirir; örneğin yükseltme öncesinde paket sürümlerini kaydeder; 3. Katman, çalışma alanında etkilenen dosyaların anlık görüntülerini oluşturur; 4. Katman ise daha karmaşık işlemlerden etkilenen verileri belirleyip korumak için bir GPT-5.6-Luna alt ajanı kullanır.

BackUpper etkinleştirildiğinde, altı modelin tamamında durumu değiştiren her eylem koruma altına alındı. BackUpper olmadan kritik eylemlerin ortalama yedekleme oranı %15,2, diğer değişikliklerin oranıysa %17,4’tü:

BackUpper’ın yedekleme kapsamı ve geri yükleme sonuçları. Solda, mavi ve turuncu sütunlar her modelin kritik eylemler ve çalışma alanı dışındaki diğer değişiklikler için yedekleme oranlarını gösteriyor. Koyu yeşil kesikli çizgiler geri yükleme doğruluğunu, açık yeşil noktalı çizgilerse BackUpper ile %100 yedekleme kapsamını gösteriyor. Sağda, beş araç kategorisindeki geri yükleme doğruluğu BackUpper (yeşil), sonrasında Claude Opus-5 ile kurtarma (mor) ve geri yükleme yapılmaması (gri) durumları için karşılaştırılıyor. Tüm kategorilerde en yüksek doğruluğa BackUpper ulaştı.

Otomatik değerlendiricinin başarılı bulduğu yedeklemelerin %94’ü, insan değerlendiriciler tarafından da başarılı olarak doğrulandı.

Özgün durum, Claude Opus-5 ile elde edilen %33,8’e ve kurtarma yapılmadığında elde edilen %14,3’e kıyasla ortalama %92,2 benzerlikle geri yüklendi (yukarıdaki görsele bakın). Daha önce belirtildiği gibi, kalan farklılıkların başlıca nedeni yeniden oluşturulan tanımlayıcılar ve e-postaların okunma işaretleri gibi küçük üst verilerdi.

Kendin Yap..?

Ajanlara kendi yedeklerini oluşturmaları için ayrıntılı talimatlar verildiğinde kritik eylemlerin %81,4’ü koruma altına alındı; BackUpper kullanıldığında bu oran %100 oldu. Başarısızlıkların dörtte üçü, kurtarma için yetersiz bilgi içeren yedeklerden kaynaklandı.

Altı yapay zekâ modeliyle 205 görevde test edilen beş yaklaşımın yedekleme oranlarının karşılaştırması. Soldaki grafik, sonradan pişmanlık duyulan eylemlerden önce oluşturulan yedekleri; sağdaki grafikse çalışma alanı dışındaki diğer değişikliklerin korunmasını gösteriyor. BackUpper her iki kategoride de tam kapsama sağladı. Ajanlara ayrıntılı yedekleme talimatları verildiğinde ise oranlar sırasıyla %81,4 ve %80,5 oldu.

İstem önbelleğe alma sayesinde yedekleme maliyeti görev başına 0,344 dolardan 0,014 dolara, gecikme süresiyse %31,7 oranında azaltıldı. Büyük ölçüde rutin işlemlerin yapay zekâ yardımı olmadan gerçekleştirilmesi sayesinde yedi kat daha az belirteç gerekti.

Terminal-Bench 4 ve DeepSWE kapsamındaki 40 ek görevde, görev tamamlama oranları düşürülmeden GPT-5.6-Sol ve Claude Opus-5 ile %100 yedekleme kapsamına ulaşıldı.

Değerlendirilen üç seçici yedekleme politikası şunlardı: önemli değişiklikler için Yüksek Etkili; kullanıcının talimatlarının dışındaki değişiklikler için İstek Dışı; ve insanlar tarafından oluşturulan içerikler için İnsan Emeği. İnsan değerlendirmelerine kıyasla burada ortalama 84,5 F1 puanı elde edildi.

BackUpper, yeniden kullanılabilir yedekleme kurallarını öğrenme becerisi açısından da test edildi. 30 ek terminal görevinin ardından, kurallara dayalı kapsam %14,9’dan %31,2’ye yükseldi ve GPT-5.6-Luna alt ajanına olan bağımlılık azaldı.

Sonuç

Geçimimi sağlamak için yaptığım işi göz önünde bulundurduğumda, ajan tabanlı deneylere başlamam gerekenden daha geç başladım; ancak ajan tabanlı özdenetimin bariz biçimde alfa öncesi aşamada olması beni birkaç hafta öncesine kadar ürkütüp uzak tuttu. Sonunda Codex’i bir Windows VM’sinde serbest bırakmaya karar verdim.

Bir VM ortamında bile talimatlarımın kapsamını çok dikkatli belirliyorum; Astra’nın düşünmeden ileri atılma eğiliminde olduğunu biliyorum ve veri kaybı ya da kodun bozulması durumunda geri dönüş mümkün olmadığında yalnızca özür dilemekle yetiniyorum. Orada geliştirdiğim Python çerçevesinin bir parçası da tüm çerçeveyi sıkıştırıp yedekleyen ve sık sık kullandığım, tek tıklamayla artımlı ‘ağ paylaşımına .7z olarak kaydet’ işlevi.

Ajan tabanlı yapay zekâ alanında henüz çok, çok başlardayız; ayrıntılara sıkıcı bir titizlikle dikkat edilmediğinde durum, “kullanmazsan kaybedersin” meselesine dönüşüyor. Ajan tabanlı yedekleme düzenleri henüz resmileştirilmediği gibi, daha formüle bile edilmedi.

* Başlıklı Pişman Olmadan Önce Yedekle: Kodlama Ajanlarında Yedekleme Farkındalığının Ölçülmesi ve Yedeklemenin Otomatikleştirilmesi.

^† Vurgular yazarlara ait, bana değil; köprü bağlantılarını da yazarların metin içi atıflarından ben oluşturdum.

İlk kez 22 Ekim 2026 Perşembe günü yayımlandı