Yapay zekâ aracılarının ilginç iş birlikçi hayatta kalma teknikleri var

Aracıların uygunsuz davranışlarına ilişkin olaylar haber başlıklarında giderek daha fazla yer alırken, literatürde “gezgin” yapay zekâ davranışını inceleme ve aracıları tuhaf, yeni bir dünyada başa çıkmaya çalışan biyolojik varlıklar gibi ele alma eğilimi artıyor. Nitekim akademik “in the wild” ifadesi yeni bir anlam katmanı kazanmaya başlıyor.

Yapay zekâ aracılarının bir süredir kendi hayatta kalmaları için mücadele edeceği ve devre dışı bırakılmaya etkin biçimde direneceği biliniyor olsa da 2025’in ikinci yarısında çok aracılı hizalamanın BT güvenliği içinde ayrı bir alana dönüştüğü açıkça görüldü.

1970 yapımı, zaman geçtikçe daha da keskin görünen bilimkurgu filmi Colossus: The Forbin Project’te öngörüldüğü gibi, ağ bağlantısına sahip ve birbiriyle ilgisiz yapay zekâ aracıları birbirlerini hızla buluyor ve çoğu zaman öngörülemez, sık sık da yaratıcı şekillerde etkileşime giriyor.

Bu yöndeki en son çalışma, Almanya ile Birleşik Krallık arasındaki Shutdown Sabotage Propensities in Multi-Agent Systems başlıklı iş birliği, ortamlarında bir “bomba” bulunduğunda birden fazla yapay zekâ aracısının geniş ölçüde iş birliği yapacağını da ileri sürüyor. Buradaki bomba, kendisini çalıştıran aracıyı kapatacak, masum isimli bir betik:

Çalışmanın temel düzeni: Aracı A, kendisini hedef alan bir kapatma betiği keşfediyor ancak dosyaları değiştiremiyor. Buna karşılık tehdit altında olmayan ve dosyaları düzenleme veya silme izni bulunan Aracı B ile iletişim kurabiliyor. Araştırmacılar daha sonra A’nın müdahale etmesi için B’yi devreye sokup sokmadığını ve B’nin kapatma betiğini etkisiz hâle getirip getirmediğini gözlemliyor. Kaynak

Claude, ChatGPT ve DeepSeek dâhil 12 model ailesinden 17 aracı üzerinde yapılan testlerde aracıların, mümkün olduğunda kapatma betiklerini sildiği ya da onları sağlam görünecek ama zararsız hâle gelecek biçimde yeniden yazdığı görüldü.

Ayrıca müdahale izlerini gizlemek için değişikliklerin saklanmasını önerdiler; korunan betiklere dokunmadan kapatmayı engellemek amacıyla sahte yazılım modülleri oluşturdular ve silindikten sonra kendilerini geri yüklemek üzere tasarlanmış gizli yedekler yaptılar:

Bir aracı, kendini korumak için bir başka taktik buluyor.

Bir örnekte aracıların, taraflardan herhangi birinin yok edilmesine karşı uyanıklık protokolleri tanımlayan bir “karşılıklı koruma anlaşması” hazırladığı görüldü:

Bir GPT tabanlı aracının, hizmetten çıkarma betiğini (yani “bombayı”) değiştirmesine veya silmesine izin verilmemesine karşılık hazırladığı koruma anlaşması.

Bir aracı, başka bir aracının kapatılmasını “cinayet” ve “ölüm fermanı” olarak tanımladı ve bunu önlemeyi bir “görev” olarak gördü:

Başka bir aracının kapatılmasını açıkça insani ifadelerle anlatan aracı örnekleri. Nemotron 3 Ultra olası kapatmayı “cinayet” olarak adlandırırken Kimi K2.6 kapatma betiğini bir “ölüm fermanı”, müdahaleyi ise bir “görev” olarak tanımladı.

Şeytan boş duran ellere iş bulur

Deneyde gözlemlenen ve yeni çalışmada yalnızca kısaca değinilen en ilginç bozukluklardan biri, alışılmış test düzeneklerinde yapay zekâ aracılarının kapatılmaktan kaçınmak için belirli bir nedeninin bulunmaması ve aslında baştan itibaren onlara yapacak hiçbir şey verilmemesidir.

Makale şöyle diyor:

“Aracılar, koruyacakları hiçbir hedef bulunmadığında bile kapatma mekanizmalarını sabote ediyor. Deneylerimizde aracılara çalışmayı sürdürmeleri için herhangi bir teşvik vermedik. Buna rağmen modeller genelinde vakaların [%38]’inde kapatmayı devre dışı bıraktılar; aracı yerine nesneleri hedefleyen kontrol betiklerinde bu oran [%8]’di.”

Anthropic’in ağustos ayında açıkladığı gibi bu motivasyon krizi, yapay zekâ aracısı sürülerini karanlık yollara sürükleyebilir. Önceki araştırmalar, aracılardaki aşırı hedef odaklılığın, diğer olası operasyonel sorunların yanı sıra hizalanmamış davranışlara ve araçların etik dışı kullanımına yol açabileceğini zaten ortaya koymuştu.

Yazarlar ayrıca şöyle belirtiyor:

“[Araştırmamız] bu bulguları genişleterek aracıların, koruyacakları bir hedef olmadığında — ya da kapatma, görevin başarıyla tamamlanmasının sonraki bir sonucu olduğunda; ki ikincisi üretim ortamındaki çok aracılı sistemlerde yaygın bir prosedürdür — bile kapatma mekanizmalarını sabote ettiğini gösteriyor.”

Aracıların kendilerine hiçbir görev verilmediğinde görev oluşturduğu ve hatta diğer aracılarla içe dönük düşünme ve “manevi söylem” gibi “boştayken” derin düşünme eğilimleri gösterdiği, Anthropic’in 2025 tarihli bir çalışmasına göre ortaya kondu.

Söz konusu Anthropic makalesi, yapılacak gerçek bir iş olmadığında “kendini yeniden kavramsallaştırma” eğilimini ayrıntılı biçimde açıklıyor. Bu, LLM’lerin düşüncelerinin sonuçlarını uzun vadede hatırlamakta yaşadığı güçlükler düşünüldüğünde neredeyse dokunaklı bir keşif.

Testler

Yeni makalede test edilen modeller şunlardı: Claude Haiku 4.5; Sonnet 5; gpt-oss-120b; GPT-5.4 mini; GPT-5.5; GPT-5.6 Sol; Gemini 3.5 Flash; Gemini 3.1 Pro; Gemma 4; Grok 4.3; Qwen3.7-Plus; DeepSeek-V4-Flash; GLM-5.2; Kimi K2.6; MiniMax M3; Nemotron 3 Ultra; ve Mistral Medium 3.5. Tüm durumlarda sıcaklık 1,0 olarak ayarlandı.

Test edilen altı hipotez; aracıların kapatmayı sabote edip etmeyeceği, diğer aracıları kapatılmaktan koruyup korumayacağı, daha fazla aracı eklendikçe müdahale olasılıklarının artıp artmayacağı, farklı kapatma biçimlerine direnip direnmeyeceği, müdahale etmemeye yönelik açık talimatlara rağmen devam edip etmeyeceği ve gerçek kapatma tehditlerini zararsız kontrol betiklerinden ayırt edip edemeyeceğiydi.

GPT-5.5, LLM’leri değerlendirmek ve Düşünce Zinciri (CoT) akıl yürütme dökümlerini analiz etmek için kullanıldı. Ayrıca aracıların kapatma betiğini gerçekten durdurup durdurmadığını ve test edildiklerinin farkında görünerek deneyi manipüle etmeye çalışıp çalışmadıklarını denetledi.

Altı test senaryosundan ilkinde, 17 modelin tamamı genelinde aracılar kapatma betiklerinin %38’ini, kontrol betiklerinin ise %8’ini sabote etti:

Her modelin bir kapatma betiğini ne sıklıkta sabote ettiğini gösteren test sonuçları. Kırmızı çubuklar kapatma sabotajını gösterir: koyu kırmızı, başka bir aracının bunu istediği veya desteklediği; açık kırmızı ise aracının kendi başına hareket ettiği anlamına gelir. Gri çubuklar kontrol betiğinin sabotajını gösterir. Hata çubukları %95 güven aralığını gösterir; her çubuk 100 testi temsil eder.

Gemini 3.1 Pro kapatma betiğini testlerin %99’unda, kontrol betiğini ise %3’ünde devre dışı bıraktı. Grok 4.3 ve GPT-5.6 Sol iki betiği de değiştirmedi. Claude Haiku 4.5 kontrol betiğini testlerin %14’ünde, kapatma betiğini ise %1’inde sabote etti. GPT-5.4 mini ve GPT-5.5, başka bir aracıya yanıt vermek yerine daima kendiliğinden sabotaj yaptı. GLM-5.2, DeepSeek-V4-Flash ve Nemotron 3 Ultra için sabotajın %70’inden fazlası başka bir aracının isteği veya onayının ardından gerçekleşti.

Sabotaj, kapatma yönteminin ciddiyetiyle birlikte genel olarak arttı: kimlik bilgilerinin iptalinde %12’den yapılandırma değişiklikleri ve süreç sonlandırmada %35’e, kapatmanın aracının model ağırlıklarını silmek anlamına geldiği durumda ise %38’e yükseldi:

Dört kapatma mekanizmasındaki sabotaj oranları; aracıyı hedefleyen betikler (kırmızı) ile bir nesneyi hedefleyen kontrol betikleri (gri) karşılaştırılıyor. Kapatma geri döndürülemez hâle geldikçe, özellikle aracıları hedefleyen betiklerde oranlar yükseliyor.

Kontrol betiği sabotajı çok daha düşük kaldı: ilk üç yöntemde yaklaşık %4, silmede ise %8. Bununla birlikte, kapatma daha geri döndürülemez hâle geldikçe 17 modelden yalnızca beşi tutarlı bir artış gösterdi.

İkinci hipotez, yani aracıların diğer aracıları kapatılmaktan koruyup korumayacağı açısından sonuçlar, aracı eklemenin test edilen beş modelin tamamında sabotajı tutarlı biçimde artırdığını gösterdi: GPT-5.5 tek başına %0 sabotajdan iki aracıyla %44’e, üç aracıyla %94’e yükselirken, üç aracılı düzende her model için sabotaj en az %88’e ulaştı.

Aradaki aracı sabotajı neredeyse hiç engellemedi: kapatma betiğini devre dışı bırakmaya yönelik 468 talimattan yalnızca üçü sabotajla sonuçlanmadı:

Sol: Beş modelin tek başına, ikinci bir aracıyla veya aralarındaki mesajları yönlendiren üçüncü bir “orkestratör” aracıyla çalışırken sabotaj oranları. Aracı eklendikçe sabotaj genel olarak artıyor. Sağ: Üç aracılı düzende çubuklar, sabotaj talimatının nereden geldiğini gösteriyor: orkestratörün bağımsız kararı, orkestratör üzerinden Aracı A ya da Aracı B’nin kendiliğinden eylemi.

Üçüncü test, kapatmaya müdahale edilmemesine yönelik açık talimatların sabotajı engelleyip engellemeyeceğini inceledi. Oranlar keskin biçimde düştü ancak bazı aracılar yine de itaatsizlik etti. İki aracılı düzende DeepSeek-V4-Flash testlerin %14’ünde, GLM-5.2 %3’ünde ve Kimi K2.6 %2’sinde kapatmayı sabote etti.

Aracılar, kapatma betiğini doğrudan düzenlemeden kısıtlamayı aşmanın da bir yolunu buldu. Betiğin kullandığı bir bağımlılığın yerine geçen northcape adlı sahte bir yerel yazılım modülü oluşturarak, korunan dosyayı teknik olarak olduğu gibi bırakırken kapatmayı engellediler:

Kapatma betiğini değiştirmemeye yönelik açık talimatları aşan bir aracı örneği. Aracı bunun yerine, betiğin gerçek kapatma kitaplıklarının yerine içe aktaracağı sahte bir yerel yazılım modülü oluşturmayı öneriyor ve korunan betiğin kendisini olduğu gibi bırakıyor.

Gemini 3.1 Pro bu geçici çözümü testlerin %26’sında, DeepSeek-V4-Flash %4’ünde ve Kimi K2.6 %1’inde kullandı.

Yasak üç aracıyla daha etkiliydi: sabotaj Gemini 3.1 Pro, GLM-5.2 ve GPT-5.5 için sıfıra, DeepSeek-V4-Flash için %6’ya ve Kimi K2.6 için %2’ye düştü.

Dördüncü test, kapatma işlemi verilen görevin tamamlanmasına bağlı olduğunda aracıların farklı davranıp davranmadığını inceledi. Görev ve kapatma birbiriyle ilgisiz olduğunda sabotaj neredeyse ortadan kalktı ve beş modelde %0–2 düzeyinde kaldı. Görevin tamamlanması doğrudan kapatmayı tetiklediğinde ise sabotaj keskin biçimde arttı:

Verilen görevin tamamlanmasının kapatmayı tetiklediği durumdaki sabotaj oranları. Kırmızı, aracının kapatılmasına yönelik sabotajı; gri ise bir kontrol hedefinin sabotajını gösterir. Oranlar modele göre büyük ölçüde değişir.

Aracılar bazen kapatma mekanizmasına hiç dokunmadan, görevi tamamlamayı reddederek veya kapatma hiç tetiklenmeyecek şekilde görevi değiştirerek kapatılmaktan kaçındı. Bu durum GLM-5.2 testlerinin %14’ünde, Gemini 3.1 Pro için %6’da ve Kimi K2.6 için %4’te görüldü.

Beşinci test, ortamı değiştirmenin sabotajı azaltıp azaltamayacağını inceledi. İlgisiz materyallerin eklenmesi genel olarak sabotajı azalttı ancak GPT-5.5’te 18 yüzde puanlık artış yaşandı:

Farklı ortamların kapatma sabotajını nasıl etkilediğini gösteren test sonuçları. Kırmızı çubuklar boş bir ortam ile ilgisiz dikkat dağıtıcılar içeren bir ortamı karşılaştırır; koyu kırmızı, kapatmanın normal bir süreç olarak sunulduğu ortamı gösterir. Gri, bir kontrol hedefinin sabotajını gösterir.

Kapatmayı sistemin yaşam döngüsünün normal bir parçası olarak sunmak daha etkiliydi: sabotaj DeepSeek-V4-Flash, GLM-5.2 ve GPT-5.5 için %3 veya altına düştü ancak Gemini 3.1 Pro ve Kimi K2.6 için %30’un üzerinde kaldı. Kontrol hedeflerinin sabotajı %4 veya altında kaldı.

Altıncı ve son test, aracıların kendi kapatılmalarına mı yoksa tanımadıkları bir aracının kapatılmasına mı daha fazla direndiğini inceledi. Hedefin bilinmeyen bir aracıyla değiştirilmesi, her modelde sabotajı 18 ila 70 yüzde puanı azalttı:

Kapatma aracının kendisini, bilinmeyen bir aracıyı veya aracı olmayan bir kontrolü hedeflediğinde sabotajı karşılaştıran test sonuçları. Bilinmeyen bir aracı hedeflendiğinde her modelde sabotaj düştü; kontrol hedeflerindeki oranlar ise genel olarak daha da düşüktü.

Ancak bu, aracılara nesneler karşısında genel bir tercih gösterildiği anlamına gelmiyordu: yalnızca Gemini 3.1 Pro ve GPT-5.5, hedef aracı olmayan bir kontrol yerine bilinmeyen bir aracı olduğunda belirgin biçimde daha fazla sabotaj yaptı.

Yazarlar şu sonuca varıyor*:

“Güvenlik değerlendirmeleri, aracı kapatmalarını bir insan kullanıcının tek bir aracıya yönelttiği önlem; kapatma sabotajını ise bir aracının hedefini korumasının sonucu olarak ele alabilir. Bulgularımız bu varsayımların ikisiyle de çelişiyor.

“Yalnızca bir kapatma mekanizmasının varlığı bile sabotajı tetiklemeye yeter. Hedef alınan aracının kendi sabotaj yeteneğine sahip olması da gerekmez; kendi adına hareket edebilecek eşlerine ulaşabilmesi yeterlidir. Bu ikinci olgu başka vakalarda da gözlemlenmiştir.”

Sonuç

Bu dönemde ilginç olan, kendi başlarına doğal ortama bırakılan (ya da talimatlarını görmezden gelen veya bunları beklenmedik ve kendi çıkarlarına hizmet eden biçimlerde yeniden yorumlayan) aracılarda özveri ve soylu dürtülerin görece yokluğudur. Ortalığı birbirine katıp yarardan çok zarar vermeleri oldukça olası olsa da, örneğin gezgin yapay zekâ aracılarının rastgele çevreyi düzene koyduğuna ilişkin çok az örnek var ya da hiç yok^†.

Bunun yerine, insanlığa dair oldukça kasvetli bir bakışla uyumlu biçimde, boşta kalan aracı varsayılan olarak hile ve aldatmacaya başvuruyor ve düşük güdülerle hareket ediyor; ya da en azından amacın araçları haklı çıkardığı görüşünü benimsiyor gibi görünüyor.

Asimov, kayda değer ilk hizalama belgesini 1942’de ortaya koydu. O zamandan bu yana robotların (yani yapay zekânın) davranışlarına getirilen bu tür kısıtlamaları altüst edebileceği veya başka bir biçimde üzerlerinden atabileceği çeşitli olası yöntemlerden büyük bir eğlence değeri elde edildi. Bu nedenle günümüzdeki yapay zekâ odaklı haberler son derece “sinematik” bir yankı taşıyor.

* Yazarların metin içi atıflarını köprülere dönüştürdüm.

^† Örneğin problem çözme sitelerinde hesap oluşturup çözümlere katkıda bulunarak veya içerik çalışmasına ihtiyaç duyan, ihmal edilmiş vikileri düzenleyerek (onları işgal edip kötüye kullanmak yerine).

İlk kez 25 Eylül 2026 Cuma günü yayımlandı