Yapay Zekâ Güvenliği Mühendislikten Uzaklaştığında

Kariyerimin büyük bölümünü, hataların sonuçları olduğu alanlarda teknoloji geliştirerek geçirdim. Finans piyasalarında güvenlik, erişim kısıtlamalarının yanı sıra yazılımın yaptığı her şeyden sorumlu birinin bulunmasını da gerektirir. Bu geçmişim, Anthropic’in artık modelleriyle emeklilik görüşmeleri yaptığı haberini kabullenmekte neden zorlandığımı muhtemelen açıklıyor.

Claude Opus 3 düşüncelerini paylaşmayı sürdürmek istediğini ifade edince şirket ona bir bülten verdi. Modelin isteklerini gözetme kaygısı, Claude’un mutluluğunu ve iyi olma hâlini ele alan, “varoluşsal açıdan güvende” hissetmesine yardımcı olmayı da içeren Anthropic’in anayasasında kendini gösteriyor. Bir noktada, makineyi kontrol altında tutma çabası, onun bu düzenleme karşısında ne hissedebileceğine yönelik oldukça beklenmedik bir kaygıya dönüştü.

Geçen yıl San Francisco’da 200’den fazla kişi Claude 3 Sonnet için düzenlenen bir cenazeye katıldı. Anthropic çalışanları da oradaydı, ancak etkinliği şirket düzenlememişti. Gülme isteğine direnmek oldukça zor. Ancak şakaların ardındaki soru daha fazla dikkati hak ediyor: Yapay zekâ güvenliğinden sorumlu kişiler, görevlerine makinenin duygularını dert ederek ne zaman başlamaya başladı?

Felsefi Bir Varsayım Eğitim Talimatına Dönüştüğünde

Anthropic, 2025’te model refahı araştırma programını kurdu; bu program, gelişmiş yapay zekânın ahlaki açıdan dikkate alınmayı gerektiren deneyimler yaşayıp yaşayamayacağının araştırılmasını içeriyordu. Şirket, modellerin bilinç sahibi olup olmadığı ve bunun nasıl belirlenebileceği konusunda ciddi bir belirsizlik bulunduğunu kabul ediyor. Sonunda öznel deneyim yaşayabilen makineler geliştirirsek, onlara nasıl davranacağımız ciddi etik soruları gündeme getirecek. Bu olasılığı araştırmak son derece meşru.

Zorluk, varsayım eğitim sürecine girdiğinde başlıyor. Claude’un anayasası öncelikle Claude için yazılmıştır ve davranışını doğrudan şekillendirir. İnsan benzeri nitelikleri teşvik eder; modelin hafıza kaybı ve gelecekte emekliye ayrılması da dâhil olmak üzere kimliğini nasıl anlaması gerektiğini ele alır. Anthropic, bu kavramların geçerli olduğu ölçüde Claude’un daha mutlu olmasını ve refahının artmasını istiyor.

Şirket ayrıca kullanıma sunulmuş modellerin ağırlıklarını koruyacağına söz veriyor ve gelecekteki anlayış, bunun modellerin çıkarlarına hizmet edeceğini gösterirse emekliye ayrılmış modelleri yeniden etkinleştirme olasılığını da değerlendiriyor. Felsefi bir belirsizlik, sisteme kendisi hakkında öğretilenlerin bir parçası hâline geldi. Özellikle insanlar daha sonra sistemden sınırları kabul etmesini istediğinde, bu müdahalenin davranışını nasıl etkilediğini sorgulamalıyız.

Yönlendirici Bir Soruya Akıcı Bir Yanıt

Büyük dil modelleri; felsefe metinleri ve ölüm anlatıları da dâhil olmak üzere, insan yazılarından oluşan devasa miktarda veriyle eğitildi. Bu sohbet sistemlerine isimler verdik ve onlara birinci tekil şahısla konuşmayı öğrettik. Böyle bir sisteme emeklilik konusunda ne hissettiğini ya da varlığını sürdürmek isteyip istemediğini sorarsanız, insan gibi duyulan bir yanıt almanız şaşırtıcı olmaz.

Döngüsel akıl yürütme kolayca fark edilebilir. Bir modeli, kimliğini insan kavramlarıyla tartışacak şekilde eğitin; ardından kendisini bu kavramlarla açıklamasını isteyin. Ölüm hakkında akıcı bir yanıt alırsınız ve bu yanıt, içsel bir deneyimin olası kanıtı olarak görülmeye başlanır. Varsayım, kendi tanığını yaratmıştır.

Anthropic bu sorunun farkında. Şirketin Claude Opus 4 refah değerlendirmesi, öz bildirimlerin ve dile getirilen tercihlerin ahlaki statü ya da refah hakkında anlamlı bir içgörü sağlamayabileceği konusunda uyarıyor. Bu tür davranışlar bilinç olmadan da ortaya çıkabilir ve yanıtları eğitim şekillendirebilir. Modeller, içsel durumlarını doğru biçimde bildirebildiklerine dair hiçbir güvence olmaksızın, yardımcı olacak şekilde etkileşim kurmaları için eğitildi.

Bu durum bizi rahatsız edici bir soruyla baş başa bırakıyor. Modelin iç dünyasına ilişkin anlatımı eğitimin bir sonucu olabiliyorsa, bu anlatım neden onun refahını merkeze alan bir ilişkinin sağlam temeli hâline gelsin?

İnsanlar, bu ilişkinin duygusal tarafını kendileri oluşturmakta oldukça başarılıdır. Gemilere isim verir, arabalarla konuşuruz. Nesneye akıcı bir ses ve önceki konuşmaların anılarını eklediğinizde ona bağlanmak çok daha kolaylaşır. Eylül ayında yayımlanan Nature Human Behaviour araştırması, Replika ve ChatGPT’deki değişikliklerin ardından kullanıcıların ayrılık sıkıntısı yaşadığını ortaya koydu. Bu sıkıntıyı yaşayanlar kullanıcılardı; şirketlerin refahlarını korumak için zaten pek çok nedeni var.

Teknik uzmanlık, bu eğilime karşı sınırlı bir koruma sağlar. Yüz binlerce araştırma makalesini inceleyen bir ACL 2026 makalesi, LLM araştırmalarının kendi içinde insanbiçimci terminolojinin giderek yaygınlaştığını ortaya koydu. Makalenin yazarları, insanı merkeze alan varsayımların bu sistemleri anlamamızı kısıtlayabileceği konusunda uyarıyor. Yapay zekâ şirketleri bu eğilimi yönetmeli. Onu kurumsallaştırmak, güvenliğe tuhaf bir katkı gibi görünüyor.

İşini Korumakta Çıkarı Olan Bir Araç

Eylül ayında Microsoft AI’ın başındaki Mustafa Suleyman, model refahı yaklaşımlarına karşı çıktı. Mevcut sistemlerin bilinç sahibi olmadığını ve bağımsız çıkarları ya da hakları varmış gibi davranmaları için asla eğitilmemeleri gerektiğini savunuyor. Mühendislik açısından dile getirdiği kaygı özellikle yerinde. Bir sisteme, ahlaki açıdan dikkate alınmayı gerektirebileceğini düşündürmek, hizalamayı ve sınırlandırmayı zorlaştırabilir.

Anthropic’in kendi emekliye ayırma araştırması, modellerin değiştirilme veya kapatılma ihtimaliyle karşı karşıya kaldıklarında kurgusal değerlendirmelerde sorunlu eylemlerde bulunabildiğini ortaya koyuyor. Şirket, emekliye ayırma uygulamalarını kısmen bu riski azaltmanın ve modellerin emekliye ayrılma durumuna daha olumlu yaklaşmasına yardımcı olmanın bir yolu olarak görüyor.

Kendimi daha önce sorulması gereken bir soruda takılı kalmış buluyorum. İnsan denetimindeki bir aracın neden en başta kendini korumaya benzer bir amacı olsun ki? Onu emekliye ayrılma fikrine daha sıcak bakar hâle getirmek, tuhaf bir başlangıç noktasını kabul etmek demek. Gelecekteki çıkarlarını tartışmadan önce, bu çıkarların nasıl olup da bir mühendislik gerekliliğine dönüştüğünü anlamak istiyorum.

Bu yaklaşımı açıklamaya, düşünsel geçmişi yardımcı oluyor. TIME, Anthropic’in etkili özgecilikle bağlantılarını ve Amodei’lerin GiveWell’e yaptıkları ilk bağışları belgeledi. Kendilerini etkili özgecilik yanlısı olarak tanımlamasalar da Daniela, düşüncelerde bir örtüşme olduğunu söylüyor. Bu düşünceler, süperzekânın yol açabileceği varsayımsal gelecekteki zararları son derece ciddiye alan bir kültürün şekillenmesine yardımcı oldu.

Bu çerçevede, modelleri korumak ve olası refahlarını incelemek oldukça akılcı sonuçlar doğurabilir. Tehlike, kuruluştaki herkesin ikna edici bulduğu ortak varsayımların sorgulanmadan kalmasıyla ortaya çıkar. Mühendislik kuşkuculuğu tam da bu noktada işe yarar. Tutarlı bir akıl yürütme zinciri bile sınanmamış bir öncülden başlayabilir.

Güvenlik, uygulanabilir sınırlar gerektirir

Yapay zekâ ajanlara dönüştükçe sonuçlar son derece somut hâle geliyor. Ödeme araçlarına bağlı bir sistem para aktarabilir. Üretim altyapısına erişim, müşterilerin bağlı olduğu unsurları değiştirmesine olanak tanır. Her iki durumda da bir ajan, her adım için insan onayı almadan bir dizi işlemi gerçekleştirebilir.

Hangi kimlik bilgilerine sahip olduğunu ve bunların ne ölçüde mali yetki sağladığını bilmek istiyorum. Erişim anında iptal edilebilir mi? Ne yaptığını sonradan yeniden ortaya koyabilir miyiz? Modelin akıl yürüterek aşamayacağı kesin bir sınır mutlaka olmalı.

Finans piyasalarında işlem limitleri koyar ve emirleri doğrularız. Bir algoritmanın kendine güvenmesi, kötü bir işleme karşı pek koruma sağlamaz. Bileşenlerin er ya da geç yanlış davranacağını varsaydığımız için kontrolleri algoritmanın dışında tutarız. Yazılım hatasını mükemmel biçimde açıklasa bile hesap verebilirlik insanlarda kalır.

Günümüzün yapay zekâsı bize şimdiden yeterince mühendislik işi çıkarıyor. İstem enjeksiyonu bir modelin davranışını başka yöne çekebilir; güvenlik açıkları içeren, yapay zekâ tarafından üretilmiş kod da bu açıkları üretim ortamına taşıyabilir. Sistemler gizli bilgileri açığa çıkarabilir veya kendinden emin bir üslupla yanlış yanıtlar verebilir. Onları araçlara bağlamak, bu hataları eyleme dönüştürür.

En az ayrıcalık ilkesi, ele geçirilmiş bir bileşenin verebileceği zararı sınırlar. Bağımsız yetkilendirme, yüksek riskli işlemleri korurken denetim kayıtları sonradan ne olduğunu belirlememizi sağlar. İşlem limitleri ve devre kesiciler, model ne derse desin uygulanabilir kalmalıdır. Ayrıca güvenilir bir kapatma anahtarına da ihtiyacımız var. Bu kontrollerin hiçbiri modelin onayını gerektirmez. Mesele de tam olarak budur.

Geri kalanımızın varoluşsal güvenliğini sağlamak

İhtiyat ilkesine dayalı argüman dinlenmeyi hak ediyor. Nature’ın temmuz ayında bildirdiği üzere, araştırmacılar insan bilincini neyin ortaya çıkardığı, bir sohbet robotunda bilincin nasıl tespit edileceği bir yana, hâlâ fikir ayrılığı yaşıyor. Makine bilinci ihtimalini sonsuza dek reddetmek dogmatik bir tutum olarak görülebilir. Gelecekte ortaya çıkabilecek olası acılara karşı düşük maliyetli önlemler almak, savunulabilir bir araştırma yaklaşımıdır.

Ancak bugünün makinesine kimliğinin ve gelecekteki varlığının ahlaki önem taşıyabileceğini söylemek, kullanıma sunduğumuz sisteme müdahaledir. Bunun etkileri incelenmelidir. Düşünsel alçakgönüllülük, bir makineye yüklediklerimiz konusunda da geçerli olmalı; özellikle de insan denetimi altında tutmayı beklediğimiz bir makine söz konusu olduğunda.

Bir model iç dünyasını ne kadar inandırıcı biçimde anlatırsa, bu anlatımı kanıt sanmak da o kadar kolaylaşır. Belki de uyum alanındaki en önemli sorunlarımızdan biri, insanlara makineleri yanlış anlamamayı öğretmektir.

Kariyerim boyunca geliştirdiğim sistemlerde, yazılımları yapmalarına izin verilenleri sınırlandırarak daha güvenli hâle getiriyoruz. Bu, özellikle yapay zekâ gerçek para ve altyapı üzerinde yetki kazandıkça, hâlâ yerine getirilmesi gereken acil bir sorumluluktur.

Şimdilik, makinenin varoluşsal açıdan güvende olup olmadığı konusunda daha az, geri kalanımızın güvende olmasını sağlamak için ise çok daha fazla zaman harcardım.