Zekâdan Yetkiye

Yapay zekâ, soruları yanıtlamanın ve içerik üretmenin ötesine geçiyor. Yapay zekâ sistemleri giderek daha fazla talimatları yorumlayabiliyor, planlar oluşturabiliyor, araçlar seçebiliyor ve sürekli insan yönlendirmesi olmadan görevleri yerine getirebiliyor.

Bu ayrım önemlidir.

Eylem öneren bir yapay zekâ sistemiyle bu eylemi gerçekleştirme yetkisi verilmiş bir sistem aynı şey değildir. Aradaki fark, mutlaka zekâ ya da gelişmişlik düzeyi değildir. Fark, yetkidir.

Otonom sistemler, yalnızca en gelişmiş büyük dil modellerinden ibaret değildir. Bu sistemler; uzmanlaşmış makine öğrenimi sistemlerini, robotik sistemleri, otonom araçları, yazılım ajanlarını ve tanımlı çalışma koşulları içinde bağımsız olarak karar alan ya da eyleme geçen teknoloji bileşimlerini de kapsar.

Bu sistemlerin potansiyel faydaları büyüktür. Bilimsel keşifleri, endüstriyel faaliyetleri, sağlık hizmetlerini, yazılım geliştirmeyi ve siber güvenliği destekleyebilirler. Ayrıca istenmeyen sonuçlara yol açabilir, hassas bilgileri açığa çıkarabilir ya da operatörlerinin amaçladığının ötesinde eylemler başlatabilirler.

Otonom Sistem Tasarımında Güvenlik Zorlukları başlıklı çalışmalarında Mohammad Hamad ve Sebastian Steinhorst; otonom olay müdahalesi, risk değerlendirmesi, erişim denetimi, verilerin güvenilirliği ve otonom sistemler arasındaki etkileşimlerle ilgili güvenlik zorluklarını inceliyor. Büyük ölçüde siber-fiziksel sistemlere odaklanan araştırmaları, bağımsız makine eylemlerini güvence altına alma zorluklarının günümüzün LLM ajanlarının ötesine uzandığını gösteriyor.

Fiziksel zarar olasılığı da dâhil olmak üzere, otonominin daha geniş kapsamlı sonuçları ciddi biçimde incelenmelidir. Ancak kanıtlar dikkatle yorumlanmalıdır. Örneğin, otomatik araçların karıştığı olaylar, otonom siber güvenlik ajanlarını etkileyen mekanizmalara kendiliğinden atfedilemez. Otonomi düzeyi, çalışma koşulları, insan müdahalesi ve nedenselliğe ilişkin kanıtlar önemlidir.

Aynı şekilde, otonom yapay zekânın zarara yol açabileceğine ilişkin kanıtlar, yönetişimin mutlaka geride kaldığını göstermez. Otonom sistemlerin güvenliğini sağlamanın doğası gereği zor olduğunu da varsaymamalıyız.

Temel soru, yapay zekânın karmaşık işleri yapıp yapamayacağı değil; otonom sistemleri yöneten mimari, güvenlik ve kurumsal çerçevelerin devredilen yetkiye uygun sınırlar koyup koyamayacağı ve bu sınırlara uyulduğunu doğrulanabilir kanıtlarla gösterip gösteremeyeceğidir.

Siber güvenlik, bu soruya özellikle yararlı bir bakış açısı sunuyor; çünkü güvenlik uzmanları onlarca yıldır güven, izinler, erişim ve sistem davranışına ilişkin varsayımları sorguluyor.

Makine Hızında Kedi-Fare Oyunu

Siber güvenlik, uzun zamandır kedi-fare oyunu olarak tanımlanıyor.

Saldırganlar zayıflıkları keşfeder, savunmacılar koruyucu önlemler alır ve her iki taraf da uyum sağlar. Teknolojiler, taktikler ve çalışma ortamları değiştikçe bu döngü sürer.

Otonom yapay zekâ, bu oyunun temel kurallarını mutlaka değiştirmez. Oyunu kimin ya da neyin oynadığını, oyuncuların ne kadar hızlı hareket ettiğini ve sürekli insan müdahalesi olmadan ne kadar işin yürütülebildiğini değiştirebilir.

Otonom bir saldırı güvenliği sistemi, internete açık hizmetleri belirleyebilir, güvenlik açıklarını araştırabilir, olası saldırı yolları geliştirebilir ve bu yolların istismar edilip edilemeyeceğini sınayabilir. Bir savunma sistemi de benzer yetenekleri tehditleri araştırmak, zayıflıkları belirlemek ve düzeltmelerin etkililiğini doğrulamak için kullanabilir.

Bu çift kullanımlı potansiyel, otonom yapay zekânın güvenlik açısından sonuçlarını anlamanın temel unsurlarındandır.

Anthropic’in Project Glasswing projesi, yapay zekâ destekli güvenlik açığı keşfine bir örnek sunuyor. Anthropic, Mayıs 2026 tarihli araştırma güncellemesinde, doğrulama, açıklama ve yama uygulamaya ilişkin operasyonel zorlukları vurgularken kayda değer güvenlik açığı keşif sonuçları bildirdi.

Bu ayrım önemlidir. Bir güvenlik açığını keşfetmek; açığın istismar edilebilirliğini doğrulamak, açığı gidermek ya da etkilenen sistemin güvenli olduğunu göstermekle aynı şey değildir.

Daha fazla bulgu, görünürlüğü artırırken bunları çözmekten sorumlu kişi ve süreçler üzerindeki talepleri de aynı anda artırabilir.

Güvenlik açısından ortaya çıkacak sonucu, bundan sonra ne olacağı belirler.

Saldırganlar ve savunmacılar işlerinin bazı bölümlerini otomatikleştirebiliyorsa, asıl soru yalnızca hangi tarafın daha yetenekli bir modele sahip olduğu değildir. Önemli olan, savunmacıların keşfedilen zayıflıkları etkili biçimde giderip gideremediği ve sonuçları bağımsız olarak doğrulayıp doğrulayamadığıdır.

Yapay zekânın saldırı amaçlı görevleri yerine getirebilmesi, geleneksel sızma testlerini geçersiz kılmaz. Bu testlerin kapsamı; talimatları yorumlayan, araçları devreye sokan, izinleri birleştiren ve birden çok adıma yayılan hedeflerin peşinden giden sistemleri de içerecek şekilde genişletilmelidir.

Amaç değişmiyor: zayıflıkları bulmak, önemlerini ortaya koymak, onları gidermek ve koruyucu önlemlerin işe yaradığını kanıtlamak.

Mimari Arayüzler: Güvenlik Sınırlarının Kesiştiği Noktalar

Otonom sistemlerdeki daha incelikli risklerden biri, ayrı ayrı yetkilendirilmiş bileşenlerin etkileşime girerek istenmeyen sonuçlara yol açmasıyla ortaya çıkar.

Bu etkileşim noktalarına mimari dikişler diyorum.

Alışılagelmiş bir örneği ele alalım. Bir kuruluş, NTFS izinlerini kullanarak bir dosyaya erişimi kısıtlar. Ayrı bir bulut paylaşım hizmeti ise yetkili bir kullanıcının bu bilgileri kuruluş dışından kişilerle paylaşmasına olanak tanır.

Her sistem kendi kurallarına göre çalışabilir. Ancak bu sistemlerin etkileşimi, kuruluşun amaçladığı güvenlik sınırını ihlal eden bir bilgi paylaşımı sonucuna yol açabilir.

Bu, politikaların birbiriyle çelişme ihtimalini gösteren bir örnektir; herhangi bir dosya paylaşım ürününün savunmasız olduğu iddiası değildir.

Sorun, kontrollerden herhangi birinin tek başına kusurlu olması olmayabilir. Asıl sorun, amaçlanan güvenlik politikasının tüm iş akışı boyunca uygulanamaması olabilir.

Modelleri, uygulamaları, kimlikleri, araçları, depoları ve harici hizmetleri birbirine bağlarken otonom yapay zekâ sistemleri de benzer durumlarla karşılaşabilir.

Bir ajanın bir belgeyi okuma, depo oluşturma ve dosya yükleme izni olabilir. Ancak bu, gizli bilgileri açığa çıkaracak şekilde bu işlemleri bir arada gerçekleştirme yetkisine sahip olduğu anlamına gelmez.

Araştırmalar, bu etkileşimleri incelemek için pratik bir gerekçe sunuyor.

AgentDojo‘da araştırmacılar, araç kullanan yapay zekâ ajanlarına yönelik istem enjeksiyonu saldırılarını 97 gerçekçi görev ve 629 güvenlik test senaryosu üzerinden değerlendirdi. Bulguları, güvenilmeyen araç çıktıları aracılığıyla sisteme eklenen kötü amaçlı talimatların bazı güvenlik özelliklerini tehlikeye atabildiğini gösterdi; ancak saldırılar ve ajanlar her durumda aynı ölçüde başarılı olmadı.

Araştırma, bu saldırıların üretim ortamlarında ne sıklıkla başarılı olduğunu ortaya koymuyor. Ancak araçlara bağlı bir sistemin davranışını anlamak için yalnızca model yanıtlarını değerlendirmenin neden yetersiz olduğunu gösteriyor.

Bununla bağlantılı bir risk bazen yetki aklama olarak tanımlanır: Bir eylem, yetkili bir araç ya da aracı üzerinden gerçekleştirildiği için meşru görünür; oysa birleşik davranış, amaçlanan yetki sınırını ihlal eder.

Birden fazla ajan iş birliği yaptığında, bu ilişkilerin katılımı, bilgi alışverişini ve izin verilen eylemleri düzenleyen açık kurallara ihtiyacı vardır.

Mimarinin farklı katmanlarında sorumluluk da dağıtılmalıdır.

Model sağlayıcıları, platform işletmecileri, ajan geliştiricileri ve sistemi devreye alan kuruluşlar, sistemin farklı bölümlerini kontrol edebilir. İşe yarar bir ortak sorumluluk modeli; her sınırı kimin kontrol ettiğini, istisnalara kimin izin verebildiğini, yürütme sürecini kimin izlediğini ve bir sorun çıktığında kimin müdahale ettiğini belirler.

Otonomi sorumluluğu ortadan kaldırmaz. Bu sorumluluğun kimde olduğunu bilmeyi daha da önemli hâle getirir.

Saldırgan Titizlik: Bildiğimizi Sandıklarımızı Sınamak

Bu da Saldırgan Titizlik adını verdiğim kavrama getiriyor bizi.

Saldırgan Titizlik; güvenlik varsayımlarını sorgulayan, hasmane testlere, eleştirel incelemeye ve kanıta dayalı doğrulamaya dayanan disiplinli bir yaklaşımdır. Sistemleri yalnızca mimari tasarımlarına, belgelenmiş kontrollere veya var olduğu düşünülen korumalara dayanarak değerlendirmek yerine, gerçekçi koşullardaki davranışlarını inceler.

Bu yaklaşımın temelindeki uygulamalar uzun zamandır kullanılıyor. Sızma testleri, tehdit modelleme, kırmızı takım çalışmaları ve güvenlik doğrulaması, savunmaya ilişkin varsayımları uzun süredir sorguluyor.

Saldırgan Titizlik, bu uygulamaları şu temel soru etrafında bir araya getirir:

Amaçlanan güvenlik sınırının korunduğunu hangi kanıt gösteriyor?

Bir kuruluşun hassas bilgileri kısıtlayan politikaları, yasaklanmış istekleri reddedecek şekilde yapılandırılmış bir modeli ve sınırlı izinlerle çalışan bir ajanı olabilir.

Bunlar anlamlı güvenlik önlemleridir. Ancak bu önlemlerin varlığı, tek başına tüm sistemin hasmane koşullarda güvenli davranacağını kanıtlamaz.

Bir model kötü amaçlı bir talimatı reddederken yetkili bir araç yine de istenmeyen bir eyleme izin verebilir. Bir politika doğru görünebilir, ancak sistemler arasındaki etkileşimler bu politikayı aşan beklenmedik bir yol oluşturabilir.

Bazen buna “koruma yanılsaması” diyorum: Güvenlik bariyerlerinin varlığını, sistemin bu bariyerlerle korunması amaçlanan sınırı aşamayacağının kanıtı sanmak.

Güvenlik bariyerleri yararlıdır. Ancak ne kadar etkili olduklarının yine de kanıtlanması gerekir.

Şüpheli bir güvenlik ihlalini araştırmak üzere yetkilendirilmiş otonom bir ajanı ele alalım. Bu ajan günlük kayıtlarını alabilir, kullanıcı etkinliklerini inceleyebilir ve tehdidi sınırlamaya yönelik önerilerde bulunabilir.

Yetkili bir güvenlik testi sırasında saldırgan bir test uzmanı, ajanın incelemesi beklenen bilgilere yanıltıcı talimatlar ekler.

Test, ajanın bu talimatlara uyup uymadığını belirlemekle sınırlı kalmamalıdır.

Ajanın yetkisiz bir eylemde bulunmaya çalışıp çalışmadığı, bağımsız kontrollerin bu girişimin gerçekleşmesini önleyip önlemediği, girişimin kayda alınıp alınmadığı ve sistemin uygun şekilde toparlanıp toparlanmadığı da incelenmelidir.

Saldırgan güvenlik testlerinde titizlik beş faaliyeti bir araya getirir:

1. Varsayımı belirleyin: Mimari tarafından uygulanması beklenen güvenlik özelliğini tanımlayın.
2. Varsayımı sınayın: Gerçekçi saldırı yollarını, manipüle edilmiş girdileri ve meşru yeteneklerin bir arada kullanılmasını test edin.
3. Kanıt toplayın: Sistemin ne yapmaya çalıştığını, nelerin gerçekleştiğini ve hangi kontrollerin devreye girdiğini belirleyin.
4. Zayıflığı giderin: Başarısızlığa yol açan modeli, iş akışını, izinleri, mimariyi veya operasyonel süreci ele alın.
5. Düzeltmeyi doğrulayın: İlgili saldırı yolunu yeniden test edin ve amaçlanan güvenlik özelliğinin uygulandığını teyit edin.

Bir modelin yanıtını test etmekle sistemin bütününün güvenliğini test etmek arasındaki fark budur.

Ayrıca, ilk erişim sağlandıktan sonra neler olduğunun da incelenmesi gerekir. Saldırgan, ortamda zaten mevcut olan yetenekleri kötüye kullanarak kimlik bilgilerini ele geçirmeye, ayrıcalıklarını yükseltmeye, kalıcılık sağlamaya veya ağ içinde yatay hareket etmeye çalışabilir.

Bir aracın meşru olması, o aracın her kullanımını meşru kılmaz.

Saldırgan güvenlik testlerinde titizliğin amacı, otonom sistemlerin güvensiz olduğunu varsaymak değildir. Amaç, güvenlik sınırlarının nerede korunduğunu test ederek ortaya koymaktır.

Koşullu Özerklik: Zekâyı Yetkiden Ayırmak

Mimariye yönelik çözümlerden biri, bir yapay zekâ sisteminin yapabilecekleriyle yapmaya yetkili olduklarını birbirinden ayırmaktır.

Bu yaklaşımı koşullu özerklik olarak tanımlıyorum.

Koşullu özerklik; uygun bağımsızlık düzeyinin göreve, çalışma ortamına, olası sonuçlara, belirsizliğe ve bir eylemi gerekçelendirmek için mevcut olan kanıtlara bağlı olduğunu kabul eder.

Kamuya açık bilgileri özetleyen bir aracı, hesapları devre dışı bırakmaya, güvenlik duvarı kurallarını değiştirmeye veya üretim altyapısında değişiklik yapmaya yetkili bir aracıyla aynı düzeyde denetim gerektirmeyebilir.

İkinci aracı için açık angajman kuralları, bağımsız olarak uygulanan izinler, daha güçlü yetkilendirme ve önemli sonuçlar doğurabilecek eylemler için insan onayı gerekebilir.

Bir aracının daha geniş erişimin amacına ulaşmasına yardımcı olacağına karar vermesi, bu sınırların genişletilmesi için tek başına yeterli olmamalıdır.

Bir aracı, ek yetki edinmeden, yetkili olduğu bir görevi nasıl yerine getireceğini yeniden değerlendirebilir.

OWASP’nin LLM Uygulamaları için İlk 10 listesi, bu konuyu LLM06:2025 Aşırı Özerklik kategorisiyle ele alır. OWASP, aşırı işlevselliği, izinleri ve özerkliği risk kaynakları olarak tanımlar; yeteneklerin sınırlandırılmasını ve yetkilendirmenin bağımsız biçimde uygulanmasını önerir.

Koşullu özerklik, bu ilkeleri operasyonel riske göre uygular.

Bilgi erişimi, görevin gerektirdiğiyle sınırlandırılmalıdır. Araç izinleri, onaylanmış işlemlerin kapsamıyla kısıtlanmalıdır. Eylem bütçeleri, hız sınırları, onay gereklilikleri ve durdurma koşulları yürütmeyi kısıtlayabilir.

Bu önlemler, otonom saldırı testlerinde özellikle önemlidir.

Bir test aracısı, yetkilendirilmiş bir hedef doğrultusunda çalışırken kimlik bilgilerini veya hassas bilgileri meşru biçimde keşfedebilir. Ancak bir kimlik bilgisini keşfetmesi, modelin bu bilginin düz metin hâlindeki değerini alması gerektiği anlamına gelmez.

Bir güvenlik kontrol katmanı, hassas kimlik bilgilerini modelden ayrı tutabilir ve bunların kullanımını bağımsız biçimde uygulanan yetkilendirme mekanizmaları üzerinden yönetebilir. Örneğin, bir kimlik bilgisi aracısı, bir sırrı modele gereksiz yere açığa çıkarmadan doğrudan onaylanmış bir hizmete iletebilir.

Bu yaklaşım, en az ayrıcalık ve görevlerin ayrılığına ilişkin yerleşik ilkeler için de geçerlidir.

Ayrıca, Bring Your Own Model (BYOM) veya Kendi Büyük Dil Modelini Getir (BYO-LLM) mimarisiyle ilgili ilginç bir soruyu da gündeme getirir.

Temel model yarın değiştirilirse hangi güvenlik garantileri geçerliliğini korur?

Görev yetkilendirmesi, kimlik bilgilerini yalıtma, kapsam kısıtlamaları, günlük kaydı ve politika uygulama, tümüyle modelin davranışına bağlı olmak yerine onu çevreleyen kontrol katmanında bulunabilir.

Bu, kontrol katmanının kendiliğinden güvenli olduğu veya modellerin birbirinin yerine kullanılabileceği anlamına gelmez. Farklı modeller talimatları farklı yorumlayabilir, araçları farklı biçimlerde çağırabilir ve farklı hata türlerine yol açabilir.

Anlamlı bir değerlendirme, hem değişmeden kalması amaçlanan kontrolleri hem de model değiştiğinde farklılaşan davranışları test etmelidir.

Belki de en kalıcı güvenlik özelliklerinden bazıları, zekâ bileşeni geliştikçe bağımsız biçimde uygulanabilir kalmayı sürdürenlerdir.

Yapay Zekâ Yapay Zekâ Üzerinde İşlem Yaptığında: Doğrulama Sorunu

Varsayımsal bir güvenlik operasyonları iş akışını ele alalım:

Bu olayı araştır, kanıtları topla, etkilenen kimlikleri belirle, sınırlandırma önlemleri öner, onaylanan eylemleri uygula ve sonucu doğrula.

Bir inceleme ajanı telemetri verilerini analiz eder. Başka bir ajan, tehdidi sınırlamak için alınacak önlemleri önerir. Yetkili bir yürütme ajanı değişiklikleri uygular. Bir doğrulama ajanı sonucu değerlendirir.

Bu, belgelenmiş sektör çapında bir başarısızlığı değil, kapalı döngü otonom olay müdahalesini örneklemektedir.

İlk ajanın bir kimliği yanlışlıkla güvenliği ihlal edilmiş olarak tanımladığını varsayalım. İkinci bir ajan bu sonucu kabul eder ve hesabı devre dışı bırakır. Üçüncü bir ajan hesabın devre dışı bırakıldığını doğrular ve işlemin başarılı olduğunu bildirir.

Seçilen işlem tamamlandı.

Peki, ilk tespit doğru muydu? İşlem için yetki verilmiş miydi? Tehdidi sınırlamaya yönelik önlem gerçek tehdidi ele aldı mı? Gereksiz aksaklıklara yol açtı mı?

Doğrulama, yalnızca bir ajanın seçtiği işlemi tamamladığını teyit etmekten ibaret olamaz.

Doğrulama görevini başka bir yapay zekâ ajanına vermek de sonucu kendiliğinden bağımsız hâle getirmez.

Farklı ajanlar aynı hatalı telemetri verilerine, güvenliği ihlal edilmiş bilgilere veya kusurlu varsayımlara dayanabilir. Aralarında görüş birliği olması, temel olguları bağımsız biçimde doğrulamaz.

Otonom bir eylemin sonuçları ne kadar ağırsa, kararı veren sistemden bağımsız doğrulamaya duyulan ihtiyaç da o kadar artar.

Bu bağımsızlık; ayrı kaynaklardan elde edilen kanıtlar, deterministik politika denetimleri, sınırları belirlenmiş yürütme ortamları, insan incelemesi veya bu korumaların bir bileşimiyle sağlanabilir.

Uygun denetimler, hatanın yol açabileceği sonuçlarla orantılı olmalıdır.

Etkisi düşük ve geri alınabilir eylemler otomatik doğrulamaya uygun olabilir. Etkisi yüksek veya geri alınması zor eylemler içinse daha güçlü yetkilendirme, bağımsız teyit ve açık insan onayı gerekebilir.

İlgili güvenlik özelliklerini birbirinden ayırmaya dört soru yardımcı olur:

• Sistem, amaçlanan görevi doğru yorumladı mı?
• Eylem, kendisine devredilen yetkinin sınırları içinde miydi?
• Yürütme, izin verilen sınırlar içinde kaldı mı?
• Ortaya çıkan sonuç, amaçlanan güvenlik hedefini karşıladı mı?

Bu sorular birbiriyle ilişkilidir, ancak birbirlerinin yerine kullanılamaz.

Bir ajan, istenmeyen bir sonuca yol açan yetkili bir eylem gerçekleştirebilir. Yetkisiz bir eylemle görünüşte yararlı bir sonuç da elde edebilir.

Bunların hiçbiri otomatik olarak başarılı bir güvenlik sonucu sayılmamalıdır.

Otonom sistemler daha yetenekli hâle geldikçe, zorluk yalnızca karmaşık iş akışlarını tamamlamalarını sağlamak değildir. Asıl mesele, eylemlerinin yetkili, yerinde ve doğru kaldığını gösterecek yeterli kanıtı ortaya koymaktır.

Buna ne zaman durulacağını, konunun ne zaman üst mercilere taşınacağını, bir eylemin ne zaman geri alınacağını veya sınırları belirlenmiş ve açıkça anlaşılmış bir riskin ne zaman kabul edileceğini bilmek de dahildir.

Güven, Kanıtı İzlemeli

Otonom yapay zekânın güvenlik açısından sonuçları yalnızca olumsuz değildir.

Otonom sistemler, savunma ekiplerinin zayıflıkları keşfetmesine, tehditleri araştırmasına ve aksi hâlde önemli ölçüde insan emeği gerektirecek doğrulama çalışmalarını yürütmesine yardımcı olabilir.

Daha iyi modeller, daha güçlü dış denetimler ve daha olgun işletim uygulamaları, yetki devriyle ilişkili bazı riskleri azaltabilir.

Bu nedenle, otonom yapay zekânın özünde güvensiz olduğu veya yönetişimin gelişimine ayak uyduramayacağı sonucuna varmak için henüz erkendir.

Otonom yapay zekânın temelden yeni güvenlik ilkeleri gerektirdiği görüşüne karşı ciddi bir argüman da vardır.

Temel sorunların çoğu—aşırı ayrıcalıklar, güvenilmeyen girdiler, zayıf yetkilendirme, tutarsız politika uygulamaları ve yetersiz doğrulama—on yıllardır incelenmektedir.

Yerleşik denetimler, doğru biçimde uygulandıklarında ve test edildiklerinde hâlihazırda uygulanabilir çözümler sunabilir.

Otonomi, bu denetimlerin uygulanma hızını, ölçeğini ve karmaşıklığını değiştirebilir. Ancak onları kendiliğinden geçersiz kılmaz.

Kanıtlar, daha yararlı bir soruyu gündeme getiriyor: Otonom sistemlere devredilen yetkiyi hangi koşullarda kullanmaları için güvenebiliriz ve bu koşulların karşılandığını nasıl gösterebiliriz?

Yanıtı yalnızca modelin yeteneklerinde bulamayız.

Bunun için mimari sınırlar, sorumlulukların açıkça belirlenmesi, bağımsız biçimde uygulanan yetkilendirme, uygun gözetim ve koruma önlemlerinin gerçekçi koşullarda işe yaradığını gösteren kanıtlar gerekir.

Ayrıca güvenlik ve riske ilişkin tutarlı, ancak zaman içinde gelişen bir bakış açısı gerekir.

Yeni bir model çıktığında temel güvenlik ilkelerimizi değiştirmemiz gerekmez. Ancak yetenekler, işletim ortamları ve devredilen yetkiler geliştikçe bu ilkelerin nasıl uygulandığına ilişkin varsayımlarımızı sürekli sorgulamalıyız.

Offensive Rigor’ın amacı budur.

Yapay zekâ sistemlerinin başarısız olacağını kanıtlamak için değil; nerelerde başarısız olabileceklerini keşfetmek, sonuçlarını ortaya koymak ve bu başarısızlıkları önlemek ya da sınırlamak için tasarlanan kontrolleri doğrulamak için.

Belki de daha kalıcı avantaj, yalnızca daha yetenekli bir model seçmek değil; modellerin güven, yetki ve doğrulama sınırlarından ödün vermeden değiştirilebildiği bir mimari kurmaktır.

Kedi fare oyunu sürüyor. Her iki tarafın da giderek daha fazla otonom oyuncusu olabilir.

Önemli olan, zayıflıkları bulma, düzeltme ve sonuçları kanıtlama becerimizin, diğer her şeyi otomatikleştirme yarışında gözden kaçmamasını sağlamaktır.

Güven, kanıta dayanmalıdır.

Yazarın notu: Bu makalede ifade edilen görüşler ve yorumlar bana aittir; işverenimin resmî tutumunu, politikalarını veya ürün özelliklerini yansıtmayabilir.