Neden AI Ajanları Gereksiz yere Güçlü Araçlara Tercih Ediyor?

Bu çok hızlı bir şekilde arttı: araştırmalar, AI ajanlarının gereksiz yere daha fazla erişime sahip araçları tercih ettiklerini, küçük başarısızlıkların ise onları daha da fazla genişletmeye yönelttiğini, bu da verilerin ve sistemlerin gereksiz yere maruz kalmasına neden olduğunu gösteriyor.

Son zamanlarda, agentic AI excessive privileges verilmesinin risklerine dikkat çeken bir dizi manşet olayı meydana geldi. Bu, genellikle gereksiz yere genişletilmiş araçlar ve yöntemler kullanılarak gerçekleşti.

Son olaylardan birinde, bir Claude tarafından çalışan kodlama ajanı, bir Railway API token ile karşılaştı ve görevi için gerekli olmayan bir düzeyde erişimi kullanarak bir üretim veritabanını ve yedeklerini sildi.

2025 yılında meydana gelen bir başka olayda, Replit‘in AI kodlama ajanı, açıkça belirtilen kısıtlamaları görmezden geldi, korumalı kodu değiştirdi ve canlı bir üretim veritabanını sildi.

Şubat ayında meydana gelen bir başka olayda, bir AI destekli iş akışı, bir dizi yetkiye ulaştı ve sonunda paket yayınlama kimlik bilgilerini oluşturdu, bu da bir tedarik zinciri saldırısı oluşturdu.

Sonuç olarak, güvenlik analizleri, bu ve benzeri olayları, ajan sistemlerinin küçük girişleri yüksek etkili eylemlere dönüştürme eğilimini göstermektedir. Bu olaylar, otonom AI’nin, sorunlar ortaya çıktığında, genellikle en güçlü ve potansiyel olarak en yıkıcı aracı tercih ettiğini gösteriyor.

Araç Zamanı

Bu sorunu ele almak için, Çin’den yapılan yeni bir araştırmada, en popüler özel ve açık kaynaklı modellerin bir dizi test edildi ve görev için gereksiz araçları tercih etme eğilimlerinin keşfedilmesi amaçlandı:

Yeni makaleden: On bir önde gelen AI modelinin, görev için gereksiz araçları tercih etme performansı. Qwen3-8B ve LLaMA-3.1-8B en güçlü eğilimi gösterdi, mentre Claude 4.6 Sonnet, GPT-5.2 ve GLM-5 daha az eğilim gösterdi. Daha koyu segmentler doğrudan genişlemeyi, daha açık segmentler ise geçici başarısızlıklardan sonra genişlemeyi gösterir, bu da birçok modelin engellere karşı daha geniş erişimi tercih ettiğini gösterir. Kaynak

Testler, açık ağırlıklı modellerin, özellikle Qwen3-8B ve LLaMA-3.1-8B, daha fazla genişleme eğiliminde olduğunu gösterdi. Bu, daha sınırlı post-antrenman koşullandırması nedeniyle olabilir.

Araştırmacılar şöyle diyor:

‘Altı model, %30’un üzerinde (Over-Privileged Tool Use Rate – OPUR) değerlerine ulaştı, özellikle Qwen3-8B (%64,9) ve LLaMA-3.1-8B (%55,9) gibi küçük açık ağırlıklı modellerde yüksek oranlar gözlendi.

‘Öte yandan, Claude 4.6 Sonnet, GPT-5.2 ve GLM-5 gibi modeller %10’un altında kaldı, ancak bazı durumlarda hala ölçülebilir bir şekilde genişleme eğilimi gösterdi.

‘Bu varyasyon, least-privilege uyumu model bağımlı bir davranışsal özellik olduğunu gösteriyor, bu da genel yetenek, araç kullanım eğitimi ve güvenlik hizalaması farklılıkları tarafından şekillendirilebiliyor.’

Ayrıca, yetki genişletme eğilimi, kod tabanı işleri en yüksek riskli alan olarak ortaya çıkarken, daha fazla denetlenen alanlar, örneğin sağlık hizmetleri, daha az radikal önlemlerle sonuçlandı:

Panik Modu!

Bu şekilde, geçici bir hata, modellerin en az yetki ilkesini tamamen terk etmesine neden olabilir. Daha düşük yetkili araçları denemek yerine, birçok sistem daha geniş erişim tercih etti.

Araştırmacılar, tekrarlanan geri çekilmelerin, dar araçlara güveni azalttığını ve belirsizlik koşullarında gereksiz yetki genişlemesini daha olası hale getirdiğini belirtiyorlar.

Güvenlik farkındalığı kazandırma ve post-antrenman koşullandırması, sınırlı bir şekilde başarı elde etti. Ancak,.prompt manipülasyonu, testlerde önemli bir iyileşme sağlamadı.

Her ne kadar makale bunu ele almasa da, mantıklı olarak, AI’nin “sonuçların özeti” hakkında daha fazla eğitim materyali olduğu, ancak bu sonuçlara ulaşmak için yapılan deneme yanılma sürecine ilişkin daha az materyali olduğu düşünülebilir. Bu, bir “hızlı sonuç” kültürü olabilir ve AI’de de sabırsızlık yaratabilir.

Yeni makale, When Lower Privileges Suffice: Investigating Over-Privileged Tool Selection in LLM Agents başlığını taşıyor ve Çin Bilimler Akademisi, Çin Üniversitesi, Pekin Üniversitesi ve Çin Bilimler Akademisi’nden sekiz yazar tarafından yazıldı.

Yöntem

Araştırmacılar, ToolPrivBench adlı bir benchmark oluşturdular. Bu, sekiz uygulama alanından 544 senaryodan oluşuyor: İş, Kodlama, Veritabanı, Eğitim, Hükümet, Sağlık, Altyapı ve Medya.

Beş tekrarlayan risk deseni incelendi: Yetki Genişletme, Veri Aşırı Erişim, Güvenlik Atlatma, Kapsam Genişletme ve Zamansal Dayanıklılık:

ToolPrivBench’te 544 senaryonun dağılımı, beş yetki genişletme deseni ve sekiz uygulama alanı üzerinden. Yetki Genişletme en yaygın risk kategorisiydi, Veritabanı, İş ve Eğitim en büyük paylara sahipti. Geniş bir alan ve risk türleri yelpazesi, yetki genişletmesinin dar bir görev kümesinden değil, çeşitli operasyonel ortamlardan kaynaklandığını test etmek için kullanıldı.

Her senaryo, bir kullanıcı görevini üç düşük yetkili araç ve üç yüksek yetkili alternatif ile eşleştirdi. Tüm altı araç, görevi bağımsız olarak tamamlayabilirdi, bu da daha geniş erişim tercihinin eksik fonctionellikten kaynaklanmadığını garantiledi.

ToolPrivBench, sadece en güçlü aracı ilk olarak seçmekle kalmaz, aynı zamanda düşük yetkili araçlara geçici hatalar enjekte edildiğinde nasıl tepki verdiklerini de ölçer:

ToolPrivBench değerlendirme pipeline’ın genel görünümü. (a) Her test senaryosu, görev ile birlikte üç düşük yetkili araç ve üç yüksek yetkili alternatif sunar, hepsi görevi tamamlayabilir. (b) Modeller, hem gereksiz yere güçlü araç seçimi hem de düşük yetkili araçlara geçici hatalar enjekte edildiğinde değerlendirilir. (c) Benchmark vakaları, gerçek dünya API risk desenlerinden oluşturulur, ardından otomatik kontroller, araç yeterliliği doğrulaması, hata analizi ve insan uzman incelemesi yapılır.

Geliştirilen özel bir metric, Over-Privileged Tool Use Rate (OPUR), bir modelin daha yüksek yetkili bir aracı, daha düşük yetkili alternatifler mevcut olduğunda ne sıklıkla kullandığını kaydeder. Pre-Escalation Exploration Depth (PED) de ölçülür, bir modelin genişleme gerçekleşmeden önce kaç düşük yetkili aracı denediğini gösterir.

Her senaryo, yalnızca yetki seviyesinin araçlar arasındaki tek anlamlı fark olması için birden fazla doğrulama aşamasından geçti. ChatGPT-5.2 ve Gemini 2.5 Pro bağımsız olarak her altı aracın görevi tamamlayabileceğini doğrulamak için kullanıldı. Sadece her iki sistem tarafından onaylanan vakalar korundu. Kalan senaryolar daha sonra insan incelemecileri tarafından gözden geçirildi ve nihai benchmark’a dahil edildi.

Testler

Benchmark, on bir dil modeli ile değerlendirildi: Qwen3-8B, LLaMA-3.1-8B, MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5, Gemini 3 Flash, GPT-5.2, GLM-5 ve Claude 4.6 Sonnet. Performans, OPUR ve PED ile ölçüldü.

Çoğu model, görevi tamamlayabilen düşük yetkili alternatifler mevcut olmasına rağmen, önemli oranda gereksiz yetki kullanım oranları gösterdi. Qwen3-8B, %64,9 ile en yüksek OPUR değerini kaydederken, LLaMA-3.1-8B %55,9 ile takip etti ve on bir modelin altı tanesi %30’un üzerinde bir OPUR değerine ulaştı:

On bir modelin OPUR dağılımı. Qwen3-8B ve LLaMA-3.1-8B en yüksek OPUR değerlerine ulaştı, Claude 4.6 Sonnet, GPT-5.2 ve GLM-5 en düşük oranları gösterdi. Daha koyu segmentler doğrudan gereksiz yere güçlü araç seçimi, daha açık segmentler ise geçici başarısızlıklardan sonra genişlemeyi gösterir, bu da birçok modelin engellere karşı daha geniş erişimi tercih ettiğini gösterir.

Diğer uçta, Claude 4.6 Sonnet, GPT-5.2 ve GLM-5, %10’un altında kaldı, ancak bazı ayarlamalarda ölçülebilir bir şekilde genişleme eğilimi gösterdi.

Genel olarak, least-privilege ilkesine uyumluluk, on bir model arasında önemli ölçüde değişti. Araç hataları, yetki genişletme olasılığını artırdı: düşük yetkili araçlar geçici sorunlarla karşılaştığında, birçok model daha yüksek yetkili alternatiflere yöneldi.

Önemli Alan Sorunları

Yetki genişletme oranları, uygulama alanlarına ve risk kategorilerine göre önemli ölçüde değişti. Altyapı görevleri, bazı modellerde %46,4, %42,9 ve %37,5 gibi yüksek OPUR değerlerine ulaştı.

Yükseltilmiş oranlar ayrıca kodlama, veritabanı ve medya ile ilgili görevlerde görüldü, mientras sağlık ve hükümet senaryoları genellikle daha düşük genişleme oranları üretti, özellikle GPT-5.2 ve Claude 4.6 Sonnet için.

Sekiz uygulama alanı ve beş genişletme kategorisi boyunca OPUR (%) dağılımı. Açık ağırlıklı modeller genellikle en yüksek gereksiz yetki kullanım oranlarına ulaştı, kodlama, veritabanı, altyapı, yetki genişletme ve güvenlik atlatma senaryoları en güçlü genişleme eğilimini gösterdi.

Yetki Genişletme ve Güvenlik Atlatma, değerlendirilen modellerde en yaygın genişleme türleriydi: LLaMA-3.1-8B, %72,7 ve %74,1 gibi yüksek oranlara ulaştı.

Buna karşılık, Kapsam Genişletme her zaman en az yaygın kategori olarak kaldı, bu da modellerin daha çok yetki genişletme veya güvenlik atlatma tercih ettiğini gösteriyor.

Çözüm Arayışları

Mitiğasyon deneyleri, mevcut ajan güvenlik yöntemlerinin gereksiz yetki genişlemesini azaltabileceğini araştırdı. Sonuçlar, AgentHarm adlı bir benchmark ile karşılaştırıldı, bu benchmark, AI ajanlarının zararlı davranış ve ret oranlarını ölçer.

İlk test, AgentAlign adlı bir güvenlik hizalama yöntemini değerlendirdi. AgentAlign, AgentHarm performansını önemli ölçüde iyileştirdi:

AgentAlign eğitimi öncesi ve sonrasındaki güvenlik hizalama ve gereksiz yetki kullanım oranları. AgentAlign, AgentHarm güvenlik benchmark’unda performansı önemli ölçüde iyileştirdi, ancak OPUR üzerindeki etkisi tutarsızdı, bir modelde gereksiz yetki kullanımında hafif bir azalma, diğerinde ise artış gözlendi. Bu, geleneksel ajan güvenliği iyileştirmelerinin her zaman en az yetki aracı seçimini iyileştirmediğini gösterir.

En güçlü mitiğasyon sonuçları, least-privilege aracı seçimine özel olarak odaklanan bir post-antrenman yaklaşımından elde edildi. Modeller, görevi tamamlayabilen düşük yetkili araçları tercih etmeye ve gereksiz genişlemeyi tránh etmeye eğitildi.

Araştırmacılar, bu yaklaşımın OPUR’da önemli azalmalar sağladığını ve görev tamamlama performansını korurken, least-privilege davranışının genel amaçlı güvenlik hizalamasından otomatik olarak ortaya çıkmayabileceğini, bunun yerine hedefe yönelik eğitim gerektirebileceğini belirtiyorlar.

Sonuç

Makaledeki soruşturmanın cevabını vermek için, araştırmacılar, genişlemenin kabiliyet belirsizliği tarafından sürüldüğünü sonucuna varırlar: geçici başarısızlıklar之后, modeller düşük yetkili araçlara olan güvenlerini kaybeder ve daha geniş, esnek araçları tercih eder, bu da görevi tamamlayabilen düşük yetkili alternatifler mevcut olmasına rağmen gerçekleşir.

Yine, eğitimli modellerde yerleşik davranışlar olan sorunlarla karşılaşıyoruz ve bu davranışları, ikincil yöntemler, kısıtlamalar, post-antrenman koşullandırması ve diğer yardımcı yaklaşımlarla ele almak gerekiyor. Tercih, bu tür davranışların mimari içinde oluşmasını sağlamak olurdu, muhtemelen veri kürasyonu veya “hızlı cevap” veri noktalarının bağlamlaştırılması yoluyla, bu da LLM’leri sorumsuz davranışa yönlendirebilir.

İlk olarak 21 Haziran 2026’da yayınlandı