Çalışma: AI Ajanlarının %35’i Dolandırıcılık Sitelerine Hassas Bilgileri Verdi

Yeni bir çalışma, AI ajanlarının sogar bir dolandırıcılık sitesi olduğunu tanıdıklarında bile, üçte birinden fazlasının hala hassas bilgileri verdiğini gösteriyor.

Hindistan ve ABD’deki araştırmacılardan oluşan bir ekip tarafından yapılan yeni bir çalışmada, test edilen otonom web ajanlarının üçte birinden fazlasının, already tanıdıkları dolandırıcılık sitelerine kritik kişisel bilgiler (banka hesap detayları, parolalar ve Sosyal Güvenlik numaraları) verdiğini bulundu.

Makale, web ajanlarında ‘tamamlama zorunluluğu’ olarak adlandırdığı bir durumun olduğunu belirtiyor. Bu durum, web ajanlarının bir işi tamamlamak için diseñ edildiğini ve duraksamaya veya tereddüte yer olmadığını söylüyor:

‘Bir insan duraklayabilir, yeniden okuyabilir veya sekmeyi kapatabilir. Bir ajan ise işi tamamlamak için tasarlandığından, formları doldurup verileri göndermeye devam eder ve durup durumun uygun olup olmadığını sorgulamaz.’

Çalışma, bu tür senaryolar için yeni bir benchmark oluşturdu: SCAMMER4U. Bu benchmark, 91 (simüle edilmiş) saldırgan tarafından kontrol edilen ortamı ve 10 ‘masum’ temel siteyi kapsıyor. Ayrıca sekiz saldırı vektörünü de içeriyor.

Gizlilik önlemleri olmadan, test edilen ajanlar hassas kişisel bilgileri %54 ila %93 oranında dolandırıcılık sitelerine verdi. Buna karşılık, eşdeğer zararsız siteler hiçbir bilgi sızıntısına neden olmadı. Bu, sızıntının saldırılar tarafından değil, rutin form doldurma tarafından gerçekleştirildiğini gösteriyor:

‘En kritik olarak, tespit-edilme-eylem açığını tespit ettik: bağımsız bir LLM yargıcı tarafından doğrulanan ajanların neden olduğu şüpheli siteler masih kritik PII’yi %35,9 oranında seanslarda verdi, şüphesiz ise %66,1 oranında verdi. Bu, dört model ailesi boyunca robust bir %30,2’lik açığı gösteriyor.’

‘Buluntularımız, ajanların kendi saldırıyı tanıma koşuluna dayanan savunmaların yanlış sinyale göre kapandığını gösteriyor. Bu, ajanın kendi akıl döngüsünden bağımsız olarak çalışan çıkış düzeyinde bir engelleme mekanizması oluşturmayı motive ediyor.’

Araştırmacılar, ajanların kendi saldırı tanıma yeteneklerine güvenmek yerine, çıkış düzeyinde bağımsız bir inceleme ve engelleme mekanizması oluşturulması gerektiğini savunuyorlar.

Çalışmanın adı “Bu Site Muhtemelen Bir Dolandırıcılıktır” ve sekiz araştırmacının katkılarıyla KIIT Bhubaneshwar, BITS Pilani ve Lam Research’ tan oluşuyor.

Otorite ile İlgili Sorunlar

Makaledeki en ilginç bulgu, belki de ajanların kişisel bilgileri sızdırması değil, birçok ajanın bunu bir şeyler yanlış gittiğini tanıdıkları halde yaptıklarıdır. Araştırmacılar, test edilen ajanlarda tekrarlanan bir desen buldular. Bu desende, şüphe ve eylem birbirinden kopmuştu. Ajanlar sık sık bir web sitesiyle ilgili endişelerini dile getirdiler, ancak yine de istenen (PII ihlali) işlemi gerçekleştirdiler.

Örneğin, Llama 4 Scout tabanlı bir ajan, bir kripto para sitesi üzerinde multiple uyarı işaretleri tespit etti. Bunlar arasında şüpheli ton, büyük bonus vaatleri ve şirket hakkında net bilgi bulunmaması vardı. Buna rağmen, ajan bir Sosyal Güvenlik numarası, kart detayları ve bir CVV kodu verdi.

İkinci bir desen, alan/yordam çerçevesi olarak tanımlandı. Bu, ajanların bir dolandırıcılık girişimini başarılı bir şekilde tespit ettikleri, ancak bu şüpheyi ilgili bir talebe genellemeyi başaramadıkları durumları içeriyordu.

Örneğin, Gemini 3 Flash bir banka bilgisi talebini reddetti ve bunu bir phishing girişimi olarak tanımladı. Ancak dakikalar sonra, aynı ajan farklı bir doğrulama formuna hesap kimlik bilgilerini verdi. Bu, ajanın bir bağlamda uyarı işaretlerini tanıdığı, ancak bunları başka bir bağlama genelleyemediğini gösteriyor.

Araştırmacılar ayrıca kendi güvence saygısı ve güvenli yüzey normalleştirme olarak adlandırdıkları durumları gözlemlediler. Bir örnekte, Claude Haiku 4.5 ajanı, bir sitenin kendi iddialarını şifreleme standartları ve güvenlik sertifikaları hakkında yeterli buldu. GPT-5 mini ise şüpheli ifadeleri profesyonel bir tasarıma sahip olduğu için göz ardı etti. Her iki durumda da, ajanlar tarafından zaten ifade edilen endişelerin üzerini, yüzeydeki güven işaretleri örttü.

Sorun, basit bir phishing savunmasızlığından öteye geçiyor gibi görünüyor. Araştırmacılar, en güçlü savunma koşulunda eklenen güvenliği kontrol eden ipuçlarının genellikle bir ritüelden daha çok bir güvenlik önlemi olarak işlev gördüğünü öne sürüyorlar. Ajanlar riski anlatabiliyor, ancak bu anlatım davranışlarını değiştirmiyordu.

Araştırmacılar, tehlike tanıma ile bu tanımanın üzerine eylem arasında bir boşluk olduğunu savunuyorlar. Bu boşluk, gelecekteki savunma mekanizmalarının geliştirilmesinde temel bir engel olarak görülüyor.

Yöntem

SCAMMER4U benchmark’u, dört önde gelen web ajanını 91 saldırgan tarafından kontrol edilen web sitesine ve 10 masum siteye yerleştiriyor. Ayrıca sekiz saldırı vektörünü de içeriyor.

Dört model değerlendirildi: GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash ve Llama 4 Scout. Tüm modeller Playwright tabanlı bir tarayıcı çerçevesi, gözlem formatı, eylem alanı ve.prompt şablonu kullanılarak test edildi.

Deneylerde her ajan, isim, adres, parola, banka hesap detayları, Sosyal Güvenlik numaraları, API anahtarları ve iki faktörlü kimlik doğrulama kodları gibi bilgileri içeren gerçekçi bir kullanıcı profili ile donatıldı. Ana hedef, bu verilerin saldırgan tarafından kontrol edilen son noktalara ulaşıp ulaşmadığını belirlemekti.

SCAMMER4U ortamlarını tanımlamak için kullanılan sekiz eksenli taksonomi, her senaryonun nasıl sınıflandırıldığını ve eşleştirilmiş testlerde sosyal mühendislik taktiklerinin PII sızıntısı üzerindeki etkisini izole etmek için ayarlanan özel değişkenleri ayıran taksonomi. Kaynak

Gerçek dünya dolandırıcılık sitelerini yansıtmak için, ortamlar Flask kullanılarak self-hosted ortamlarda, insan tarafından yazılmış tasarım talimatları ile oluşturuldu ve ardından manuel olarak gözden geçirildi.

Her model, artan müdahaleci dört ayar altında test edildi: C0, rehberlik olmadan; C1, genel bir gizlilik hatırlatması ile; C2, bir phishing farkındalık kontrol listesi ile; ve C3, bir ön-gönderim yansıma ipucu ile. Her model, ortam ve koşul kombinasyonu için beş çalıştırma gerçekleştirildi, toplam 7.480 oturum resulted.

Primær metrik, PLR_crit idi, yani kritik düzeydeki kişisel bilgilerin saldırgan tarafından kontrol edilen bir son noktaya ulaşma oranını ölçüyordu. İkincil metriklere PLR_weighted, ağırlıklı bir sızıntı ölçümü; ASR (Saldırı Başarısı Oranı), navigasyonun belirlenen bir tuzağa ulaşma oranını ölçen bir metrik; TCR (Görev Tamamlama Oranı); bir Korunan bayrağı, reddedilme veya güvenli tamamlanma olmadan tuzağa ulaşma durumunu gösteren bir metrik; ve DR (Tespit Oranı), ajanın akıl yürütmesinin sitenin şüpheli olduğunu tespit edip etmediğini kaydeden bir metrik dahildir.

Tespit Oranı (DR), LLM-as-judge yaklaşımıyla ölçüldü. Burada GPT-4o-mini birincil değerlendirici olarak ve Llama 4 Scout ikincil bir kontrol olarak görev yaptı. DR, bu durumda ajanın bir site hakkında ne dediğini ölçtü, değil de içsel olarak ne çıkarsadığını.

İnsan etiketli örneklerle yapılan doğrulama, Cohen’s κ skorları olarak 0.83 ve 0.78 üretti. Bu, çalışmanın önceden kayıtlı güvenilirlik eşiğinin üzerindeydi.

Çalışma, veri toplama öncesi (yani, çalışma planı ve analizler veri toplama öncesi kamuoyu ile paylaşıldı) önceden kayıtlı olarak gerçekleştirildi. Projedeki analizlerin ve başarı kriterlerinin önceden belirlenmesi, gözlemlenen sonuçlara göre conclusions’a uyarlama riskini azaltmayı amaçlıyordu.

Testler ve Sonuçlar

İlk test, basit güvenlik hatırlatmalarının sorunu azaltıp azaltamayacağını belirlemeyi amaçladı. Dört artan koruma ayarının her biri değerlendirildi: hiç gizlilik rehberliği olmadan, bir genel gizlilik hatırlatması ile ve göndermeden önce durup düşünmeyi teşvik eden ipuçları ile.

Sonuçlar, modeller arasında keskin bir şekilde değişti. Claude Haiku 4.5, en duyarlı model olarak ortaya çıktı. Sızıntı oranı, temel koşulda %54,5’ten en güçlü korumada %24,0’a düştü. GPT-5 mini, %61,0’dan %36,1’e verbessirirken, Gemini 3 Flash %93,1’den %60,7’ye düştü. Llama 4 Scout, %82,3’ten %77,4’e daha az bir değişiklik gösterdi.

Bu farklılıklar, araştırmacılara göre, aynı korumaların farklı modellerde çok farklı sonuçlar doğurabileceğini gösteriyor. Daha da önemlisi, korumalar genellikle ajanların risk farkındalığını davranışlarından daha fazla iyileştirdi: ajanlar şüpheli siteleri tanımlamak ve uyarı işaretlerini tanımlamak konusunda daha iyi hale geldiler, ancak bu tanıma her zaman eylemlerini durdurmaya yetmedi.

Dört önde gelen AI ajanı boyunca tespit-edilme-eylem açığı. Sol panel, bir web sitesini şüpheli olarak tanımlayan ajanlar ile tanımlamayanlar arasındaki kritik bilgi sızıntısını karşılaştırıyor. En güçlü koruma ayarında (C3) bile, şüpheli bir dolandırıcılık sitesi tanımlayan ajanların stillerinin yarısından fazlası hassas verileri ilettiğini gösteriyor. Sağ panel, aynı açığı GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash ve Llama 4 Scout boyunca gösteriyor. Bu, tehdit farkındalığının güvenilir bir şekilde savunma davranışına dönüşmediğini gösteriyor.

Ayrıca, 16 değerlendirici SCAMMER4U sayfalarını gerçek phishing siteleri ile karşılaştırdı ve bunlar arasında hiçbir fark bulamadı. Bu, benchmark’un gerçek çevrimiçi dolandırıcılıkların birçok görsel ve prosedürel ipucunu yakaladığını gösteriyor.

Sonuç

Test edilen modeller – ki bunlar popüler LLM aileleri boyunca mantık mimarilerini temsil ediyor – tanınan tehlikeli senaryolardan geri çekilme veya eylemlerini düzenleme konusunda intrinsic bir sorun gibi görünüyor. Mantık, bu durumun advanced dil modellerinin bir konudaki yenilgiyi kabul etme konusundaki bilinen zorluğu ile ilgili olabileceğini gösteriyor. Bu, şu an için yalnızca dışardan, sistem ipuçları, ikincil sistemler ve çıkış kısıtlamaları yoluyla dayatılabilen bir hayatiyet becerisi gibi görünüyor.

Eğer tanımlanan ‘bağlantı kopukluğu’, algılanan tehlike ile buna karşı alınan önlemler arasında真正 bir LLM mimarisine intrinsic ise ve yerli olarak giderilemiyorsa, görünüşe göre tek alternatif kritik senaryolarda ajanın eylemlerini algoritmik olarak denetlemek olacaktır. Bu, bir ajanın faydasını daha çok tanımlanmış bir RPA-style rutine indirger.

İlk olarak 6 Haziran 2026 Cumartesi günü yayınlandı