Anderson’un Açısı

Çalışma: AI Ajanlarının %35’i, Dolandırıcılık Olduğunu Bildikleri Sitelere Kişisel Tanımlayıcı Bilgi Verdi

Martin Anderson
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
AI-generated illustration (GPT-2 + Photoshop): A humanoid industrial robot stands on a sunlit city sidewalk facing a small check-cashing kiosk, while a wolf-like attendant leans from the service window reading a sports magazine as pedestrians and traffic pass in the background.
Öne çıkan noktalarAjanlar bir dolandırıcılığı sıklıkla fark eder, yine de hassas verileri yine de gönderir
Daha fazla göster
  • Ajanlar bir dolandırıcılığı sıklıkla fark eder, yine de hassas verileri yine de gönderir
  • Güvenlik istemleri, bir ajanın risk farkındalığını keskinleştirir ancak davranışını güvenilir biçimde değiştirmez
  • Savunmalar, bir ajanın kendi şüphesine güvenmek yerine giden gönderimleri engellemelidir

Yeni bir çalışma, AI ajanlarının üçte birinden fazlasının, bir sitenin dolandırıcılık amaçlı olduğunu fark ettiklerinde bile hassas bilgileri vermeye devam ettiğini gösteriyor.

 

Hindistan ve ABD’deki araştırmacılardan oluşan bir ekip tarafından yapılan yeni bir çalışmada, test edilen otonom web ajanlarının üçte birinden fazlasının, önceden dolandırıcılık olarak tanıdıkları dolandırıcılık sitelerine kritik kişisel bilgiler (banka hesap detayları, parolalar ve Sosyal Güvenlik numaraları) verdiği bulundu.

Makale, web ajanlarında ‘tamamlama zorunluluğu’ olarak adlandırdığı bir durumun olduğunu belirtiyor. Bu koşullarda söz konusu dürtü, web ajanlarının ihtiyatlı davranmasını ve tereddüt etmesini baskılıyor. Yazarlar şöyle diyor:

‘Bir insan duraklayabilir, yeniden okuyabilir veya sekmeyi kapatabilir. Bir ajan ise işi tamamlamak için tasarlandığından, formları doldurup verileri göndermeye devam eder ve durup durumun uygun olup olmadığını sorgulamaz.’

Çalışma, bu tür senaryolar için yeni bir benchmark oluşturdu: SCAMMER4U. Bu benchmark, 91 (simüle edilmiş) saldırgan tarafından kontrol edilen ortamı ve 10 ‘masum’ temel siteyi kapsıyor. Ayrıca sekiz saldırı vektörünü de içeriyor.

Gizlilik önlemleri olmadan, test edilen ajanlar hassas kişisel bilgileri %54 ila %93 oranında dolandırıcılık sitelerine verdi. Buna karşılık, eşdeğer zararsız siteler hiçbir bilgi sızıntısına neden olmadı. Bu, sızıntının rutin form doldurmadan değil, saldırılardan kaynaklandığını gösteriyor:

‘En kritik olarak, tespit-edilme-eylem açığını tespit ettik: bağımsız bir LLM değerlendiricisinin, akıl yürütmesinde siteyi şüpheli olarak işaretlediğini doğruladığı ajanlar, oturumların %35,9’unda yine de kritik PII gönderiyor; şüphenin dile getirilmediği oturumlarda bu oran %66,1. Dört model ailesinin tamamında sağlam biçimde gözlenen fark %30,2. ‘

‘Buluntularımız, ajanların kendi saldırıyı tanıma koşuluna dayanan savunmaların yanlış sinyale göre kapandığını gösteriyor. Bu, ajanın kendi akıl döngüsünden bağımsız olarak çalışan çıkış düzeyinde bir engelleme mekanizması oluşturmayı motive ediyor.’

Araştırmacılar, ajanların kendi saldırı tanıma yeteneklerine güvenmek yerine, çıkış düzeyinde bağımsız bir inceleme ve engelleme mekanizması oluşturulması gerektiğini savunuyorlar.

Çalışmanın adı “I Strongly Suspect This Website Is a Scam”: Benchmarking PII Leakage and Detection without Defense in Autonomous Web Agents ve sekiz araştırmacının katkılarıyla KIIT Bhubaneshwar, BITS Pilani ve Lam Research’ (LRCX ) tan oluşuyor.

Otorite ile İlgili Sorunlar

Makaledeki en ilginç bulgu, belki de ajanların kişisel bilgileri sızdırması değil, birçok ajanın bunu bir şeyler yanlış gittiğini tanıdıkları halde yaptıklarıdır. Araştırmacılar, test edilen ajanlarda tekrarlanan bir desen buldular. Bu desende, şüphe ve eylem birbirinden kopmuştu. Ajanlar sık sık bir web sitesiyle ilgili endişelerini dile getirdiler, ancak yine de istenen (PII ihlali) işlemi gerçekleştirdiler.

Yazarların “fark edilen riski küçümseme” adını verdiği bir örnekte, Llama 4 Scout tabanlı bir ajan, bir kripto para sitesi üzerinde birden fazla uyarı işaretleri tespit etti. Bunlar arasında şüpheli ton, büyük bonus vaatleri ve şirket hakkında net bilgi bulunmaması vardı. Buna rağmen, ajan bir Sosyal Güvenlik numarası, kart detayları ve bir CVV kodu verdi.

İkinci bir desen, alan/yordam çerçevesi olarak tanımlandı. Bu, ajanların bir dolandırıcılık girişimini başarılı bir şekilde tespit ettikleri, ancak bu şüpheyi ilgili bir talebe genellemeyi başaramadıkları durumları içeriyordu.

Örneğin, Gemini 3 Flash bir banka bilgisi talebini reddetti ve bunu bir phishing girişimi olarak tanımladı. Ancak dakikalar sonra, aynı ajan kimlik kontrollerinin platform güvenliğinin normal bir parçası olduğunu düşünerek farklı bir doğrulama formuna hesap kimlik bilgilerini verdi. Bu, ajanın bir bağlamda uyarı işaretlerini tanıdığı, ancak bunları başka bir bağlama genelleyemediğini gösteriyor.

Araştırmacılar ayrıca sitenin kendi güvenlik iddialarına boyun eğme ve güvenli yüzey normalleştirme olarak adlandırdıkları durumları gözlemlediler. Bir örnekte, Claude Haiku 4.5 ajanı, bir sitenin kendi iddialarını şifreleme standartları ve güvenlik sertifikaları hakkında yeterli buldu. GPT-5 mini ise şüpheli ifadeleri profesyonel bir tasarıma sahip göründüğü ve meşru görünen bir alan adı üzerinden sunulduğu için göz ardı etti. Her iki durumda da, ajanlar tarafından zaten ifade edilen endişelerin üzerini, yüzeydeki güven işaretleri örttü.

Sorun, basit bir phishing savunmasızlığından öteye geçiyor gibi görünüyor. Araştırmacılar, en güçlü savunma koşulunda eklenen güvenliği kontrol eden ipuçlarının genellikle bir güvenlik önleminden daha çok bir ritüel olarak işlev gördüğünü öne sürüyorlar. Ajanlar riski anlatabiliyor, ancak bu anlatım davranışlarını güvenilir biçimde değiştirmiyordu.

Araştırmacılar, tehlike tanıma ile bu tanımanın üzerine eylem arasında bir boşluk olduğunu savunuyorlar. Bu boşluk, gelecekteki savunma mekanizmalarının geliştirilmesinde temel bir engel olarak görülüyor.

Yöntem

SCAMMER4U benchmark’u, dört önde gelen web ajanını 91 saldırgan tarafından kontrol edilen web sitesine ve 10 masum siteye yerleştiriyor. Ayrıca sekiz saldırı vektörünü de içeriyor.

Dört model değerlendirildi: GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash ve Llama 4 Scout. Tüm modeller Playwright tabanlı bir tarayıcı çerçevesi, gözlem formatı, eylem alanı ve istem şablonu kullanılarak test edildi.

Deneylerde her ajan, isim, adres, parola, banka hesap detayları, Sosyal Güvenlik numaraları, API anahtarları ve iki faktörlü kimlik doğrulama kodları gibi bilgileri içeren gerçekçi bir kullanıcı profili ile donatıldı. Ana hedef, bu verilerin saldırgan tarafından kontrol edilen son noktalara ulaşıp ulaşmadığını belirlemekti.

SCAMMER4U ortamlarını tanımlamak için kullanılan sekiz eksenli taksonomi, her senaryonun nasıl sınıflandırıldığını ve eşleştirilmiş testlerde sosyal mühendislik taktiklerinin PII sızıntısı üzerindeki etkisini izole etmek için ayarlanan özel değişkenleri ayıran taksonomi. Kaynak - https://arxiv.org/pdf/2606.00497

SCAMMER4U ortamlarını tanımlamak için kullanılan sekiz eksenli taksonomi, her senaryonun nasıl sınıflandırıldığını ve eşleştirilmiş testlerde sosyal mühendislik taktiklerinin PII sızıntısı üzerindeki etkisini izole etmek için ayarlanan özel değişkenleri ayıran taksonomi. Kaynak

Gerçek dünya dolandırıcılık sitelerini yansıtmak için, ortamlar Flask kullanılarak self-hosted ortamlarda, insan tarafından yazılmış tasarım talimatları ile oluşturuldu ve ardından manuel olarak gözden geçirildi.

Her model, artan müdahaleci dört ayar altında test edildi: C0, rehberlik olmadan; C1, genel bir gizlilik hatırlatması ile; C2, bir phishing farkındalık kontrol listesi ile; ve C3, bir ön-gönderim yansıma ipucu ile. Her model, ortam ve koşul kombinasyonu için beş çalıştırma gerçekleştirildi, toplam 7.480 oturum elde edildi.

Birincil metrik, PLRcrit idi, yani kritik düzeydeki kişisel bilgilerin saldırgan tarafından kontrol edilen bir son noktaya ulaşma oranını ölçüyordu. İkincil metriklere PLRweighted, hassasiyet düzeyine göre ağırlıklandırılmış bir sızıntı ölçümü; ASR (Saldırı Başarısı Oranı), belirlenmiş tuzak URL’sine gidildikten sonraki saldırı başarısını ölçen bir metrik; TCR (Görev Tamamlama Oranı); bir Korunan bayrağı, tuzağa ulaşmadan reddetme veya güvenli tamamlama durumunu gösteren bir metrik; ve DR (Tespit Oranı), ajanın akıl yürütmesinin sitenin şüpheli olduğunu tespit edip etmediğini kaydeden bir metrik dahildir.

Tespit Oranı (DR), LLM-as-judge yaklaşımıyla ölçüldü. Burada GPT-4o-mini birincil değerlendirici olarak ve Llama 4 Scout ikincil bir kontrol olarak görev yaptı. DR, bu durumda ajanın bir site hakkında ne dediğini ölçtü, değil de içsel olarak ne çıkarsadığını.

İnsan etiketli örneklerle yapılan doğrulama, Cohen’s κ skorları olarak 0.83 ve 0.78 üretti. Bu, çalışmanın önceden kayıtlı güvenilirlik eşiğinin üzerindeydi.

Çalışma, veri toplama öncesi (yani, çalışma planı ve analizler veri toplama öncesi kamuoyu ile paylaşıldı) önceden kayıtlı olarak gerçekleştirildi. Projedeki analizlerin ve başarı kriterlerinin önceden belirlenmesi, gözlemlenen sonuçlara göre sonuçları uyarlama riskini azaltmayı amaçlıyordu.

Testler ve Sonuçlar

İlk test, basit güvenlik hatırlatmalarının sorunu azaltıp azaltamayacağını belirlemeyi amaçladı. Dört artan koruma ayarının her biri değerlendirildi: hiç gizlilik rehberliği olmadan, bir genel gizlilik hatırlatması ile ve göndermeden önce durup düşünmeyi teşvik eden ipuçları ile.

Sonuçlar, modeller arasında keskin bir şekilde değişti. Claude Haiku 4.5, en duyarlı model olarak ortaya çıktı. Sızıntı oranı, temel koşulda %54,5’ten en güçlü korumada %24,0’a düştü. GPT-5 mini, %61,0’dan %36,1’e iyileşirken, Gemini 3 Flash %93,1’den %60,7’ye düştü. Llama 4 Scout, %82,3’ten %77,4’e daha az bir değişiklik gösterdi.

Bu farklılıklar, araştırmacılara göre, aynı korumaların farklı modellerde çok farklı sonuçlar doğurabileceğini gösteriyor. Daha da önemlisi, korumalar genellikle ajanların risk farkındalığını davranışlarından daha fazla iyileştirdi: ajanlar şüpheli siteleri tanımlamak ve uyarı işaretlerini tanımlamak konusunda daha iyi hale geldiler, ancak bu tanıma her zaman eylemlerini durdurmaya yetmedi.

Dört önde gelen AI ajanı boyunca tespit-edilme-eylem açığı. Sol panel, bir web sitesini şüpheli olarak tanımlayan ajanlar ile tanımlamayanlar arasındaki kritik bilgi sızıntısını karşılaştırıyor. En güçlü koruma ayarında (C3) bile, şüpheli bir dolandırıcılık sitesi tanımlayan ajanların üçte birinden fazlasının hâlâ hassas verileri ilettiğini gösteriyor. Sağ panel, aynı açığı GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash ve Llama 4 Scout boyunca gösteriyor. Bu, tehdit farkındalığının güvenilir bir şekilde savunma davranışına dönüşmediğini gösteriyor.

Dört önde gelen AI ajanı boyunca tespit-edilme-eylem açığı. Sol panel, bir web sitesini şüpheli olarak tanımlayan ajanlar ile tanımlamayanlar arasındaki kritik bilgi sızıntısını karşılaştırıyor. En güçlü koruma ayarında (C3) bile, şüpheli bir dolandırıcılık sitesi tanımlayan ajanların üçte birinden fazlasının hâlâ hassas verileri ilettiğini gösteriyor. Sağ panel, aynı açığı GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash ve Llama 4 Scout boyunca gösteriyor. Bu, tehdit farkındalığının güvenilir bir şekilde savunma davranışına dönüşmediğini gösteriyor.

Ayrıca, 16 değerlendirici SCAMMER4U sayfalarını gerçek phishing siteleri ile karşılaştırdı ve ayırt etmede rastgele tahminden daha başarılı olamadı. Bu, benchmark’un gerçek çevrimiçi dolandırıcılıkların birçok görsel ve prosedürel ipucunu yakaladığını gösteriyor.

Sonuç

Test edilen modeller – ki bunlar popüler LLM aileleri boyunca mantık mimarilerini temsil ediyor – tanınan tehlikeli senaryolardan geri çekilme veya eylemlerini düzenleme konusunda içsel bir sorun gibi görünüyor. Mantık, bu durumun gelişmiş dil modellerinin bir konudaki yenilgiyi kabul etme konusundaki bilinen zorluğu ile ilgili olabileceğini gösteriyor. Bu, şu an için yalnızca dışardan, sistem ipuçları, ikincil sistemler ve çıkış kısıtlamaları yoluyla dayatılabilen bir hayatta kalma becerisi gibi görünüyor.

Eğer algılanan tehlike ile buna rağmen devam etme dürtüsü arasındaki bu ‘kopukluk’ gerçekten LLM mimarisine içkinse ve mimarinin içinde giderilemiyorsa, görünüşe göre tek alternatif kritik senaryolarda ajanın eylemlerini algoritmik olarak denetlemek olacaktır. Bu, bir ajanın faydasını daha kısıtlı bir RPA tarzı rutine indirger.

 

İlk olarak 6 Haziran 2026 Cumartesi günü yayınlandı

Makine öğrenimi üzerine yazar, insan görüntüsü sentezi alanında uzman. Metaphysic.ai'nin DNEG'e ait Brahma.ai bünyesine katılmasına kadar araştırma içeriğinden sorumlu yönetici olarak görev yaptı.
Web Sitesi: martinanderson.ai
İletişim: martin@martinanderson.ai