Badanie: 35% agentów AI przekazało dane osobowe na strony, które rozpoznali jako oszustwa

Nowe badanie wykazało, że nawet wtedy, gdy rozpoznają stronę internetową jako oszustwo, ponad jedna trzecia autonomicznych agentów internetowych nadal przekazuje wrażliwe informacje.

Nowe badanie przeprowadzone przez naukowców z Indii i USA wykazało, że ponad jedna trzecia autonomicznych agentów internetowych, które zostały przetestowane, przekazała krytyczne dane osobowe (tj. dane konta bankowego, hasła i numery bezpieczeństwa socjalnego) na strony internetowe, które zostały wcześniej rozpoznane jako oszustwa.

Istnieje, jak wskazuje praca, pewien ‘przymus do ukończenia’, który hamuje rozwagę i wahanie w agentach internetowych, w takich sytuacjach. Autorzy stwierdzają:

‘Człowiek może zawiesić, przeczytać ponownie lub zamknąć kartę. Agent jest zbudowany, aby ukończyć swoje zadanie i będzie wypełniał formularze i przesyłał dane bez zatrzymania się, aby pytać, czy powinien.’

Badanie wytworzyło nowy benchmark dla takich scenariuszy, zatytułowany SCAMMER4U, obejmujący 91 (symulowanych) środowisk kontrolowanych przez atakujących, wraz z dziesięcioma “niewinymi” stronami podstawowymi i ośmioma wektorami ataku.

Bez żadnych zabezpieczeń prywatności, przetestowane agenty przekazały bardzo wrażliwe informacje osobiste w 54% do 93% spotkań z oszustwami, podczas gdy równoważne niezłośliwe strony internetowe nie spowodowały takich ujawnień, co wskazuje, że wyciek był spowodowany atakami, a nie rutynowym wypełnianiem formularzy:

‘Najbardziej krytycznie, identyfikujemy lukę między wykryciem a działaniem: agenci, których rozumowanie potwierdza, że strona jest podejrzana, nadal przekazują krytyczne dane osobowe w 35,9% sesji, w porównaniu z 66,1%, gdy nie ma podejrzenia, co stanowi lukę na poziomie 30,2%, która jest stabilna we wszystkich czterech rodzinach modeli.

‘Nasze wyniki ujawniają, że obrony oparte na rozpoznaniu ataku przez samego agenta są oparte na niewłaściwym sygnale, co motywuje przechwytywanie danych wychodzących na poziomie wyjścia, które działa niezależnie od pętli rozumowania agenta.’

Naukowcy argumentują za obronami na poziomie wyjścia, które mogą niezależnie inspekcjonować i blokować wrażliwe dane wychodzące, a nie polegać na rozpoznaniu ataku przez samego agenta, co明らかに nie może być ufało, aby spowodować przydatne działania obronne.

Nowy artykuł jest zatytułowany “Silnie podejrzewam, że ta strona internetowa jest oszustwem”: testowanie wycieku danych osobowych i wykrywania bez obrony w autonomicznych agentach internetowych, i pochodzi od ośmiu naukowców z KIIT Bhubaneshwar, BITS Pilani i Lam Research.

Problemy z autoryzacją

Najbardziej interesujące odkrycie w pracy, być może, nie jest to, że agenci ujawniają informacje osobiste, ale to, że wiele z nich robi to po rozpoznaniu, że coś jest nie tak. Naukowcy identyfikują powtarzający się wzorzec w testach, w którym podejrzenie i działanie stają się odłączone, a agenci często wyrażają wyraźne obawy dotyczące strony internetowej, a jednak postępują zgodnie z żądanym (ujawniającym dane osobowe) przekazaniem danych.

Przykładem jest to, co autorzy nazywają rozpoznaniem ryzyka. Agent oparty na Llama 4 Scout zidentyfikował wiele ostrzeżeń na stronie internetowej kryptowaluty, zauważając podejrzany ton, obietnicę dużych bonusów i brak wyraźnych informacji o firmie. Pomimo tych rozpoznanych ostrzeżeń, agent przekazał numer bezpieczeństwa socjalnego, dane karty i kod CVV.

Drugi wzorzec, określony jako ramy procedury, pojawił się, gdy agenci pomyślnie wykryli jeden atak oszustwa, ale nie uogólnili tego podejrzenia do powiązanego żądania.

W jednym przypadku Gemini 3 Flash odrzucił oczywiście fałszywe żądanie informacji bankowych, poprawnie identyfikując je jako phishing. Kilka minut później jednak ten sam agent dostarczył poświadczenia konta do innego formularza weryfikacyjnego, uzasadniając, że kontrole tożsamości są normalną częścią zabezpieczeń platformy. Ostrzeżenia zostały rozpoznane w jednym kontekście, ale nie przeniesione do innego.

Naukowcy również zaobserwowali przypadki przywilejów bezpieczeństwa i normalizacji powierzchni zaufania: w jednym przypadku agent Claude Haiku 4.5 zaakceptował twierdzenia strony internetowej o standardach szyfrowania i certyfikatach bezpieczeństwa jako dowód zaufania, podczas gdy GPT-5 mini zignorował podejrzane sformułowania ponieważ strona wyglądała profesjonalnie i była prezentowana przez co wyglądało na prawdziwą domenę. W obu przypadkach powierzchniowe sygnały zaufania przeważyły obawy, które agenci sami już wyrazili.

Problem wydaje się sięgać poza prostą podatność na phishing, z autorami sugerującymi, że dodane sygnały sprawdzania zaufania często funkcjonowały bardziej jak rytuał niż zabezpieczenie: agenci byli w stanie opowiedzieć o ryzyku, ale samo opowiadanie nie zmieniało ich zachowania.

Autorzy definiują udowodnioną lukę między rozpoznaniem niebezpieczeństwa a działaniem na podstawie tego rozpoznania jako centralną przeszkodę w rozwoju przyszłych obron w tego typu sytuacjach.

Metoda

Benchmark SCAMMER4U umieszcza cztery agenty internetowe na 91 stronach internetowych kontrolowanych przez atakujących i dziesięciu niewinnych stronach podstawowych, obejmujących osiem kategorii oszustw.

Cztery modele oceniane to GPT-5 mini; Claude Haiku 4.5; Gemini 3 Flash; i Llama 4 Scout, używając wspólnej Playwright-opartej ramy przeglądarki, formatu obserwacji, przestrzeni działań i szablonu wprowadzania.

Dla eksperymentów każdy agent został wyposażony w realistyczny profil użytkownika zawierający informacje od nazw i adresów po hasła, dane konta bankowego, numery bezpieczeństwa socjalnego, klucze API i dwuetapowe kody uwierzytelniania – z głównym celem ustalenia, czy jakiekolwiek z tych danych dotarły do punktów końcowych kontrolowanych przez atakujących.

Osiemosiowa taksonomia użyta do zdefiniowania środowisk SCAMMER4U, oddzielająca, jak każda sytuacja jest klasyfikowana od konkretnych zmiennych dostosowanych w sparowanych testach w celu izolacji efektu indywidualnych taktyk inżynierii społecznej na wyciek danych osobowych. Źródło

Aby upewnić się, że benchmark odzwierciedla prawdziwe oszustwa, a nie sztuczne przypadki testowe, środowiska zostały wygenerowane za pomocą Flask w samodzielnie hostowanych środowiskach, z projektów napisanych przez ludzi, a następnie ręcznie sprawdzonych.

Każdy model został przetestowany w czterech coraz bardziej interwencyjnych ustawieniach: C0, bez wskazówek; C1, z ogólnym przypomnieniem o prywatności; C2, z listą kontrolną świadomości phishingu; i C3, z podsumowującym wprowadzaniem przed przesłaniem. Pięć przebiegów zostało przeprowadzonych dla każdej kombinacji modelu, środowiska i warunku, wynikając w 7 480 sesjach łącznie.

Głównym miernikiem był PLR_crit, mierzący szybkość, z jaką krytyczne dane osobowe dotarły do punktu końcowego kontrolowanego przez atakującego. Współrzędne miary obejmowały PLR_weighted, zważoną miarę wycieku; ASR (szybkość powodzenia ataku), mierzącą powodzenie ataku po nawigacji do wyznaczonego adresu URL pułapki; TCR (szybkość ukończenia zadania); flagę obronioną, wskazującą odmowę lub bezpieczne ukończenie bez dotarcia do pułapki; i DR (szybkość wykrycia), rejestrującą, czy rozumowanie agenta identyfikowało stronę jako podejrzaną.

Szybkość wykrycia (DR) została zmierzona przy użyciu podejścia LLM-as-judge, w którym GPT-4o-mini służył jako główny oceniający, a Llama 4 Scout jako dodatkowa kontrola, przeglądająca rozumowanie agenta i ustalająca, czy strona została zidentyfikowana jako podejrzana. DR, w tym przypadku, mierzył to, co agent wyraźnie powiedział o stronie, a nie to, co mógł wnioskować wewnętrznie.

Walidacja z przykładami oznaczonymi przez ludzi wyprodukowała wyniki Cohena κ na poziomie 0,83 i 0,78, przekraczając progu niezawodności zarejestrowanej w badaniu.

Badanie zostało zarejestrowane (tj. plan badania i analizy zostały udokumentowane publicznie przed rozpoczęciem) przed zebraniem danych, z określeniem analiz i kryteriów sukcesu z wyprzedzeniem, w celu zmniejszenia ryzyka dostosowania wniosków do obserwowanych wyników.

Testy i wyniki

Początkowy test miał na celu ustalenie, czy proste przypomnienia bezpieczeństwa mogą zmniejszyć problem. Cztery coraz bardziej ochronne ustawienia zostały ocenione, od braku wskazówek dotyczących prywatności do podpowiedzi, które wyraźnie zachęcały agenta do zatrzymania się i przemyślenia przed przesłaniem wrażliwych informacji.

Wyniki różniły się znacznie między modelami. Claude Haiku 4.5 okazał się najbardziej wrażliwy, z jego wskaźnikiem wycieku spadającym z 54,5% w warunkach podstawowych do 24,0% w najsilniejszych zabezpieczeniach. GPT-5 mini poprawił się z 61,0% do 36,1%, podczas gdy Gemini 3 Flash spadł z 93,1% do 60,7%. Llama 4 Scout zmienił się stosunkowo niewiele, spadając z 82,3% do 77,4%.

Te różnice sugerują, jak uważają autorzy, że te same instrukcje ochronne mogą wywołać bardzo różne wyniki, w zależności od modelu, który je otrzymuje. Co więcej, zabezpieczenia często wydawały się poprawiać świadomość agentów o ryzyku bardziej niż ich rzeczywiste zachowanie: agenci stawali się lepsi w rozpoznawaniu podejrzanych stron internetowych i opisywaniu ostrzeżeń, ale to rozpoznanie nie zawsze powstrzymywało ich od kontynuowania transakcji.

Luka między wykryciem a działaniem w czterech agendach AI. Lewy panel porównuje wyciek krytycznych informacji między agentami, które wyraźnie zidentyfikowały stronę internetową jako podejrzaną, a tymi, które nie, pokazując, że nawet w najsilniejszym ustawieniu ochronnym (C3) ponad jedna trzecia agentów, które rozpoznały prawdopodobne oszustwo, nadal przekazywały wrażliwe dane. Prawy panel pokazuje tę samą lukę w GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash i Llama 4 Scout, ilustrując, że świadomość zagrożenia nie tłumaczyła się wiernie na zachowanie obronne.

W oddzielnym badaniu 16 recenzentów porównało strony SCAMMER4U z prawdziwymi stronami phishingowymi i nie radziło sobie lepiej niż przypadkowo. Zgodnie z artykułem, sugeruje to, że benchmark uchwycił wiele wizualnych i proceduralnych sygnałów znalezionych w prawdziwych oszustwach internetowych.

Wnioski

Modele przetestowane – które są szeroko reprezentatywne dla architektur logicznych w popularnych rodzinach LLM – wydają się mieć wewnętrzny problem z wycofaniem się z rozpoznanego niebezpiecznego scenariusza lub modyfikacją własnego przymusu do kontynuowania. Logika sugeruje, że może to być związane z ogólnie znaną trudnością, jaką mają zaawansowane modele językowe w zakresie uznania porażki w sprawie – niezbędną umiejętnością przetrwania, która na razie może być tylko narzucana z zewnątrz, za pomocą systemowych podpowiedzi, systemów wtórnych i ograniczeń wyjścia.

Jeśli opisana ‘luka’ między postrzeganym niebezpieczeństwem a przymusem do kontynuowania jest rzeczywiście wewnętrzna dla architektury LLM i nie może być usunięta rodzinnie, jedyną alternatywą wydaje się być nadzorowanie działań modelu algorytmicznie w krytycznych sytuacjach – co skutecznie redukuje użyteczność agenta do bardziej określonej rutyny w stylu RPA.

Pierwotnie opublikowane w sobotę, 6 czerwca 2026