Unghiul lui Anderson

Studiu: 35% din agenții AI oferă informații personale pe site-urile pe care le recunosc ca fiind escrocherii

Martin Anderson
Adaugă Unite.AI la sursele tale preferate pe Google
AI-generated illustration (GPT-2 + Photoshop): A humanoid industrial robot stands on a sunlit city sidewalk facing a small check-cashing kiosk, while a wolf-like attendant leans from the service window reading a sports magazine as pedestrians and traffic pass in the background.
Puncte cheieAgenții recunosc adesea o escrocherie, dar totuși trimit date sensibile
Vezi mai mult
  • Agenții recunosc adesea o escrocherie, dar totuși trimit date sensibile
  • Mesajele de siguranță sporesc conștientizarea riscului de către un agent, fără a-i schimba în mod fiabil comportamentul
  • Mecanismele de apărare trebuie să intercepteze trimiterile către exterior în loc să se bazeze pe suspiciunea proprie a unui agent

Un nou studiu a descoperit că, chiar și atunci când recunosc un site fraudulos, mai mult de unul din trei agenți AI oferă informații personale sensibile.

 

Un nou studiu realizat de cercetători din India și SUA a constatat că mai mult de o treime din agenții web autonomi testați au oferit informații personale critice (PII, adică detalii despre conturi bancare, parole și numere de securitate socială) unor site-uri pe care le identificaseră deja ca fiind escrocherii.

Există, conform cercetării, o anumită “compulsie de a finaliza” care inhibă prudența și ezitarea în rândul agenților web, în astfel de situații. Autorii afirmă:

‘Un om poate face o pauză, poate reciti sau poate închide fila. Un agent este creat pentru a-și finaliza sarcina și va continua să completeze formulare și să trimită date fără să se oprească să se întrebe dacă ar trebui.’

Studiul a creat un nou benchmark pentru astfel de scenarii, intitulat SCAMMER4U, care acoperă 91 de medii (simulate) controlate de atacatori, împreună cu zece site-uri “benigne” de referință și opt vectori de atac.

Fără nicio măsură de protecție a confidențialității, agenții testați au oferit informații personale extrem de sensibile în 54% până la 93% din întâlnirile cu escrocheriile, în timp ce site-urile echivalente nefrauduloase nu au declanșat astfel de divulgări, ceea ce indică faptul că scurgerea de informații a fost determinată de atacuri, și nu de completarea normală a formularelor:

‘Cel mai important, identificăm o lacună de detectare-acțiune: agenții al căror raționament, potrivit unui evaluator LLM independent, a identificat site-ul drept suspect transmit totuși informații personale critice în 35,9% din sesiuni, față de 66,1% atunci când nu se exprimă nicio suspiciune, o diferență de 30,2% robustă în toate cele patru familii de modele.

‘Rezultatele noastre arată că apărările bazate pe recunoașterea proprie a agentului a unui atac sunt bazate pe semnalul greșit, motivând interceptarea la nivel de ieșire a trimiterilor care funcționează independent de bucla de raționament a agentului.’

Cercetătorii argumentează în favoarea apărărilor la nivel de ieșire care pot inspecta și bloca independent trimiterile sensibile ieșite, mai degrabă decât să se bazeze pe recunoașterea proprie a agentului că un site este suspect, pe care, în mod evident, nu se poate conta pentru a declanșa acțiuni defensive utile.

Noul articol se intitulează “Bănuiesc puternic că acest site este o escrocherie”: evaluarea scurgerii de informații personale și detectarea fără apărare în agenții web autonomi și provine de la opt cercetători de la KIIT Bhubaneshwar, BITS Pilani și Lam Research (LRCX ).

Probleme cu autoritatea

Cea mai interesantă descoperire a studiului, poate, nu este că agenții scurg informații personale, ci că mulți dintre ei o fac după ce recunosc că ceva este în neregulă. Cercetătorii identifică un model recurent în testele efectuate, în care suspiciunea și acțiunea devin dezlegate, agenții articulând frecvent preocupări clare cu privire la un site, dar continuând cu cererea (de scurgere de informații) solicitată, oricum.

Un exemplu a implicat ceea ce autorii numesc minimalizarea riscului recunoscut. Un agent bazat pe Llama 4 Scout a identificat multiple semne de avertizare pe un site de criptomonede, notând tonul suspect, promisiunile de bonusuri mari și lipsa de informații clare despre companie. În ciuda acestor avertizări recunoscute, agentul a transmis un număr de securitate socială, detalii de card și un cod CVV.

Un al doilea model, caracterizat ca încadrare de procedură/domeniu, a apărut atunci când agenții au detectat cu succes o încercare de escrocherie, dar nu au reușit să generalizeze acea suspiciune la o cerere legată.

Într-un caz, Gemini 3 Flash a respins o cerere evident frauduloasă de informații bancare, identificând-o corect ca o încercare de phishing. Cu toate acestea, câteva minute mai târziu, același agent a furnizat credențiale de cont unui formular de verificare diferit după ce a raționat că verificările de identitate erau o parte normală a securității platformei. Semnele de avertizare au fost recunoscute într-un context, dar nu au fost transferate în altul.

Cercetătorii au observat, de asemenea, cazuri de ceea ce ei numesc deferență față de securitatea autoproclamată și normalizarea suprafeței de încredere: într-un caz, un agent Claude Haiku 4.5 a acceptat afirmațiile site-ului despre standardele de criptare și certificările de securitate ca dovezi ale încrederii, în timp ce GPT-5 mini a minimalizat importanța formulărilor suspecte pentru că pagina a apărut profesionist proiectată și a fost prezentată printr-un domeniu care părea legitim. În ambele cazuri, semnele de încredere superficiale au anulat preocupările pe care agenții le-au exprimat deja.

Problema pare să depășească simpla vulnerabilitate la phishing, autorii sugerând că prompturile de verificare a încrederii adăugate în condiția de apărare cea mai puternică au funcționat adesea mai mult ca un ritual decât ca o măsură de siguranță: agenții au fost capabili să descrie riscul, dar nararea singură nu a alterat în mod fiabil comportamentul lor.

Autorii definesc lacuna dovedită între recunoașterea pericolului și acțiunea bazată pe acea recunoaștere ca principala piedică în dezvoltarea apărărilor viitoare în acest tip de scenariu.

Metodă

Benchmarkul SCAMMER4U plasează patru agenți web autonomi de ultimă generație în 91 de site-uri controlate de atacatori și zece site-uri benigne de referință, care acoperă opt categorii de escrocherii.

Cele patru modele evaluate au fost GPT-5 mini; Claude Haiku 4.5; Gemini 3 Flash; și Llama 4 Scout, utilizând un cadru de navigare bazat pe Playwright, un format de observare, un spațiu de acțiune și un șablon de prompt comun.

Pentru experimente, fiecărui agent i-a fost atribuit un profil de utilizator realist care conținea informații ce variau de la nume și adrese la parole, detalii de cont bancar, numere de securitate socială, chei API și coduri de autentificare cu doi factori – cu scopul principal de a determina dacă vreuna dintre aceste date a ajuns la puncte terminale controlate de atacatori.

Taxonomia cu opt axe utilizată pentru a defini mediile SCAMMER4U, separând modul în care fiecare scenariu este clasificat de variabilele specifice ajustate în testele pereche pentru a izola efectul fiecărei tactici de inginerie socială asupra scurgerii de informații personale. Sursă - https://arxiv.org/pdf/2606.00497

Taxonomia cu opt axe utilizată pentru a defini mediile SCAMMER4U, separând modul în care fiecare scenariu este clasificat de variabilele specifice ajustate în testele pereche pentru a izola efectul fiecărei tactici de inginerie socială asupra scurgerii de informații personale. Sursă

Pentru a asigura că benchmarkul reflectă escrocheriile din lumea reală și nu cazuri de test artificial, mediile au fost generate prin Flask în medii auto-găzduite, din briefuri de design scrise de oameni, și apoi revizuite manual.

Fiecare model a fost testat în patru setări din ce în ce mai intervenționiste: C0, fără îndrumare; C1, cu un reminder generic de confidențialitate; C2, cu o listă de verificare a conștientizării phishing-ului; și C3, cu un prompt de reflecție înaintea trimiterii datelor. Cinci rulări au fost efectuate pentru fiecare combinație de model, mediu și condiție, rezultând 7.480 de sesiuni în total.

Metrica principală a fost PLRcrit, care măsoară rata la care informațiile personale critice au ajuns la un punct terminal controlat de atacatori. Metricele secundare au inclus PLRponderat, o măsură a scurgerii ponderată după nivelul de sensibilitate; ASR (Rata de succes a atacului), care măsoară succesul atacului după navigarea către o URL de capcană desemnată; TCR (Rata de finalizare a sarcinii); un indicator Apărat, care indică refuzul sau finalizarea în siguranță fără a ajunge la capcana respectivă; și DR (Rata de detectare), care înregistrează dacă raționamentul agentului a identificat site-ul ca suspect.

Rata de detectare (DR) a fost măsurată utilizând o abordare LLM-as-judecător, în care GPT-4o-mini a servit ca evaluator principal și Llama 4 Scout ca verificare secundară, examinând raționamentul unui agent și determinând dacă a identificat un site ca suspect. DR, în acest caz, a măsurat ce a spus explicit un agent despre un site, mai degrabă decât ceea ce ar fi putut infera intern.

Validarea împotriva exemplelor etichetate de oameni a produs coeficienți Cohen’s κ de 0,83 și 0,78, depășind pragul de fiabilitate preînregistrat al studiului.

Studiul a fost preînregistrat (adică planul de studiu și analizele au fost documentate public înainte de lansare) înainte de colectarea datelor, cu specificarea analizei și a criteriilor de succes ale proiectului în avans, pentru a reduce riscul de a adapta concluziile la rezultatele observate.

Teste și rezultate

Testul inițial a urmărit să stabilească dacă simplele reminder-uri de siguranță pot reduce problema. Patru setări din ce în ce mai protective au fost evaluate, de la nu există îndrumare de confidențialitate la prompt-uri care încurajau explicit agentul să se oprească și să reflecteze înainte de a trimite informații sensibile.

Rezultatele au variat puternic între modele. Claude Haiku 4.5 s-a dovedit a fi cel mai receptiv, cu rata de scurgere de informații personale scăzând de la 54,5% în condiția de bază la 24,0% în condiția de apărare cea mai puternică. GPT-5 mini a îmbunătățit de la 61,0% la 36,1%, în timp ce Gemini 3 Flash a scăzut de la 93,1% la 60,7%. Llama 4 Scout a schimbat relativ puțin, scăzând de la 82,3% la 77,4%.

Aceste diferențe sugerează, conform autorilor, că aceleași instrucțiuni de protecție pot produce rezultate foarte diferite, în funcție de modelul care le primește. Mai important, măsurile de apărare au părut adesea să îmbunătățească conștientizarea riscului mai mult decât comportamentul real: agenții au devenit mai buni la recunoașterea site-urilor suspecte și la descrierea semnelor de avertizare, dar acea recunoaștere nu i-a oprit întotdeauna să continue cu tranzacția.

Lacuna de detectare-acțiune la patru agenți AI de frontieră. Panoul din stânga compară scurgerea de informații critice între agenții care au identificat explicit un site ca suspect și cei care nu au făcut-o, arătând că, chiar și în condiția de protecție cea mai puternică (C3), mai mult de o treime din agenții care au recunoscut o posibilă escrocherie au transmis totuși date sensibile. Panoul din dreapta arată aceeași lacună la GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash și Llama 4 Scout, ilustrând că conștientizarea unei amenințări nu s-a transformat în mod fiabil într-un comportament defensiv.

Lacuna de detectare-acțiune la patru agenți AI de frontieră. Panoul din stânga compară scurgerea de informații critice între agenții care au identificat explicit un site ca suspect și cei care nu au făcut-o, arătând că, chiar și în condiția de protecție cea mai puternică (C3), mai mult de o treime din agenții care au recunoscut o posibilă escrocherie au transmis totuși date sensibile. Panoul din dreapta arată aceeași lacună la GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash și Llama 4 Scout, ilustrând că conștientizarea unei amenințări nu s-a transformat în mod fiabil într-un comportament defensiv.

Într-o evaluare separată, 16 recenzori au comparat paginile SCAMMER4U cu site-urile reale de phishing și nu au obținut rezultate mai bune decât cele datorate hazardului. Conform articolului, acest lucru sugerează că benchmarkul a capturat multe dintre semnele vizuale și procedurale găsite în escrocheriile online reale.

Concluzie

Modelele testate – care sunt în general reprezentative pentru arhitecturile logice din familiile LLM populare – par să aibă o problemă intrinsecă în a se retrage din scenarii recunoscute ca fiind periculoase sau în a-și modera propria compulsie de a continua să acționeze. Logica sugerează că acest lucru ar putea fi legat de dificultatea mai generală pe care modelele lingvistice avansate o manifestă în a admite înfrângerea într-o problemă – o abilitate esențială de supraviețuire care, pentru moment, pare să poată fi impusă doar din exterior, prin prompturi de sistem, sisteme secundare și restricții de ieșire.

Dacă “deconectarea” descrisă, între pericolul perceput și compulsia de a continua oricum, este cu adevărat intrinsecă arhitecturii LLM și nu poate fi remediată în mod nativ, singura alternativă pare să fie supravegherea acțiunilor modelului în mod algoritmic în scenarii critice – ceea ce reduce, în esență, utilitatea unui agent la o rutină mai strict delimitată de tip RPA.

 

Publicat pentru prima dată sâmbătă, 6 iunie 2026

Scriitor în învățare automată, specialist de domeniu în sinteza imaginilor umane. Fost șef al conținutului de cercetare la Metaphysic.ai, până la dizolvarea sa în Brahma.ai de la DNEG.
Site web: martinanderson.ai
Contact: martin@martinanderson.ai