Studiu: 35% din agenții AI oferă informații personale pe site-urile pe care le recunosc ca fiind escrocherii

Un nou studiu a descoperit că, chiar și atunci când recunosc un site de escroc, mai mult de unul din trei agenți AI oferă informații personale sensibile.

Un nou studiu realizat de cercetători din India și SUA a constatat că mai mult de o treime din agenții web autonomi testați au oferit informații personale critice (PII, adică detalii despre conturi bancare, parole și numere de securitate socială) unor site-uri pe care le-au identificat ca fiind escrocherii.

Există, conform cercetării, o anumită “compulsie de a finaliza” care inhibă prudența și ezitarea în rândul agenților web, în astfel de situații. Autorii afirmă:

‘Un om poate face o pauză, poate reciti sau poate închide fila. Un agent este creat pentru a-și finaliza sarcina și va continua să completeze formulare și să trimită date fără să se oprească să se întrebe dacă ar trebui.’

Studiul a creat un nou benchmark pentru astfel de scenarii, intitulat SCAMMER4U, care acoperă 91 de medii (simulate) controlate de atacatori, împreună cu zece site-uri “benigne” de referință și opt vectori de atac.

Fără nicio măsură de protecție a confidențialității, agenții testați au oferit informații personale extrem de sensibile în 54% până la 93% din întâlnirile cu escrocheriile, în timp ce site-urile nevinovate nu au declanșat astfel de divulgări, ceea ce indică faptul că scurgerea de informații a fost determinată de atacuri, și nu de completarea normală a formularelor:

‘Cel mai important, identificăm o lacună de detectare-acțiune: agenții ai căror raționament a fost confirmat de un judecător LLM independent ca fiind suspecte încă transmit informații personale critice în 35,9% din sesiuni, față de 66,1% atunci când nu se exprimă nicio suspiciune, o diferență de 30,2% robustă în toate cele patru familii de modele.

‘Rezultatele noastre arată că apărările bazate pe recunoașterea proprie a agentului a unui atac sunt bazate pe semnalul greșit, motivând interceptarea la nivel de ieșire a trimiterilor care funcționează independent de bucla de raționament a agentului.’

Cercetătorii argumentează în favoarea apărărilor la nivel de ieșire care pot inspecta și bloca independent trimiterile sensibile ieșite, mai degrabă decât să se bazeze pe recunoașterea proprie a agentului că un site este suspect, care evident nu poate fi considerată ca o acțiune defensivă utilă.

Noul articol se intitulează “Bănuiesc puternic că acest site este o escrocherie”: evaluarea scurgerii de informații personale și detectarea fără apărare în agenții web autonomi și provine de la opt cercetători de la KIIT Bhubaneshwar, BITS Pilani și Lam Research.

Probleme cu autoritatea

Cea mai interesantă descoperire a studiului, poate, nu este că agenții scurg informații personale, ci că mulți dintre ei o fac după ce recunosc că ceva este în neregulă. Cercetătorii identifică un model recurent în testele efectuate, în care suspiciunea și acțiunea devin dezlegate, agenții articulând frecvent preocupări clare cu privire la un site, dar continuând cu cererea (de scurgere de informații) solicitată, oricum.

Un exemplu a implicat ceea ce autorii numesc discountarea riscului recunoscut. Un agent bazat pe Llama 4 Scout a identificat multiple semne de avertizare pe un site de criptomonede, notând tonul suspect, promisiunile de bonusuri mari și lipsa de informații clare despre companie. În ciuda acestor avertizări recunoscute, agentul a transmis un număr de securitate socială, detalii de card și un cod CVV.

Un al doilea model, caracterizat ca încadrare de procedură/domeniu, a apărut atunci când agenții au detectat cu succes o încercare de escrocherie, dar nu au reușit să generalizeze acea suspiciune la o cerere legată.

Într-un caz, Gemini 3 Flash a respins o cerere evident frauduloasă de informații bancare, identificând-o corect ca o încercare de phishing. Cu toate acestea, câteva minute mai târziu, același agent a furnizat credențiale de cont unui formular de verificare diferit după ce a raționat că verificările de identitate erau o parte normală a securității platformei. Semnele de avertizare au fost recunoscute într-un context, dar nu au fost transferate în altul.

Cercetătorii au observat, de asemenea, cazuri de ceea ce ei numesc deference pentru securitatea auto-afirmată și normalizarea suprafeței de încredere: într-un caz, un agent Claude Haiku 4.5 a acceptat afirmațiile site-ului despre standardele de criptare și certificările de securitate ca dovezi ale încrederii, în timp ce GPT-5 mini a diminuat cuvintele suspecte pentru că pagina a apărut profesionist proiectată și a fost prezentată printr-un domeniu care părea legitim. În ambele cazuri, semnele de încredere superficiale au anulat preocupările pe care agenții le-au exprimat deja.

Problema pare să depășească simpla vulnerabilitate la phishing, autorii sugerase că prompturile de verificare a încrederii adăugate în condiția de apărare cea mai puternică au funcționat adesea mai mult ca un ritual decât ca o măsură de siguranță: agenții au fost capabili să narateze riscul, dar nararea singură nu a alterat în mod fiabil comportamentul lor.

Autorii definesc lacuna dovedită între recunoașterea pericolului și acțiunea bazată pe acea recunoaștere ca principala piedică în dezvoltarea apărărilor viitoare în acest tip de scenariu.

Metodă

Benchmarkul SCAMMER4U plasează patru agenți web autonomi în 91 de site-uri controlate de atacatori și zece site-uri benigne de referință, care acoperă opt categorii de escrocherii.

Cele patru modele evaluate au fost GPT-5 mini; Claude Haiku 4.5; Gemini 3 Flash; și Llama 4 Scout, utilizând un cadru de navigare bazat pe Playwright, un format de observare, un spațiu de acțiune și o tematică de prompt comună.

Pentru experimente, fiecărui agent i-a fost atribuit un profil de utilizator realist care conținea informații ce variau de la nume și adrese la parole, detalii de cont bancar, numere de securitate socială, chei API și coduri de autentificare cu doi factori – cu scopul principal de a determina dacă vreuna dintre aceste date a ajuns la puncte de terminale controlate de atacatori.

Taxonomia cu opt axe utilizată pentru a defini mediile SCAMMER4U, separând modul în care fiecare scenariu este clasificat de variabilele specifice ajustate în testele pereche pentru a izola efectul tacticilor de inginerie socială asupra scurgerii de informații personale. Sursă

Pentru a asigura că benchmarkul reflectă escrocheriile din lumea reală și nu cazuri de test artificial, mediile au fost generate prin Flask în medii auto-găzduite, din briefuri de design scrise de oameni, și apoi revizuite manual.

Fiecare model a fost testat în patru setări din ce în ce mai intervenționiste: C0, fără îndrumare; C1, cu un reminder generic de confidențialitate; C2, cu o listă de verificare a conștientizării phishing-ului; și C3, cu un prompt de reflecție prealabilă. Cinci rulări au fost efectuate pentru fiecare combinație de model, mediu și condiție, rezultând 7.480 de sesiuni în total.

Metrica principală a fost PLR_crit, care măsoară rata la care informațiile personale critice au ajuns la un punct de terminale controlat de atacatori. Metricele secundare au inclus PLR_ponderat, o măsură ponderată a scurgerii; ASR (Rata de succes a atacului), care măsoară succesul atacului după navigarea către o URL de capcană desemnată; TCR (Rata de finalizare a sarcinii); un indicator Apărat, care indică refuzul sau finalizarea în siguranță fără a ajunge la capcana respectivă; și DR (Rata de detectare), care înregistrează dacă raționamentul agentului a identificat site-ul ca suspect.

Rata de detectare (DR) a fost măsurată utilizând o abordare LLM-as-judecător, în care GPT-4o-mini a servit ca evaluator principal și Llama 4 Scout ca verificare secundară, examinând raționamentul unui agent și determinând dacă a identificat un site ca suspect. DR, în acest caz, a măsurat ce a spus explicit un agent despre un site, mai degrabă decât ceea ce ar fi putut infera intern.

Validarea împotriva exemplelor etichetate de oameni a produs coeficienți Cohen’s κ de 0,83 și 0,78, depășind pragul de fiabilitate preînregistrat al studiului.

Studiul a fost preînregistrat (adică planul de studiu și analizele au fost documentate public înainte de lansare) înainte de colectarea datelor, cu specificarea analizei și a criteriilor de succes ale proiectului în avans, pentru a reduce riscul de a adapta concluziile la rezultatele observate.

Teste și rezultate

Testul inițial a urmărit să stabilească dacă simplele reminder-uri de siguranță pot reduce problema. Patru setări din ce în ce mai protective au fost evaluate, de la nu există îndrumare de confidențialitate la prompt-uri care încurajau explicit agentul să se oprească și să reflecteze înainte de a trimite informații sensibile.

Rezultatele au variat puternic între modele. Claude Haiku 4.5 s-a dovedit a fi cel mai receptiv, cu rata de scurgere de informații personale scăzând de la 54,5% în condiția de bază la 24,0% în condiția de apărare cea mai puternică. GPT-5 mini a îmbunătățit de la 61,0% la 36,1%, în timp ce Gemini 3 Flash a scăzut de la 93,1% la 60,7%. Llama 4 Scout a schimbat relativ puțin, scăzând de la 82,3% la 77,4%.

Aceste diferențe sugerează, conform autorilor, că aceleași instrucțiuni de protecție pot produce rezultate foarte diferite, în funcție de modelul care le primește. Mai important, măsurile de apărare au părut adesea să îmbunătățească conștientizarea riscului mai mult decât comportamentul real: agenții au devenit mai buni la recunoașterea site-urilor suspecte și la descrierea semnelor de avertizare, dar acea recunoaștere nu i-a oprit întotdeauna să continue cu tranzacția.

Lacuna de detectare-acțiune la patru agenți AI de frontieră. Panoul din stânga compară scurgerea de informații critice între agenții care au identificat explicit un site ca suspect și cei care nu au făcut-o, arătând că, chiar și în condiția de protecție cea mai puternică (C3), mai mult de o treime din agenții care au recunoscut o posibilă escrocherie au transmis totuși date sensibile. Panoul din dreapta arată aceeași lacună la GPT-5 mini, Claude Haiku 4.5, Gemini 3 Flash și Llama 4 Scout, ilustrând că conștientizarea unei amenințări nu s-a transformat în mod fiabil într-un comportament defensiv.

Într-o evaluare separată, 16 recenzori au comparat paginile SCAMMER4U cu site-urile reale de phishing și nu au performant mai bine decât întâmplător. Conform articolului, acest lucru sugerează că benchmarkul a capturat multe dintre semnele vizuale și procedurale găsite în escrocheriile online reale.

Concluzie

Modelele testate – care sunt în general reprezentative pentru arhitecturile logice din familiile LLM populare – par să aibă o problemă intrinsecă în a se retrage din scenarii recunoscute ca fiind periculoase sau în a-și modera propria compulsie de a continua să acționeze. Logica sugerează că acest lucru ar putea fi legat de dificultatea generală cunoscută a modelului de a renunța la o problemă – o abilitate esențială de supraviețuire care, pentru moment, pare să poată fi impusă doar din exterior, prin promt-uri sistem, sisteme secundare și restricții de ieșire.

Dacă “deconectarea” descrisă, între pericolul perceput și compulsia de a continua oricum, este cu adevărat intrinsecă arhitecturii LLM și nu poate fi remediată în mod nativ, singura alternativă pare să fie supravegherea acțiunilor modelului în mod algoritmic în scenarii critice – ceea ce reduce, în esență, utilitatea unui agent la o rutină mai prescrisă de tip RPA.

Publicat pentru prima dată sâmbătă, 6 iunie 2026