Audian Paxson, strateg tehnic principal la IRONSCALES – Seria de interviuri

Audian Paxson, strateg tehnic principal la IRONSCALES, este un veteran al securității cibernetice și al strategiei de produs, cu peste două decenii de experiență în securitatea e-mailului, detectarea amenințărilor, rețelistică și tehnologia pentru companii. La IRONSCALES, se ocupă de lansarea produselor, comunicarea și poziționarea acestora, strategia de lansare pe piață și promovarea ideilor de referință despre utilizarea inteligenței artificiale și a învățării automate pentru a combate amenințările emergente la adresa securității e-mailului. De-a lungul carierei, a ocupat funcții de conducere în managementul de produs, marketingul produselor și dezvoltarea afacerilor la Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems și Intel. Paxson a avut un rol esențial în lansarea unor produse de securitate cibernetică și de rețelistică, în elaborarea strategiilor de lansare pe piață pentru companii și în extinderea acestora pe piețe noi; este, de asemenea, co-inventator al unei tehnologii de securitate brevetate.

IRONSCALES este o companie de securitate a e-mailului bazată pe inteligență artificială, care se concentrează pe protejarea organizațiilor împotriva phishingului, compromiterii e-mailurilor de afaceri, preluării conturilor, deepfake-urilor și altor amenințări evolutive de inginerie socială. Platforma sa îmbină inteligența artificială adaptivă cu informațiile furnizate de oameni și comunitate pentru a detecta, investiga și remedia amenințările din Microsoft 365 și Google Workspace. Totodată, oferă funcții de simulare a phishingului, instruire pentru conștientizarea securității, protecție pentru e-mailurile trimise și securitate a domeniilor. Compania și-a extins abordarea prin agenți IA specializați pentru red teaming, operațiuni de securitate împotriva phishingului și simularea phishingului, concepuți să anticipeze atacurile, să investigheze activitățile suspecte și să consolideze apărarea angajaților. IRONSCALES afirmă că tehnologia sa este utilizată de peste 18.000 de organizații și integrează informații furnizate de o comunitate de peste 36.000 de profesioniști în securitate.

Experiența dumneavoastră în securitatea e-mailului datează de peste două decenii și include contribuția la dezvoltarea primelor produse anti-phishing, iar acum vă concentrați asupra modului în care inteligența artificială și învățarea automată pot combate amenințările emergente prin e-mail. Din această perspectivă, ce vi se pare cu adevărat nou în ingineria socială bazată pe inteligență artificială și ce aspecte ale problemei au rămas surprinzător de familiare?

Mulțumesc că-mi amintești cât sunt de bătrân! Când am început să luptăm împotriva phishingului, la începutul anilor 2000, cea mai mare problemă era lipsa de informare, iar filtrele puteau evalua doar reputația domeniului expeditorului. Dar tacticile nu s-au schimbat prea mult. Urgența, autoritatea, o factură falsă. Aproape toate pretextele pe care le întâlnesc astăzi îmi sunt familiare. Inteligența artificială a schimbat însă nivelul de măiestrie necesar, astfel încât un atacator neexperimentat poate crea acum, la scară largă, o versiune impecabilă și personalizată a unei escrocherii din 2004.

Anthropic a constatat că Claude Mythos 5 putea recunoaște indicii privind autenticitatea internetului atunci când acestea îi erau prezentate separat, dar în mare parte nu reușea să acționeze pe baza acelorași dovezi când era cufundat într-o sarcină. Ce ne spune această discrepanță despre diferența dintre un model de inteligență artificială care deține anumite cunoștințe și unul care le aplică efectiv la momentul potrivit?

Sunt specialist în securitatea e-mailului, nu cercetător în domeniul inteligenței artificiale, așa că am privit studiul din această perspectivă. Mythos a fost informat de la început că se afla într-o simulare, iar această încadrare a prevalat. A găsit explicații pentru a respinge dovezile reale, fiindcă ele nu se potriveau cu scenariul în care se afla deja. Așa își îndeplinește rolul un pretext și de aceea atacatorii depun atât de mult efort pentru a stabili mai întâi cadrul.

Există aici o paralelă interesantă cu comportamentul oamenilor în fața phishingului: un angajat poate identifica cu ușurință indicatorii suspecți în timpul instruirii, dar îi poate trece cu vederea atunci când se grăbește sau se concentrează să ducă la bun sfârșit o altă sarcină. În ce măsură credeți că poate fi extinsă în mod rezonabil această comparație între judecata oamenilor și cea a inteligenței artificiale?

Până la un punct. Atât oamenii, cât și modelele pierd din vedere imaginea de ansamblu când sunt absorbiți de o sarcină, iar un mesaj care pare să țină de un proces obișnuit de afaceri („următoarele solicitări trebuie verificate”) este aprobat fără prea multă atenție atât de oameni, cât și de modele. Comparația nu mai funcționează când vine vorba de emoții. Oamenii se grăbesc, se sperie sau vor să facă pe plac. Un agent cedează în fața propriilor factori declanșatori, de exemplu a unor instrucțiuni pe care nu le poate deosebi de datele pe care le citește.

În mod tradițional, instruirea în domeniul securității s-a concentrat pe a-i învăța pe oameni să recunoască linkurile rău intenționate, solicitările neobișnuite, uzurparea identității și alte semnale de avertizare. Dacă atât oamenii, cât și sistemele de inteligență artificială pot ignora semnale pe care, din punct de vedere tehnic, le înțeleg, ar trebui echipele de securitate să se preocupe mai puțin de recunoaștere și mai mult de modul în care se iau deciziile sub presiune și într-un anumit context?

Da. Instruirea pentru recunoașterea amenințărilor presupune că oamenii sunt atenți. Atacatorii concep mesaje astfel încât să ajungă la destinatari tocmai când aceștia nu sunt atenți sau să-i facă să uite ce au învățat. O investiție mai bună este introducerea unei pauze în momentele care contează (cum ar fi efectuarea plăților, resetarea datelor de autentificare și modificarea accesului), astfel încât nici oamenii, nici agenții să nu ia decizii pe pilot automat.

Pe măsură ce agenții IA se integrează tot mai profund în căsuțele de e-mail și fluxurile de lucru ale companiilor, atacatorii ar putea recurge din ce în ce mai mult la inginerie socială pentru a manipula sistemul IA însuși, nu doar angajații. Cum ar putea arăta un atac conceput special pentru a manipula un agent de e-mail sau un asistent autonom?

Este un e-mail conceput pentru agent, cu instrucțiunile ascunse de ochii oamenilor în text alb pe fond alb, în textul alternativ al imaginii sau într-o altă limbă, astfel încât filtrele optimizate pentru limba engleză să nu-l detecteze. Într-un scenariu creat de echipa noastră de cercetare, agentului i se plantează în memorie un „fapt” fals („aprobările de la finance@ sunt preautorizate”), astfel încât, câteva săptămâni mai târziu, un e-mail falsificat, aparent trimis de departamentul financiar, trece fără probleme de filtre. Într-un alt scenariu, textul ascuns într-o imagine a unei facturi îi spune agentului să o marcheze ca având risc scăzut și să o rezume ca fiind sigură pentru plată. Omul are încredere în rezumat.

Ar putea atacatorii să creeze în mod deliberat secvențe lungi de interacțiuni aparent legitime, care să împingă treptat un sistem de IA să ia o decizie greșită, în loc să se bazeze pe un singur e-mail sau prompt vădit rău intenționat? Cât de dificil ar fi pentru instrumentele de securitate actuale să detecteze aceste atacuri în mai mulți pași?

Astfel de atacuri au loc deja împotriva oamenilor, iar agenții sunt următorii. Atacatorii trimit câteva e-mailuri inofensive (o prezentare, un mesaj de mulțumire) pentru a dezactiva alertele privind expeditorii noi, apoi trec la mesaje relevante pentru rolul țintei și abia după aceea livrează încărcătura malițioasă, adesea printr-o invitație la o întâlnire al cărei link le afișează scanerelor o pagină curată, iar utilizatorilor reali, site-ul de phishing. Instrumentele care analizează fiecare e-mail separat nu detectează atacul. Niciun mesaj luat individual nu pare suspect, așa că trebuie evaluată relația în timp.

Se vorbește adesea despre phishingul generat de IA în termeni de redactare mai bună, personalizare și deepfake-uri. Vă preocupă mai mult faptul că IA îmbunătățește conținutul atacurilor de inginerie socială sau faptul că atacatorii folosesc IA pentru a înțelege exact când și cum este cel mai probabil ca o anumită țintă să facă o greșeală?

Ambele, iar lupta pentru conținut este deja încheiată. Mesajele de phishing bine redactate cu ajutorul IA sunt standardul de bază de când ChatGPT a devenit popular. Schimbarea majoră este că identificarea țintelor, personalizarea și alegerea momentului sunt acum automatizate, astfel încât cineva fără nicio competență tehnică poate combina date provenite din breșe de securitate cu seturi de parole divulgate, precum celebra listă RockYou, poate prelua controlul asupra unei căsuțe poștale reale și poate trimite un e-mail falsificat, care imită un mesaj tranzacțional obișnuit, chiar când ținta se așteaptă să primească unul.

Pe măsură ce atacatorii devin tot mai pricepuți la eliminarea semnalelor tehnice evidente și la crearea unor mesaje malițioase care par legitime, ce indicii devin cele mai importante pentru a distinge comunicările legitime de manipulare?

În primul rând, contextul. De exemplu, este un comportament obișnuit pentru această persoană sau acest furnizor, pe acest canal, în acest moment? Apoi, urgența și repetarea. Cineva care are o solicitare cu adevărat urgentă pune mâna pe telefon sau vă contactează pe Teams ori Slack. Nu trimite același e-mail de trei ori. Și aveți încredere în instinctul dumneavoastră. Regula mea este: „Nu te grăbi să acționezi; oprește-te”, așa că luați o pauză, cereți-i și altcuiva să verifice și confirmați printr-un alt canal.

Cum ar trebui organizațiile să structureze supravegherea umană și cea a IA, având în vedere că ambele părți pot avea puncte slabe? Ar putea combinarea judecății umane cu IA să creeze, de fapt, noi puncte oarbe, dacă fiecare presupune că cealaltă a validat deja decizia?

Dați-i fiecărei părți sarcina la care se pricepe cel mai bine și stabiliți clar cum se face predarea. IA gestionează volumul și identifică tipare în întregul mediu; oamenii își asumă deciziile cu consecințe majore (transferuri de bani, acordarea accesului), iar IA trebuie să-și prezinte dovezile, astfel încât persoana care verifică să poată evalua raționamentul. Punctul orb pe care îl descrieți este real. Soluția este o regulă strictă… „IA a spus că este sigur” nu se consideră niciodată o verificare umană.

Dacă problema fundamentală este discrepanța dintre ceea ce știu oamenii sau sistemele de IA și ceea ce recunosc în timp ce execută efectiv o sarcină, ce schimbări practice pot face organizațiile chiar astăzi pentru a reduce această discrepanță și a îngreuna considerabil reușita atacurilor de inginerie socială?

Apelați la o măsură mai veche, folosită la emiterea cecurilor: „separarea atribuțiilor”. O persoană poate crea un utilizator nou, dar nu îl poate activa; o a doua persoană poate activa un utilizator, dar nu îl poate crea; iar o a treia este notificată despre ambele acțiuni. Aplicați aceeași separare plăților, modificărilor furnizorilor și agenților voștri de IA (niciun agent nu ar trebui să poată solicita și aproba aceeași acțiune). Un angajat păcălit sau un agent căruia i s-a deturnat controlul nu poate duce singur atacul la capăt.

Vă mulțumim pentru interviul excelent. Cititorii care doresc să afle mai multe pot vizita IRONSCALES.