Audian Paxson, stratega tecnico principale presso IRONSCALES – Serie di interviste

Audian Paxson, stratega tecnico principale presso IRONSCALES, è un veterano della cybersicurezza e della strategia di prodotto, con oltre vent’anni di esperienza nei settori della sicurezza delle email, del rilevamento delle minacce, delle reti e delle tecnologie aziendali. In IRONSCALES si occupa del lancio dei prodotti, della comunicazione e del posizionamento, della strategia di commercializzazione e della promozione di idee e competenze sull’impiego dell’intelligenza artificiale e dell’apprendimento automatico per contrastare le nuove minacce alla sicurezza delle email. Nel corso della sua carriera ha ricoperto ruoli dirigenziali nella gestione dei prodotti, nel marketing di prodotto e nello sviluppo commerciale presso Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems e Intel. Paxson ha svolto un ruolo chiave nel lancio di prodotti per la cybersicurezza e le reti, nello sviluppo di strategie di commercializzazione rivolte alle aziende e nell’espansione delle imprese in nuovi mercati; è inoltre co-inventore di una tecnologia di sicurezza brevettata.

IRONSCALES è un’azienda che offre sicurezza delle email basata sull’IA e si dedica alla protezione delle organizzazioni da phishing, compromissione della posta elettronica aziendale, presa di controllo degli account, deepfake e altre minacce di ingegneria sociale in continua evoluzione. La sua piattaforma combina Adaptive AI con l’intelligenza umana e quella della comunità per rilevare, analizzare e neutralizzare le minacce su Microsoft 365 e Google Workspace; offre inoltre funzionalità per la simulazione di phishing, la formazione sulla consapevolezza della sicurezza, la protezione della posta elettronica in uscita e la sicurezza dei domini. L’azienda ha ampliato il proprio approccio con agenti IA specializzati nel red teaming, nelle operazioni di sicurezza contro il phishing e nella simulazione di phishing, progettati per anticipare gli attacchi, analizzare le attività sospette e rafforzare le difese dei dipendenti. IRONSCALES dichiara che la sua tecnologia è utilizzata da oltre 18.000 organizzazioni e integra informazioni fornite da una comunità di oltre 36.000 professionisti della sicurezza.

La sua esperienza nella sicurezza delle email risale a oltre vent’anni fa: ha contribuito allo sviluppo dei primi prodotti antiphishing e oggi si concentra su come l’IA e l’apprendimento automatico possano contrastare le nuove minacce via email. Dalla sua prospettiva, che cosa c’è di davvero nuovo nell’ingegneria sociale basata sull’IA e quali aspetti del problema sono rimasti sorprendentemente familiari?

Grazie per avermi fatto sentire vecchio! Quando abbiamo iniziato a combattere il phishing, nei primi anni Duemila, il problema principale era la consapevolezza e i filtri potevano valutare soltanto la reputazione del dominio del mittente. Ma le tattiche non sono cambiate molto: urgenza, autorità, una fattura falsa. Riconosco quasi tutti i pretesti che incontro oggi. Ciò che l’IA ha cambiato è la soglia di abilità necessaria per realizzare questi attacchi: ora anche un aggressore inesperto può produrre su larga scala una versione impeccabile e personalizzata di una truffa del 2004.

Anthropic ha scoperto che Claude Mythos 5 era in grado di riconoscere i segnali di una connessione reale a Internet quando questi venivano presentati separatamente, ma per lo più non riusciva ad agire sulla base delle stesse prove mentre era immerso in un compito. Che cosa ci dice questa discrepanza sulla differenza tra il possedere conoscenze e il saperle applicare al momento opportuno?

Mi occupo di sicurezza delle email, non sono un ricercatore di IA, quindi ho letto lo studio da questa prospettiva. A Mythos era stato detto fin dall’inizio che si trovava in una simulazione, e quella cornice ha prevalso. Ha liquidato le prove reali perché non si adattavano alla storia in cui era già immerso. È un pretesto che funziona, ed è per questo che gli aggressori si impegnano tanto a definire prima la cornice.

C’è un interessante parallelismo con il comportamento delle persone di fronte al phishing: durante la formazione, un dipendente può individuare facilmente gli indicatori sospetti, ma trascurare quegli stessi segnali quando è di fretta o concentrato sul completamento di un altro compito. Fino a che punto ritiene che si possa spingere, in modo ragionevole, il confronto tra il giudizio umano e quello dell’IA?

Fino a un certo punto. Entrambi perdono di vista il quadro generale quando sono concentrati su un compito, e sia le persone sia i modelli possono lasciar passare un messaggio che sembra parte di una normale procedura aziendale (“le seguenti richieste devono essere esaminate”). Il parallelismo viene meno sul piano emotivo. Le persone possono sentirsi sotto pressione, spaventate o desiderose di compiacere. Un agente, invece, può fallire per via dei propri fattori scatenanti, come istruzioni che non riesce a distinguere dai dati che sta leggendo.

La formazione sulla sicurezza si è tradizionalmente concentrata sull’insegnare alle persone a riconoscere link dannosi, richieste insolite, tentativi di impersonificazione e altri segnali d’allarme. Se sia le persone sia i sistemi di IA possono ignorare segnali che tecnicamente comprendono, i team di sicurezza dovrebbero concentrarsi meno sul riconoscimento e di più sul modo in cui vengono prese le decisioni sotto pressione e in un determinato contesto?

Sì. La formazione sul riconoscimento presuppone che le persone prestino attenzione. Gli aggressori progettano messaggi che arrivano quando non lo fanno, o che le inducono a dimenticare quanto hanno imparato. È meglio investire nell’introdurre una pausa nei momenti decisivi (per esempio, in caso di pagamenti, reimpostazione delle credenziali o modifiche degli accessi), così che né una persona né un agente prendano decisioni in automatico.

Man mano che gli agenti di IA si integrano sempre più nelle caselle di posta e nei flussi di lavoro aziendali, gli aggressori potrebbero riuscire sempre più spesso a manipolare con l’ingegneria sociale il sistema di IA stesso, anziché limitarsi al dipendente. Come potrebbe essere un attacco progettato appositamente per manipolare un agente di posta elettronica o un assistente autonomo?

È un’e-mail scritta per l’agente, con istruzioni nascoste alla persona tramite testo bianco su sfondo bianco, testo alternativo delle immagini o un’altra lingua, così da eludere i filtri tarati sull’inglese. In uno scenario ideato dal nostro team di ricerca, viene inserito nella memoria dell’agente un «fatto» falso («le approvazioni provenienti da finance@ sono già autorizzate»), così che, settimane dopo, un’e-mail di un mittente che si spaccia per il reparto finanziario riesca a passare senza problemi. In un altro caso, il testo viene nascosto nell’immagine di una fattura e ordina all’agente di contrassegnarla come a basso rischio e di riassumerla dicendo che è sicuro pagarla. La persona si fida del riepilogo.

Gli aggressori potrebbero creare deliberatamente lunghe sequenze di interazioni apparentemente legittime, che spingono gradualmente un sistema di IA verso una decisione sbagliata, anziché affidarsi a una singola e-mail o a un singolo prompt palesemente malevolo? Quanto sarebbe difficile per gli strumenti di sicurezza attuali rilevare questi attacchi articolati in più fasi?

Succede già alle persone, e gli agenti sono i prossimi. Gli aggressori inviano alcune e-mail innocue (una presentazione, un ringraziamento) per disattivare gli avvisi relativi ai mittenti al primo contatto, poi passano a messaggi attinenti al ruolo della vittima e solo a quel punto inviano il contenuto malevolo, spesso un invito a una riunione il cui link mostra agli strumenti di scansione una pagina pulita e agli utenti reali il sito di phishing. Gli strumenti che valutano ogni e-mail isolatamente non se ne accorgono. Nessun singolo messaggio sembra sospetto, quindi bisogna valutare la relazione nel tempo.

Quando si parla di phishing generato dall’IA, spesso ci si concentra su una scrittura più efficace, sulla personalizzazione e sui deepfake. Vi preoccupa di più che l’IA migliori il contenuto degli attacchi di ingegneria sociale, o che gli aggressori la usino per capire esattamente quando e in che modo una determinata vittima ha più probabilità di commettere un errore?

Entrambe le cose, ma la battaglia sui contenuti è già finita. Il phishing ben confezionato e scritto dall’IA è lo standard da quando ChatGPT si è diffuso al grande pubblico. Il cambiamento più significativo è che ora la selezione dei bersagli, la personalizzazione e la scelta del momento sono automatizzate: così anche chi non ha alcuna competenza tecnica può combinare dati trafugati con elenchi di password rubate, come la famigerata lista RockYou, prendere il controllo di una vera casella di posta e inviare una copia contraffatta di una normale e-mail transazionale proprio quando la vittima se l’aspetta.

Man mano che gli aggressori diventano più bravi a eliminare i segnali tecnici d’allarme più evidenti e a far sembrare legittimi i messaggi malevoli, quali indizi diventano più importanti per distinguere le comunicazioni legittime dai tentativi di manipolazione?

Prima di tutto, il contesto. Per esempio: è normale che questa persona o questo fornitore comunichi così, su questo canale e in questo momento? Poi contano l’urgenza e la ripetizione. Chi ha una richiesta davvero urgente alza il telefono o ti contatta su Teams o Slack. Non invia tre volte la stessa e-mail. E fidati del tuo istinto. La mia regola è: «Non limitarti ad agire: fermati», quindi fai una pausa, chiedi a qualcun altro di dare un’occhiata e verifica attraverso un altro canale.

Come dovrebbero organizzare le aziende la supervisione umana e quella dell’IA, considerando che entrambe possono avere punti deboli? Combinare il giudizio umano con l’IA potrebbe creare nuovi punti ciechi se ciascuna parte presume che l’altra abbia già convalidato la decisione?

Assegnate a ciascuna parte il compito per cui è più adatta e definite chiaramente il passaggio di consegne. L’IA gestisce i grandi volumi e individua schemi ricorrenti nell’intero ambiente; alle persone spettano le decisioni con conseguenze rilevanti (trasferire denaro, concedere accessi), e l’IA deve mostrare gli elementi su cui si basa, così che chi esamina la decisione possa verificarne il ragionamento. Il punto cieco che descrivi esiste davvero. La soluzione è una regola inderogabile: «L’IA ha detto che è sicuro» non equivale mai a una revisione umana.

Se il problema fondamentale è la distanza tra ciò che le persone o i sistemi di IA sanno e ciò che riconoscono mentre svolgono un’attività, quali cambiamenti pratici possono introdurre oggi le aziende per ridurre questa distanza e rendere molto più difficile portare a termine con successo attacchi di ingegneria sociale?

Riprendete una vecchia misura di controllo usata per la compilazione degli assegni: la «separazione dei compiti». Una persona può creare un nuovo utente, ma non attivarlo; una seconda può attivare un utente, ma non crearlo; una terza riceve una notifica di entrambe le operazioni. Applicate la stessa separazione ai pagamenti, alle modifiche dei fornitori e ai vostri agenti di IA (nessun agente dovrebbe poter sia richiedere sia approvare un’azione). Un dipendente ingannato o un agente dirottato non può portare a termine l’attacco da solo.

Grazie per la splendida intervista. I lettori che desiderano saperne di più possono visitare IRONSCALES.