Audian Paxson, hlavní technický stratég ve společnosti IRONSCALES – série rozhovorů

Audian Paxson, hlavní technický stratég ve společnosti IRONSCALES, je zkušený odborník na kybernetickou bezpečnost a produktovou strategii s více než dvacetiletou praxí v oblasti zabezpečení e-mailu, detekce hrozeb, síťových technologií a podnikových technologií. Ve společnosti IRONSCALES se zaměřuje na uvádění produktů na trh, jejich komunikaci a pozicování, strategii vstupu na trh a odborné vedení diskuse o využití umělé inteligence a strojového učení při řešení nových hrozeb v oblasti zabezpečení e-mailu. Během své kariéry zastával vedoucí pozice v produktovém managementu, produktovém marketingu a rozvoji podnikání ve společnostech Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems a Intel. Paxson sehrál klíčovou roli při uvádění produktů pro kybernetickou bezpečnost a síťové technologie na trh, při vytváření strategií vstupu na podnikový trh a při rozšiřování působnosti společností na nové trhy. Je také spoluautorem patentované bezpečnostní technologie.

IRONSCALES je společnost zaměřená na zabezpečení e-mailu s využitím umělé inteligence, jejímž cílem je chránit organizace před phishingem, kompromitací firemní e-mailové komunikace, převzetím účtů, deepfake podvrhy a dalšími vyvíjejícími se hrozbami založenými na sociálním inženýrství. Její platforma kombinuje Adaptive AI s lidskou a komunitní inteligencí, aby dokázala detekovat, vyšetřovat a odstraňovat hrozby v prostředích Microsoft 365 a Google Workspace. Zároveň nabízí funkce pro simulaci phishingu, školení bezpečnostního povědomí, ochranu odchozí e-mailové komunikace a zabezpečení domén. Společnost svůj přístup rozšířila o specializované agenty umělé inteligence pro red teaming, bezpečnostní operace zaměřené na phishing a simulaci phishingu. Jejich úkolem je předvídat útoky, vyšetřovat podezřelou aktivitu a posilovat obranyschopnost zaměstnanců. IRONSCALES uvádí, že její technologie se používá ve více než 18 000 organizacích a čerpá z poznatků, o které se podělila komunita čítající více než 36 000 odborníků na bezpečnost.

V oblasti zabezpečení e-mailu působíte už více než dvě desetiletí. Podílel jste se mimo jiné na vývoji prvních produktů proti phishingu a dnes se zaměřujete na to, jak mohou umělá inteligence a strojové učení pomoci řešit nové e-mailové hrozby. Co vám z této perspektivy připadá na sociálním inženýrství využívajícím umělou inteligenci skutečně nové a které stránky tohoto problému zůstaly překvapivě stejné?

Díky, že mi připomínáte, jak jsem starý! Když jsme na začátku nultých let začali bojovat proti phishingu, největším problémem bylo povědomí o hrozbách a filtry dokázaly posuzovat pouze reputaci domény odesílatele. Taktiky se ale příliš nezměnily. Naléhavost, autorita, falešná faktura. Téměř všechny záminky, na které dnes narazím, poznávám. Umělá inteligence změnila náročnost tvorby: i nezkušený útočník teď dokáže ve velkém vytvářet bezchybné, personalizované verze podvodů z roku 2004.

Anthropic zjistil, že Claude Mythos 5 dokázal rozpoznat známky skutečného internetu, když mu byly tyto signály předloženy samostatně, ale při plnění úkolu se stejnými důkazy ve velké míře nedokázal řídit. Co nám tento rozdíl říká o rozdílu mezi tím, když model umělé inteligence nějakou znalost má, a tím, když ji dokáže ve správnou chvíli skutečně uplatnit?

Jsem odborník na zabezpečení e-mailu, ne výzkumník v oblasti umělé inteligence, takže se na to dívám z této perspektivy. Mythosu předem řekli, že se nachází v simulaci, a tento rámec převážil. Skutečné důkazy si vyložil tak, že je mohl odmítnout, protože nezapadaly do příběhu, ve kterém se už nacházel. Právě tak funguje záminka – a proto se útočníci tolik snaží nastavit rámec jako první.

Je tu zajímavá paralela s chováním lidí při phishingových útocích: zaměstnanec může při školení snadno rozpoznat podezřelé signály, ale přehlédnout tytéž signály, když spěchá nebo se soustředí na dokončení jiného úkolu. Nakolik lze podle vás srovnání mezi úsudkem lidí a umělé inteligence oprávněně vztáhnout na obě strany?

Do určité míry. Když se oba plně soustředí na nějaký úkol, ztrácejí přehled, a zpráva, která vypadá jako běžný pracovní proces (“následující požadavky je třeba zkontrolovat”), projde bez povšimnutí lidem i modelům. Srovnání přestává platit, když jde o emoce. Lidé jsou ve stresu, dostanou strach nebo se chtějí zavděčit. Agent selhává kvůli vlastním spouštěcím mechanismům, například kvůli pokynům, které nedokáže odlišit od dat, jež čte.

Školení v oblasti bezpečnosti se tradičně zaměřovalo na to, aby se lidé naučili rozpoznávat škodlivé odkazy, neobvyklé požadavky, vydávání se za jinou osobu a další varovné signály. Pokud mohou lidé i systémy umělé inteligence přehlížet signály, kterým teoreticky rozumějí, měly by bezpečnostní týmy věnovat méně pozornosti rozpoznávání a více tomu, jak se rozhoduje pod tlakem a v konkrétním kontextu?

Ano. Školení zaměřené na rozpoznávání předpokládá, že lidé dávají pozor. Útočníci navrhují zprávy tak, aby je zastihly ve chvíli, kdy pozornost nemají, nebo aby kvůli nim na školení zapomněli. Lepší investicí je zabudovat krátkou pauzu do situací, na kterých záleží (například při platbách, resetování přihlašovacích údajů nebo změnách přístupových oprávnění), aby ani člověk, ani agent nerozhodoval automaticky.

Jak se agenti umělé inteligence stále hlouběji začleňují do e-mailových schránek a podnikových pracovních postupů, útočníci mohou stále častěji sociálním inženýrstvím manipulovat přímo se systémem umělé inteligence, nikoli pouze se zaměstnancem. Jak by mohl vypadat útok, jehož cílem by bylo konkrétně zmanipulovat e-mailového agenta nebo autonomního asistenta?

Jde o e-mail napsaný pro agenta, v němž jsou pokyny skryté před člověkem — například bílým textem na bílém pozadí, v alternativním textu obrázku nebo v jiném jazyce — aby je filtry vyladěné na angličtinu přehlédly. V jednom scénáři, který náš výzkumný tým vytvořil, se do paměti agenta vloží nepravdivá „skutečnost“ („schválení z adresy finance@ jsou předem autorizována“), takže podvržený e-mail z oddělení financí o několik týdnů později bez problémů projde. V jiném případě je text ukrytý v obrázku faktury a agentovi přikazuje označit ji jako málo rizikovou a shrnout ji tak, že je bezpečné ji zaplatit. Člověk tomuto shrnutí důvěřuje.

Mohou útočníci záměrně vytvářet dlouhé řetězce zdánlivě legitimních interakcí, které postupně přimějí systém AI ke špatnému rozhodnutí, místo aby spoléhali na jediný zjevně škodlivý e-mail nebo pokyn? Jak obtížné by bylo tyto vícestupňové útoky odhalit pomocí dnešních bezpečnostních nástrojů?

Takové útoky už se zaměřují na lidi a na řadě jsou agenti. Útočníci pošlou několik neškodných e-mailů (úvodní zprávu, poděkování), aby odstranili varovná označení pro prvního odesílatele, pak přejdou ke zprávám souvisejícím s rolí cílové osoby a teprve poté doručí škodlivý obsah — často prostřednictvím pozvánky na schůzku, jejíž odkaz skenerům zobrazí čistou stránku, ale skutečným uživatelům phishingový web. Nástroje, které posuzují každý e-mail samostatně, to přehlédnou. Žádná jednotlivá zpráva nevypadá podezřele, takže je třeba vyhodnocovat vztah v čase.

O phishingu vytvořeném pomocí AI se často mluví v souvislosti s kvalitnějším psaním, personalizací a deepfaky. Máte větší obavy z toho, že AI zlepšuje obsah útoků sociálního inženýrství, nebo z toho, že ji útočníci využívají k přesnému určení, kdy a jak konkrétní cíl nejspíš udělá chybu?

Obojí, ale boj o obsah už je rozhodnutý. Vyladěné phishingové zprávy napsané pomocí AI jsou běžným standardem od chvíle, kdy se ChatGPT dostal do hlavního proudu. Větší změnou je, že cílení, personalizace a načasování jsou nyní automatizované. I člověk bez jakýchkoli technických dovedností tak může zkombinovat údaje z úniků s uniklými hesly, jako jsou ty z nechvalně známého seznamu RockYou, převzít skutečnou e-mailovou schránku a odeslat podvrženou běžnou transakční zprávu přesně ve chvíli, kdy ji příjemce očekává.

Když útočníci stále lépe odstraňují zjevné technické varovné signály a dokážou škodlivé zprávy vydávat za legitimní, které signály jsou nejdůležitější pro rozlišení skutečné komunikace od manipulace?

Nejdřív je důležitý kontext. Je například taková komunikace pro danou osobu nebo dodavatele v tomto kanálu a v tuto chvíli obvyklá? Pak přichází na řadu naléhavost a opakování. Člověk se skutečně naléhavou žádostí vám zavolá nebo napíše přes Teams či Slack. Nepošle vám třikrát stejný e-mail. A důvěřujte své intuici. Moje pravidlo zní: „Nejednejte hned, nejprve se zastavte,“ takže se na chvíli odmlčte, požádejte někoho dalšího o názor a ověřte si informace jiným kanálem.

Jak by měly organizace nastavit lidský dohled nad AI a dohled AI nad lidmi, když obě strany mohou mít slabiny? Mohla by kombinace lidského úsudku a AI skutečně vytvořit nová slepá místa, pokud každá strana předpokládá, že ta druhá už rozhodnutí ověřila?

Každé straně svěřte úkol, který zvládá nejlépe, a jasně stanovte, jak si práci předávají. AI zpracovává velké objemy dat a odhaluje vzorce napříč celým prostředím; lidé rozhodují o záležitostech s vážnými důsledky (převodu peněz nebo udělení přístupu) a AI musí předložit podklady, aby kontrolující mohl posoudit její úsudek. Slepé místo, které popisujete, je skutečné. Řešením je jednoznačné pravidlo… „AI řekla, že je to bezpečné“ se nikdy nepovažuje za lidskou kontrolu.

Pokud je základním problémem rozdíl mezi tím, co lidé nebo systémy AI vědí, a tím, co dokážou rozpoznat při plnění úkolu, jaké praktické změny mohou organizace zavést už dnes, aby tento rozdíl zmenšily a výrazně ztížily úspěšné provádění útoků sociálního inženýrství?

Vraťme se ke starému kontrolnímu opatření, které jsme používali při vypisování šeků: „oddělení pravomocí“. Jeden člověk může vytvořit nového uživatele, ale nemůže ho aktivovat; druhý může uživatele aktivovat, ale nemůže ho vytvořit; třetí dostane oznámení o obou úkonech. Stejné rozdělení zaveďte u plateb, změn dodavatelů i svých agentů AI (žádný agent by neměl současně požadovat i schvalovat akci). Jediný oklamaný zaměstnanec ani jediný kompromitovaný agent nemohou útok dokončit sami.

Děkujeme za skvělý rozhovor. Čtenáři, kteří se chtějí dozvědět více, mohou navštívit stránky IRONSCALES.