Audian Paxson, senior teknisk strateg på IRONSCALES – intervjuserie

Audian Paxson, senior teknisk strateg på IRONSCALES, är en erfaren profil inom cybersäkerhet och produktstrategi med mer än två decenniers erfarenhet av e-postsäkerhet, hotdetektering, nätverk och företagsteknik. På IRONSCALES fokuserar han på produktlanseringar, budskap och positionering, marknadsstrategi samt opinionsbildning kring hur artificiell intelligens och maskininlärning kan användas för att hantera nya hot mot e-postsäkerheten. Under sin karriär har han haft ledande roller inom produktledning, produktmarknadsföring och affärsutveckling på Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems och Intel. Paxson har haft en nyckelroll i lanseringen av cybersäkerhets- och nätverksprodukter, utvecklingen av marknadsstrategier för företag och expansionen av företag till nya marknader. Han är också meduppfinnare till patenterad säkerhetsteknik.

IRONSCALES är ett företag inom AI-driven e-postsäkerhet som fokuserar på att skydda organisationer mot nätfiske, företagsrelaterad e-postkompromettering, kontokapning, deepfakes och andra social engineering-hot i ständig utveckling. Plattformen kombinerar adaptiv AI med mänsklig kompetens och underrättelser från nätverket för att upptäcka, utreda och åtgärda hot i Microsoft 365 och Google Workspace. Den erbjuder också funktioner för nätfiskesimulering, utbildning i säkerhetsmedvetenhet, skydd av utgående e-post och domänsäkerhet. Företaget har vidareutvecklat sitt arbetssätt med specialiserade AI-agenter för red teaming, säkerhetsarbete mot nätfiske och nätfiskesimulering. De är utformade för att förutse attacker, utreda misstänkt aktivitet och stärka medarbetarnas försvar. IRONSCALES uppger att tekniken används av fler än 18 000 organisationer och bygger på underrättelser från en grupp på över 36 000 säkerhetsexperter.

Ditt arbete med e-postsäkerhet sträcker sig mer än två decennier tillbaka. Du har bland annat varit med och utvecklat tidiga produkter mot nätfiske och fokuserar nu på hur AI och maskininlärning kan hantera nya hot mot e-postsäkerheten. Med det perspektivet, vad känns verkligen nytt med AI-driven social engineering, och vilka delar av problemet är förvånansvärt välbekanta?

Tack för att du får mig att känna mig gammal! När vi började bekämpa nätfiske i början av 2000-talet var det största problemet bristande medvetenhet, och filtren kunde bara bedöma avsändarens domänrykte. Men taktiken har inte förändrats särskilt mycket. Brådska, auktoritet, en falsk faktura. Jag känner igen nästan alla förevändningar jag ser i dag. Det AI har förändrat är tröskeln för att skapa övertygande material, så en oerfaren angripare kan nu i stor skala ta fram en felfri, personanpassad version av en bluff från 2004.

Anthropic upptäckte att Claude Mythos 5 kunde känna igen tecken på det verkliga internet när dessa signaler presenterades var för sig, men i stort sett inte agerade utifrån samma belägg när modellen var mitt uppe i en uppgift. Vad säger den här skillnaden om skillnaden mellan att en AI-modell har kunskap och att den faktiskt tillämpar den vid rätt tillfälle?

Jag arbetar med e-postsäkerhet, inte med AI-forskning, så jag läser det ur det perspektivet. Mythos fick veta från början att det befann sig i en simulering, och den inramningen vann. Modellen bortförklarade verkliga belägg eftersom de inte passade in i berättelsen den redan befann sig i. Det är en förevändning som gör sitt jobb, och därför anstränger sig angripare så mycket för att sätta ramarna först.

Här finns en intressant parallell till hur människor agerar vid nätfiske: en medarbetare kan lätt känna igen misstänkta tecken under en utbildning men förbise samma tecken när hen har bråttom eller är fokuserad på att slutföra en annan uppgift. Hur långt tycker du att jämförelsen mellan mänskligt och AI-baserat omdöme rimligen kan dras?

Till en viss gräns. Båda kan tappa tråden när de är helt uppslukade av en uppgift, och ett meddelande som ser ut som en rutinmässig affärsprocess (”följande anspråk behöver granskas”) släpps igenom av både människor och modeller. Jämförelsen håller inte när det gäller känslor. Människor blir stressade, rädda eller angelägna om att vara till lags. En agent fallerar på grund av sina egna utlösande faktorer, till exempel instruktioner som den inte kan skilja från de data den läser.

Säkerhetsutbildningar har traditionellt fokuserat på att lära människor känna igen skadliga länkar, ovanliga förfrågningar, identitetsförfalskning och andra varningstecken. Om både människor och AI-system kan bortse från signaler som de rent tekniskt förstår, bör säkerhetsteam då lägga mindre vikt vid igenkänning och mer vid hur beslut fattas under press och i ett visst sammanhang?

Ja. Utbildning i att känna igen hot förutsätter att människor är uppmärksamma. Angripare utformar meddelanden så att de når fram när människor inte är det, eller får dem att glömma vad de lärt sig. En bättre investering är att bygga in en paus vid de viktiga tillfällena (som betalningar, återställning av inloggningsuppgifter och ändringar av åtkomst), så att varken en människa eller en agent fattar beslutet på autopilot.

I takt med att AI-agenter integreras allt djupare i inkorgar och arbetsflöden inom företag kan angripare i allt större utsträckning försöka manipulera själva AI-systemet i stället för enbart medarbetaren. Hur skulle en attack som särskilt utformats för att manipulera en e-postagent eller en autonom assistent kunna se ut?

Det är ett mejl skrivet för agenten, med instruktioner som döljs för människan i vit text på vit bakgrund, i bilders alt-text eller på ett annat språk, så att filter som är anpassade för engelska missar dem. I ett scenario som vårt forskningsteam byggde planterar man ett falskt ”faktum” i agentens minne (”godkännanden från finance@ är förhandsgodkända”), så att ett förfalskat mejl från ekonomiavdelningen slinker igenom flera veckor senare. I ett annat göms text i en fakturabild, där agenten uppmanas att markera den som lågrisk och sammanfatta den som säker att betala. Människan litar på sammanfattningen.

Kan angripare medvetet skapa långa sekvenser av interaktioner som verkar legitima och som gradvis får ett AI-system att fatta ett dåligt beslut, i stället för att förlita sig på ett enda uppenbart skadligt mejl eller en skadlig prompt? Hur svårt skulle det vara för dagens säkerhetsverktyg att upptäcka sådana attacker i flera steg?

Det händer redan människor, och agenter står näst på tur. Angripare skickar några harmlösa mejl (en presentation, ett tack) för att få varningar om förstagångsavsändare att sluta visas, går sedan över till meddelanden som är relevanta för målets roll och levererar först därefter själva angreppet, ofta i form av en mötesinbjudan vars länk visar en ofarlig sida för skannrarna men nätfiskesidan för riktiga användare. Verktyg som bedömer varje mejl isolerat missar det här. Inget enskilt meddelande verkar skadligt, så man måste bedöma relationen över tid.

AI-genererat nätfiske diskuteras ofta utifrån bättre formuleringar, personalisering och deepfakes. Är du mer oroad över att AI förbättrar innehållet i social engineering-attacker, eller över att angripare använder AI för att förstå exakt när och hur ett visst mål sannolikt kommer att göra ett misstag?

Både och, och kampen om innehållet är redan avgjord. Välformulerat nätfiske skrivet med AI har varit standard sedan ChatGPT slog igenom brett. Den större förändringen är att målinriktning, personalisering och tajming nu automatiseras, så att någon helt utan tekniska kunskaper kan kombinera uppgifter från dataintrång med lösenordsläckor som den ökända RockYou-listan, ta över en riktig inkorg och skicka ett förfalskat mejl som liknar ett rutinmässigt transaktionsmejl precis när målet väntar sig ett sådant.

När angripare blir bättre på att ta bort uppenbara tekniska varningssignaler och få skadliga meddelanden att verka legitima, vilka signaler blir då viktigast för att skilja legitim kommunikation från manipulation?

Sammanhanget kommer först. Är det här till exempel normalt för den här personen eller leverantören, i den här kanalen och vid den här tidpunkten? Därefter kommer brådska och upprepning. Den som verkligen har ett brådskande ärende ringer eller kontaktar dig på Teams eller Slack. Hen skickar inte samma mejl tre gånger. Och lita på magkänslan. Min regel är: ”Gör inte bara något – stanna upp.” Ta en paus, be någon annan granska saken och verifiera den via en annan kanal.

Hur bör organisationer utforma mänsklig tillsyn och AI-övervakning när båda sidorna kan ha svagheter? Kan en kombination av mänskligt omdöme och AI faktiskt skapa nya blinda fläckar om parterna utgår från att den andra redan har kontrollerat beslutet?

Ge varje part de uppgifter den är bäst lämpad för och gör överlämningen tydlig. AI hanterar stora volymer och upptäcker mönster i hela miljön; människor ansvarar för beslut med stora konsekvenser (att flytta pengar eller bevilja åtkomst), och AI måste visa sina belägg så att granskaren kan kontrollera resonemanget. Den blinda fläck du beskriver finns på riktigt. Lösningen är en fast regel: … ”AI:n sa att det är säkert” räknas aldrig som mänsklig granskning.

Om grundproblemet är en klyfta mellan vad människor eller AI-system vet och vad de uppmärksammar medan de utför en uppgift, vilka praktiska förändringar kan organisationer göra redan i dag för att minska den klyftan och göra det betydligt svårare att lyckas med social engineering?

Återinför en gammal kontroll som användes när man skrev checkar: ”åtskillnad av arbetsuppgifter”. En person kan skapa en ny användare men inte aktivera den, en andra person kan aktivera en användare men inte skapa en, och en tredje får aviseringar om båda åtgärderna. Inför samma uppdelning för betalningar, ändringar av leverantörer och era AI-agenter (ingen agent bör både begära och godkänna en åtgärd). En lurad medarbetare eller en kapad agent kan inte genomföra attacken på egen hand.

Tack för en givande intervju! Läsare som vill veta mer kan besöka IRONSCALES.