Audian Paxson, ledende teknisk strateg hos IRONSCALES – interviewserie

Audian Paxson, ledende teknisk strateg hos IRONSCALES, er en erfaren profil inden for cybersikkerhed og produktstrategi med mere end to årtiers erfaring inden for e-mailsikkerhed, trusselsdetektion, netværk og virksomhedsteknologi. Hos IRONSCALES fokuserer han på produktlanceringer, budskaber og positionering, markedsstrategi samt faglig opinionsdannelse om brugen af kunstig intelligens og maskinlæring til at imødegå nye trusler mod e-mailsikkerheden. Hans karriere omfatter ledende roller inden for produktledelse, produktmarkedsføring og forretningsudvikling hos Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems og Intel. Paxson har spillet en central rolle i lanceringen af cybersikkerheds- og netværksprodukter, udviklingen af markedsstrategier for virksomheder og udvidelsen af virksomheder til nye markeder. Han er desuden medopfinder af patenteret sikkerhedsteknologi.

IRONSCALES er en virksomhed inden for AI-drevet e-mailsikkerhed, der har fokus på at beskytte organisationer mod phishing, kompromittering af virksomheders e-mailkonti, kontoovertagelse, deepfakes og andre trusler inden for social engineering, som hele tiden udvikler sig. Platformen kombinerer adaptiv AI med menneskelig ekspertise og efterretninger fra fællesskabet for at opdage, undersøge og afværge trusler på tværs af Microsoft 365 og Google Workspace. Den tilbyder også funktioner til phishing-simulering, sikkerhedsbevidsthedstræning, beskyttelse af udgående e-mails og domænesikkerhed. Virksomheden har udvidet sin tilgang med specialiserede AI-agenter til red teaming, sikkerhedsarbejde mod phishing og phishing-simulering. Agenterne er udviklet til at forudse angreb, undersøge mistænkelig aktivitet og styrke medarbejdernes forsvar. IRONSCALES oplyser, at teknologien bruges af mere end 18.000 organisationer og bygger på efterretninger, som bidrages med af et fællesskab på mere end 36.000 sikkerhedsprofessionelle.

Du har arbejdet med e-mailsikkerhed i mere end to årtier, blandt andet med at udvikle nogle af de tidlige anti-phishing-produkter, og fokuserer nu på, hvordan AI og maskinlæring kan imødegå nye trusler via e-mail. Set fra det perspektiv: Hvad føles oprigtigt nyt ved AI-drevet social engineering, og hvilke dele af problemet er på overraskende velkendt vis forblevet de samme?

Tak, fordi du minder mig om, hvor gammel jeg er! Da vi begyndte at bekæmpe phishing i begyndelsen af 2000’erne, var det største problem manglende opmærksomhed, og filtre kunne kun vurdere afsenderens domænes omdømme. Men metoderne har ikke ændret sig ret meget. Tidspres, autoritet, en falsk faktura. Jeg genkender næsten alle de påskud, jeg støder på i dag. Det, AI har ændret, er, hvor stor en håndværksmæssig kunnen der kræves. Nu kan en uerfaren angriber i stor skala fremstille en fejlfri, personliggjort udgave af et fupnummer fra 2004.

Anthropic fandt, at Claude Mythos 5 kunne genkende tegn på det virkelige internet, når disse signaler blev præsenteret uafhængigt, men i vid udstrækning ikke handlede på de samme beviser, når modellen var opslugt af en opgave. Hvad fortæller denne forskel os om forskellen mellem, at en AI-model besidder viden, og at den faktisk anvender den på det rette tidspunkt?

Jeg arbejder med e-mailsikkerhed, ikke som AI-forsker, så jeg læser det med de briller på. Mythos fik fra starten at vide, at det befandt sig i en simulering, og den indramning vandt. Modellen bortforklarede reelle beviser, fordi de ikke passede ind i den fortælling, den allerede var en del af. Sådan virker et påskud, og derfor gør angribere sig så umage for at sætte rammerne først.

Her er en interessant parallel til menneskers adfærd ved phishing: En medarbejder kan let genkende mistænkelige tegn under træning, men overse de samme tegn, når vedkommende har travlt eller er fokuseret på at udføre en anden opgave. Hvor langt mener du, at man med rimelighed kan drage sammenligningen mellem menneskers og AI’s dømmekraft?

Til en vis grad. Begge mister overblikket, når de er opslugt af en opgave, og både mennesker og modeller lader en besked, der ligner en rutinemæssig forretningsproces (“følgende krav skal gennemgås”), passere. Sammenligningen holder ikke, når det gælder følelser. Mennesker bliver pressede, bange eller ivrige efter at behage andre. En agent fejler på grund af sine egne udløsende faktorer, for eksempel instruktioner, den ikke kan skelne fra de data, den læser.

Sikkerhedstræning har traditionelt fokuseret på at lære folk at genkende ondsindede links, usædvanlige anmodninger, efterligning af andre og andre advarselstegn. Hvis både mennesker og AI-systemer kan overse signaler, de rent teknisk forstår, bør sikkerhedsteams så fokusere mindre på genkendelse og mere på, hvordan beslutninger træffes under pres og i en bestemt sammenhæng?

Ja. Træning i genkendelse forudsætter, at folk er opmærksomme. Angribere udformer beskeder, så de rammer, når folk ikke er opmærksomme, eller får dem til at glemme deres træning. En bedre investering er at indbygge en pause i de afgørende situationer – for eksempel ved betalinger, nulstilling af loginoplysninger og ændringer af adgangsrettigheder – så hverken en person eller en agent træffer beslutningen på autopilot.

Efterhånden som AI-agenter bliver mere integreret i indbakker og virksomheders arbejdsgange, vil angribere muligvis i stigende grad kunne manipulere selve AI-systemet med social engineering i stedet for kun medarbejderen. Hvordan kunne et angreb, der specifikt er udformet til at manipulere en e-mailagent eller en autonom assistent, se ud?

Det er en e-mail skrevet til agenten, hvor instruktionerne er skjult for mennesket i hvid tekst på hvid baggrund, i billeders alternativtekst eller på et andet sprog, så filtre, der er tilpasset engelsk, overser dem. I et scenarie, som vores researchteam udviklede, indlejres en falsk »kendsgerning« i agentens hukommelse (»godkendelser fra finance@ er forhåndsgodkendt«), så en forfalsket e-mail fra økonomiafdelingen flere uger senere slipper uhindret igennem. En anden variant skjuler tekst i et fakturabillede, der instruerer agenten i at markere fakturaen som lavrisiko og opsummere den som sikker at betale. Mennesket stoler på opsummeringen.

Kan angribere bevidst skabe lange forløb af tilsyneladende legitime interaktioner, der gradvist får et AI-system til at træffe en dårlig beslutning, i stedet for at satse på en enkelt, åbenlyst ondsindet e-mail eller prompt? Hvor vanskelige vil sådanne flertrinsangreb være for nutidens sikkerhedsværktøjer at opdage?

Det sker allerede for mennesker, og agenterne står for tur. Angribere sender nogle få harmløse e-mails (en introduktion, en tak) for at få advarsler om førstegangssendere til at forsvinde. Derefter går de over til beskeder, der er relevante for målets rolle, og først da leverer de selve angrebet, ofte via en mødeinvitation, hvis link viser scannerne en ren side, men fører rigtige brugere til et phishingwebsted. Værktøjer, der vurderer hver e-mail isoleret, overser det. Ingen enkelt besked ser mistænkelig ud, så man er nødt til at vurdere relationen over tid.

AI-genereret phishing omtales ofte med fokus på bedre formuleringer, personalisering og deepfakes. Er du mere bekymret for, at AI forbedrer indholdet i social engineering-angreb, eller for, at angribere bruger AI til at finde ud af præcis, hvornår og hvordan et bestemt mål har størst sandsynlighed for at begå en fejl?

Begge dele, og kampen om indholdet er allerede afgjort. Polerede phishingbeskeder skrevet med AI har været standarden, siden ChatGPT blev allemandseje. Den større forandring er, at målretning, personalisering og timing nu er automatiseret, så en person uden tekniske færdigheder kan kombinere data fra databrud med lækkede adgangskodelister som den berygtede RockYou-liste, overtage en rigtig mailkonto og sende en forfalsket udgave af en rutinemæssig transaktionsmail netop på det tidspunkt, hvor målet forventer en sådan.

Efterhånden som angribere bliver bedre til at fjerne tydelige tekniske advarselstegn og få ondsindede beskeder til at fremstå legitime, hvilke signaler bliver så vigtigst for at skelne legitim kommunikation fra manipulation?

Konteksten kommer først. Er det for eksempel normalt for denne person eller leverandør at skrive via denne kanal på dette tidspunkt? Derefter kommer hastværk og gentagelser. En person med en virkelig presserende henvendelse ringer eller sender dig en besked på Teams eller Slack. Vedkommende sender ikke den samme e-mail tre gange. Og stol på din mavefornemmelse. Min regel er: »Lad være med bare at gøre noget – stå stille«, så hold en pause, få et ekstra sæt øjne på sagen, og bekræft den via en anden kanal.

Hvordan bør organisationer tilrettelægge menneskelig kontrol og AI-kontrol, når begge parter kan have svagheder? Kan kombinationen af menneskelig dømmekraft og AI faktisk skabe nye blinde vinkler, hvis hver part går ud fra, at den anden allerede har valideret beslutningen?

Lad hver part udføre den opgave, den er bedst til, og gør overdragelsen tydelig. AI håndterer store mængder og opdager mønstre på tværs af hele miljøet; mennesker har ansvaret for beslutninger med store konsekvenser (at overføre penge, give adgang), og AI skal fremlægge sit grundlag, så den, der gennemgår beslutningen, kan kontrollere ræsonnementet. Den blinde vinkel, du beskriver, er reel. Løsningen er en klar regel… »At AI siger, at noget er sikkert,« tæller aldrig som menneskelig gennemgang.

Hvis det grundlæggende problem er en kløft mellem det, mennesker eller AI-systemer ved, og det, de opdager, mens de udfører en opgave, hvilke praktiske ændringer kan organisationer så gennemføre allerede i dag for at mindske kløften og gøre det betydeligt sværere at gennemføre social engineering med held?

Tag en gammel kontrol i brug, som vi brugte ved udstedelse af checks: »funktionsadskillelse«. Én person kan oprette en ny bruger, men ikke aktivere den; en anden person kan aktivere en bruger, men ikke oprette en; og en tredje får besked om begge dele. Indfør den samme adskillelse i betalinger, ændringer af leverandøroplysninger og jeres AI-agenter (ingen agent bør både kunne anmode om og godkende en handling). Én narret medarbejder eller én kapret agent kan ikke gennemføre angrebet alene.

Tak for et godt interview. Læsere, der ønsker at vide mere, kan besøge IRONSCALES.