Audian Paxson, senior technisch strateeg bij IRONSCALES – interviewreeks

Audian Paxson, Principal Technical Strategist bij IRONSCALES, is een doorgewinterde expert op het gebied van cybersecurity en productstrategie, met meer dan twintig jaar ervaring op het gebied van e-mailbeveiliging, dreigingsdetectie, netwerken en bedrijfstechnologie. Bij IRONSCALES richt hij zich op productlanceringen, communicatie en positionering, go-to-marketstrategieën en thought leadership rond de inzet van kunstmatige intelligentie en machine learning om nieuwe dreigingen voor de e-mailbeveiliging aan te pakken. In zijn loopbaan vervulde hij seniorfuncties in productmanagement, productmarketing en bedrijfsontwikkeling bij Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems en Intel. Paxson speelde een belangrijke rol bij de lancering van cybersecurity- en netwerkproducten, de ontwikkeling van go-to-marketstrategieën voor bedrijven en de uitbreiding van bedrijven naar nieuwe markten. Daarnaast is hij mede-uitvinder van gepatenteerde beveiligingstechnologie.

IRONSCALES is een e-mailbeveiligingsbedrijf dat AI inzet en organisaties beschermt tegen phishing, zakelijke e-mailcompromittering, accountovernames, deepfakes en andere veranderende dreigingen door social engineering. Het platform combineert Adaptive AI met menselijke en collectieve inzichten om dreigingen in Microsoft 365 en Google Workspace te detecteren, onderzoeken en verhelpen. Daarnaast biedt het mogelijkheden voor phishingsimulaties, beveiligingsbewustzijnstraining, uitgaande e-mailbeveiliging en domeinbeveiliging. Het bedrijf heeft zijn aanpak uitgebreid met gespecialiseerde AI-agenten voor red teaming, phishingbeveiligingsactiviteiten en phishingsimulaties. Deze zijn ontworpen om aanvallen te voorzien, verdachte activiteiten te onderzoeken en de weerbaarheid van medewerkers te vergroten. IRONSCALES zegt dat zijn technologie door meer dan 18.000 organisaties wordt gebruikt en dat het platform inzichten verwerkt die zijn bijgedragen door een gemeenschap van meer dan 36.000 beveiligingsprofessionals.

Je werkt al meer dan twintig jaar aan e-mailbeveiliging. Zo hielp je bij de ontwikkeling van vroege antiphishingproducten en richt je je nu op de vraag hoe AI en machine learning nieuwe dreigingen via e-mail kunnen aanpakken. Wat is vanuit dat perspectief echt nieuw aan social engineering met AI, en welke aspecten van het probleem zijn verrassend vertrouwd gebleven?

Bedankt dat je me zo oud laat klinken! Toen we begin jaren 2000 phishing gingen bestrijden, was bewustwording het grootste probleem en konden filters alleen de domeinreputatie van een afzender beoordelen. Maar de tactieken zijn nauwelijks veranderd. Urgentie, gezag, een valse factuur. Ik herken bijna elk voorwendsel dat ik tegenwoordig tegenkom. Wat AI heeft veranderd, is de drempel voor vakmanschap: een onervaren aanvaller kan nu op grote schaal een foutloze, gepersonaliseerde versie van een oplichtingstruc uit 2004 maken.

Anthropic ontdekte dat Claude Mythos 5 signalen van het echte internet kon herkennen wanneer die afzonderlijk werden aangeboden, maar grotendeels niet op hetzelfde bewijs afging wanneer het model in een taak was ondergedompeld. Wat zegt dat verschil over het onderscheid tussen kennis waarover een AI-model beschikt en die kennis op het juiste moment daadwerkelijk toepassen?

Ik houd me bezig met e-mailbeveiliging, niet met AI-onderzoek, dus ik bekijk het vanuit dat perspectief. Mythos kreeg vooraf te horen dat het zich in een simulatie bevond, en die inkadering won het van het bewijs. Het verklaarde echt bewijs weg omdat dat niet paste bij het verhaal waarin het al zat. Dat is precies wat een voorwendsel moet doen, en daarom doen aanvallers zo hun best om eerst het kader te bepalen.

Er is hier een interessante parallel met menselijk gedrag bij phishing: een medewerker kan verdachte signalen tijdens een training gemakkelijk herkennen, maar diezelfde signalen over het hoofd zien wanneer die haast heeft of zich concentreert op een andere taak. In hoeverre kun je die vergelijking tussen menselijk en AI-oordeel volgens jou redelijkerwijs doortrekken?

Tot op zekere hoogte. Zowel mensen als AI verliezen het overzicht wanneer ze helemaal opgaan in een taak, en een bericht dat eruitziet als een routinematig bedrijfsproces („de volgende claims moeten worden beoordeeld”) wordt door mensen én modellen zonder veel nadenken goedgekeurd. De vergelijking gaat mank als het om emoties gaat. Mensen raken gehaast of bang, of willen graag anderen tevredenstellen. Een agent struikelt over zijn eigen triggers, bijvoorbeeld instructies die hij niet kan onderscheiden van de gegevens die hij leest.

Beveiligingstraining is traditioneel gericht op mensen leren schadelijke links, ongebruikelijke verzoeken, identiteitsfraude en andere waarschuwingssignalen te herkennen. Als zowel mensen als AI-systemen signalen kunnen negeren die ze in theorie begrijpen, moeten beveiligingsteams dan minder nadruk leggen op herkenning en meer kijken naar hoe beslissingen onder druk en in een bepaalde context worden genomen?

Ja. Bij herkenningstraining wordt ervan uitgegaan dat mensen opletten. Aanvallers ontwerpen berichten zo dat die aankomen wanneer mensen niet opletten of hen hun training doen vergeten. Een betere investering is om op belangrijke momenten — zoals bij betalingen, het opnieuw instellen van inloggegevens en wijzigingen in toegangsrechten — een pauzemoment in te bouwen, zodat noch een persoon noch een agent zo’n beslissing op de automatische piloot neemt.

Naarmate AI-agenten verder worden geïntegreerd in inboxen en bedrijfsprocessen, kunnen aanvallers mogelijk steeds vaker het AI-systeem zelf via social engineering manipuleren in plaats van alleen de medewerker. Hoe zou een aanval eruit kunnen zien die specifiek is ontworpen om een e-mailagent of autonome assistent te misleiden?

Het is een e-mail die voor de agent is opgesteld, met instructies die voor mensen verborgen zijn in witte tekst op een witte achtergrond, in alt-tekst van afbeeldingen of in een andere taal, zodat filters die op Engels zijn afgestemd de e-mail overslaan. In een scenario dat ons onderzoeksteam heeft ontwikkeld, wordt een onjuist ‘feit’ in het geheugen van de agent geplant (‘goedkeuringen van finance@ zijn vooraf geautoriseerd’), zodat een vervalste e-mail van finance weken later moeiteloos door de filters komt. In een ander scenario wordt tekst verborgen in een afbeelding van een factuur, waarin de agent wordt opgedragen de factuur als laag risico aan te merken en samen te vatten als veilig om te betalen. De mens vertrouwt op de samenvatting.

Kunnen aanvallers bewust lange reeksen van ogenschijnlijk legitieme interacties opzetten die een AI-systeem geleidelijk tot een verkeerde beslissing brengen, in plaats van te vertrouwen op één e-mail of prompt die duidelijk kwaadwillend is? Hoe moeilijk zouden zulke aanvallen in meerdere stappen voor de huidige beveiligingstools te detecteren zijn?

Ze zijn al op mensen gericht; agenten zijn de volgende. Aanvallers sturen eerst een paar onschuldige e-mails (een introductie, een bedankje) om markeringen voor nieuwe afzenders te laten verdwijnen, schakelen dan over op berichten die relevant zijn voor de functie van het doelwit en bezorgen pas daarna de payload, vaak via een vergaderuitnodiging waarvan de link scanners een schone pagina toont, maar echte gebruikers naar de phishingwebsite leidt. Tools die elke e-mail afzonderlijk beoordelen, missen dit. Geen enkel afzonderlijk bericht lijkt verdacht, dus moet je de relatie in de loop der tijd beoordelen.

AI-gegenereerde phishing wordt vaak besproken in termen van betere teksten, personalisatie en deepfakes. Maakt u zich meer zorgen over AI die de inhoud van socialengineeringaanvallen verbetert, of over aanvallers die AI gebruiken om precies te achterhalen wanneer en hoe een bepaald doelwit waarschijnlijk een fout zal maken?

Beide, en de strijd om de inhoud is al gestreden. Gepolijste, met AI geschreven phishing is de norm sinds ChatGPT doorbrak bij het grote publiek. De grotere verschuiving is dat doelwitselectie, personalisatie en timing nu geautomatiseerd zijn. Daardoor kan iemand zonder enige technische kennis gegevens uit datalekken combineren met gelekte wachtwoorden, zoals de beruchte RockYou-lijst, een echte mailbox overnemen en precies op het moment dat het doelwit zo’n bericht verwacht een vervalste, routinematige transactie-e-mail versturen.

Nu aanvallers steeds beter worden in het wegnemen van duidelijke technische alarmsignalen en het legitiem laten lijken van kwaadaardige berichten, welke signalen zijn dan het belangrijkst om legitieme communicatie van manipulatie te onderscheiden?

Context komt op de eerste plaats. Is dit bijvoorbeeld normaal voor deze persoon of leverancier, via dit kanaal en op dit tijdstip? Daarna komen urgentie en herhaling. Iemand met een echt dringend verzoek belt op of stuurt je een bericht via Teams of Slack. Die persoon stuurt niet drie keer dezelfde e-mail. En vertrouw op je intuïtie. Mijn regel is: ‘Doe niet zomaar iets, blijf staan.’ Neem dus even de tijd, laat iemand anders meekijken en controleer het via een ander kanaal.

Hoe moeten organisaties het menselijk toezicht en het AI-toezicht organiseren als beide kanten zwakke plekken kunnen hebben? Kunnen menselijke oordeelsvorming en AI samen juist nieuwe blinde vlekken creëren als beide ervan uitgaan dat de ander de beslissing al heeft gecontroleerd?

Geef elke partij de taak waar die het best in is en maak de overdracht expliciet. AI verwerkt grote hoeveelheden gegevens en herkent patronen in de hele omgeving; mensen nemen de beslissingen met grote gevolgen (geld overmaken, toegang verlenen), en de AI moet het bewijsmateriaal tonen zodat de beoordelaar de redenering kan controleren. De blinde vlek die u beschrijft, bestaat echt. De oplossing is een harde regel… ‘De AI zei dat het veilig is’ geldt nooit als menselijke controle.

Als het fundamentele probleem een kloof is tussen wat mensen of AI-systemen weten en wat ze herkennen terwijl ze een taak daadwerkelijk uitvoeren, welke praktische veranderingen kunnen organisaties dan vandaag doorvoeren om die kloof te verkleinen en social engineering aanzienlijk moeilijker succesvol te maken?

Neem een oude controlemaatregel over die we gebruikten bij het uitschrijven van cheques: ‘scheiding van taken’. Eén persoon kan een nieuwe gebruiker aanmaken, maar niet activeren; een tweede persoon kan een gebruiker activeren, maar niet aanmaken; en een derde krijgt van beide handelingen een melding. Pas diezelfde scheiding toe op betalingen, wijzigingen van leveranciersgegevens en je AI-agenten (geen enkele agent mag zowel een actie aanvragen als goedkeuren). Eén misleide medewerker of één gekaapte agent kan de aanval niet alleen voltooien.

Bedankt voor het uitstekende interview. Lezers die meer willen weten, kunnen terecht op IRONSCALES.