Audian Paxson, ledende teknisk strateg hos IRONSCALES – intervjuserie

Audian Paxson, ledende teknisk strateg hos IRONSCALES, er en erfaren veteran innen cybersikkerhet og produktstrategi med over to tiårs erfaring fra e-postsikkerhet, trusseldeteksjon, nettverk og virksomhetsteknologi. Hos IRONSCALES arbeider han med produktlanseringer, budskap og posisjonering, go-to-market-strategi og faglig formidling om hvordan kunstig intelligens og maskinlæring kan brukes til å håndtere nye trusler mot e-postsikkerheten. Karrieren hans omfatter ledende stillinger innen produktledelse, produktmarkedsføring og forretningsutvikling hos Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems og Intel. Paxson har hatt sentrale roller i lanseringen av cybersikkerhets- og nettverksprodukter, utviklingen av go-to-market-strategier for bedrifter og selskapenes inntog i nye markeder. Han er også medoppfinner av patentert sikkerhetsteknologi.

IRONSCALES er et selskap som tilbyr KI-drevet e-postsikkerhet, med fokus på å beskytte organisasjoner mot phishing, kompromittering av bedrifts-e-post, kontoovertakelse, deepfakes og andre trusler innen sosial manipulering som stadig utvikler seg. Plattformen kombinerer adaptiv KI med menneskelig ekspertise og kunnskap fra fellesskapet for å oppdage, undersøke og håndtere trusler på tvers av Microsoft 365 og Google Workspace. Den tilbyr også funksjoner for phishing-simulering, opplæring i sikkerhetsbevissthet, beskyttelse av utgående e-post og domenesikkerhet. Selskapet har videreutviklet tilnærmingen sin med spesialiserte KI-agenter for red team-testing, sikkerhetsoperasjoner mot phishing og phishing-simulering. Agentene er utviklet for å forutse angrep, undersøke mistenkelig aktivitet og styrke de ansattes forsvar. IRONSCALES opplyser at teknologien brukes av over 18 000 organisasjoner, og at den bygger på informasjon fra et fellesskap med over 36 000 sikkerhetseksperter.

Du har arbeidet med e-postsikkerhet i over to tiår, blant annet med å bidra til utviklingen av tidlige produkter mot phishing, og fokuserer nå på hvordan KI og maskinlæring kan håndtere nye e-posttrusler. Med dette perspektivet: Hva oppleves som genuint nytt ved KI-drevet sosial manipulering, og hvilke sider ved problemet har forblitt overraskende velkjente?

Takk for at du minner meg på alderen! Da vi begynte å bekjempe phishing tidlig på 2000-tallet, var det største problemet folks bevissthet, og filtrene kunne bare vurdere omdømmet til avsenderens domene. Men taktikkene har ikke endret seg stort. Tidspress, autoritet, en falsk faktura. Jeg kjenner igjen nesten alle påskuddene jeg ser i dag. Det KI har endret, er terskelen for å lage noe overbevisende, slik at en ukyndig angriper nå kan masseprodusere en feilfri, personlig tilpasset versjon av et svindelforsøk fra 2004.

Anthropic fant at Claude Mythos 5 kunne gjenkjenne tegn på det virkelige internettet når disse signalene ble presentert hver for seg, men i stor grad unnlot å handle på den samme informasjonen mens modellen var opptatt med en oppgave. Hva forteller dette gapet oss om forskjellen mellom at en KI-modell har kunnskap, og at den faktisk bruker den på riktig tidspunkt?

Jeg jobber med e-postsikkerhet, ikke med KI-forskning, så jeg leser dette med det perspektivet. Mythos fikk på forhånd beskjed om at det befant seg i en simulering, og den innrammingen vant. Modellen bortforklarte reelle bevis fordi de ikke passet inn i historien den allerede var en del av. Det er et påskudd som gjør jobben sin, og det er derfor angripere legger så mye arbeid i å etablere rammen først.

Her er det en interessant parallell til hvordan mennesker reagerer på phishing: En ansatt kan lett oppdage mistenkelige tegn under opplæring, men overse de samme tegnene når vedkommende har det travelt eller er opptatt med en annen oppgave. Hvor langt mener du det er rimelig å trekke sammenligningen mellom menneskers og KI-systemers vurderinger?

Til en viss grad. Begge kan miste oversikten når de er helt oppslukt av en oppgave, og både mennesker og modeller kan slippe gjennom en melding som ser ut som en rutinemessig arbeidsprosess («følgende krav må gjennomgås»). Sammenligningen holder ikke når det gjelder følelser. Mennesker blir stresset, redde eller ivrige etter å gjøre andre til lags. En agent svikter på grunn av sine egne utløsende faktorer, som instruksjoner den ikke klarer å skille fra dataene den leser.

Sikkerhetsopplæring har tradisjonelt dreid seg om å lære folk å kjenne igjen skadelige lenker, uvanlige forespørsler, etterligning av andre og andre varselsignaler. Hvis både mennesker og KI-systemer kan overse signaler de i teorien forstår, bør sikkerhetsteamene rette mindre oppmerksomhet mot gjenkjenning og mer mot hvordan beslutninger tas under press og i en bestemt kontekst?

Ja. Opplæring i å gjenkjenne trusler forutsetter at folk følger med. Angripere utformer meldinger slik at de når fram når folk ikke gjør det, eller får dem til å glemme opplæringen. Det er bedre å bygge inn en pause i situasjonene som betyr mest (for eksempel ved betalinger, tilbakestilling av påloggingsinformasjon og endringer i tilgang), slik at verken en person eller en agent tar den avgjørelsen på autopilot.

Etter hvert som KI-agenter blir tettere integrert i innbokser og arbeidsflyter i virksomheter, kan angripere i stadig større grad komme til å forsøke å manipulere selve KI-systemet sosialt, i stedet for bare den ansatte. Hvordan kan et angrep som er utformet spesielt for å manipulere en e-postagent eller en autonom assistent, se ut?

Det er en e-post skrevet for agenten, med instruksjonene skjult for mennesket i hvit tekst på hvit bakgrunn, i alternativ tekst til bilder eller på et annet språk, slik at filtre som er tilpasset engelsk, overser den. I ett scenario som forskningsteamet vårt utviklet, plantes en falsk «faktaopplysning» i agentens minne («godkjenninger fra finance@ er forhåndsgodkjent»), slik at en forfalsket e-post fra økonomiavdelingen flere uker senere slipper rett gjennom. Et annet scenario skjuler tekst i et bilde av en faktura, der agenten får beskjed om å merke den som lav risiko og oppsummere den som trygg å betale. Mennesket stoler på sammendraget.

Kan angripere bevisst lage lange sekvenser med tilsynelatende legitime interaksjoner som gradvis leder et KI-system mot en dårlig beslutning, i stedet for å basere seg på én enkelt, åpenbart ondsinnet e-post eller instruks? Hvor vanskelig vil det være for dagens sikkerhetsverktøy å oppdage slike angrep i flere trinn?

Dette skjer allerede med mennesker, og agenter står for tur. Angripere sender noen ufarlige e-poster (en introduksjon, en takk) for å fjerne varsler om nye avsendere, går over til meldinger som er relevante for mottakerens rolle, og sender først deretter skadevaren eller svindelforsøket. Det skjer ofte via en møteinvitasjon der lenken viser skannerne en ren side, men leder faktiske brukere til et phishing-nettsted. Verktøy som vurderer hver e-post isolert, overser dette. Ingen enkeltmelding ser mistenkelig ut, så man må vurdere forholdet over tid.

KI-generert phishing omtales ofte med vekt på bedre formuleringer, persontilpasning og deepfakes. Er du mer bekymret for at KI gjør innholdet i sosial manipulasjon bedre, eller for at angripere bruker KI til å forstå nøyaktig når og hvordan en bestemt person mest sannsynlig vil gjøre en feil?

Begge deler, men kampen om innholdet er allerede avgjort. Polert phishing skrevet med KI har vært standarden siden ChatGPT ble allemannseie. Den største endringen er at målretting, persontilpasning og timing nå er automatisert. Dermed kan en person uten tekniske ferdigheter kombinere lekkede data med passordlister som den beryktede RockYou-listen, ta over en ekte e-postkonto og sende en forfalsket, rutinemessig transaksjons-e-post akkurat når mottakeren forventer en.

Etter hvert som angripere blir flinkere til å fjerne åpenbare tekniske varselsignaler og få ondsinnede meldinger til å virke legitime, hvilke signaler blir da viktigst for å skille legitim kommunikasjon fra manipulasjon?

Konteksten kommer først. Er dette for eksempel normalt for denne personen eller leverandøren, i denne kanalen, på dette tidspunktet? Deretter kommer hastverk og gjentakelser. En person med en virkelig hastesak ringer eller sender deg en melding på Teams eller Slack. De sender ikke den samme e-posten tre ganger. Og stol på magefølelsen. Min regel er «Ikke bare gjør noe, bli stående», så ta en pause, få en annen til å se på saken og bekreft den via en annen kanal.

Hvordan bør organisasjoner organisere menneskelig kontroll og KI-tilsyn når begge sider kan ha svakheter? Kan kombinasjonen av menneskelig skjønn og KI faktisk skape nye blindsoner hvis hver part antar at den andre allerede har kontrollert beslutningen?

Gi hver side oppgaven den egner seg best til, og gjør overleveringen tydelig. KI håndterer store mengder informasjon og oppdager mønstre på tvers av hele miljøet. Mennesker har ansvaret for beslutninger med store konsekvenser (å overføre penger, gi tilgang), og KI-en må vise dokumentasjonen sin, slik at den som vurderer saken, kan kontrollere resonnementet. Blindsonen du beskriver, er reell. Løsningen er en absolutt regel: «KI-en sa at det er trygt» teller aldri som en menneskelig vurdering.

Hvis det grunnleggende problemet er et gap mellom det mennesker eller KI-systemer vet, og det de gjenkjenner mens de utfører en oppgave, hvilke praktiske endringer kan organisasjoner gjøre i dag for å minske gapet og gjøre sosial manipulasjon betydelig vanskeligere å gjennomføre?

Ta i bruk en gammel kontroll vi brukte da vi skrev ut sjekker: «arbeidsdeling». Én person kan opprette en ny bruker, men ikke aktivere den; en annen kan aktivere en bruker, men ikke opprette den; og en tredje får beskjed om begge deler. Innfør den samme arbeidsdelingen for betalinger, endringer av leverandører og KI-agentene deres (ingen agent bør både be om og godkjenne en handling). Én lurt medarbeider eller én kapret agent kan ikke fullføre angrepet alene.

Takk for et flott intervju. Lesere som vil vite mer, kan besøke IRONSCALES.