Audian Paxson, leitender technischer Stratege bei IRONSCALES – Interviewreihe

Audian Paxson, leitender technischer Stratege bei IRONSCALES, ist ein erfahrener Experte für Cybersicherheit und Produktstrategie mit mehr als zwei Jahrzehnten Berufserfahrung in den Bereichen E-Mail-Sicherheit, Bedrohungserkennung, Netzwerke und Unternehmenstechnologie. Bei IRONSCALES konzentriert er sich auf Produkteinführungen, Botschaften und Positionierung, Markteinführungsstrategien sowie fachliche Vordenkerrolle rund um den Einsatz künstlicher Intelligenz und maschinellen Lernens zur Abwehr neu auftretender Bedrohungen für die E-Mail-Sicherheit. Im Laufe seiner Karriere hatte er leitende Positionen in den Bereichen Produktmanagement, Produktmarketing und Geschäftsentwicklung bei Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems und Intel inne. Paxson spielte eine zentrale Rolle bei der Einführung von Cybersicherheits- und Netzwerkprodukten, der Entwicklung von Markteinführungsstrategien für Unternehmen und der Expansion von Unternehmen in neue Märkte. Außerdem ist er Miterfinder patentierter Sicherheitstechnologie.

IRONSCALES ist ein KI-gestütztes Unternehmen für E-Mail-Sicherheit, das Organisationen vor Phishing, geschäftlichem E-Mail-Betrug, der Übernahme von Konten, Deepfakes und anderen sich weiterentwickelnden Social-Engineering-Bedrohungen schützt. Seine Plattform kombiniert Adaptive AI mit menschlicher Expertise und Informationen aus der Community, um Bedrohungen in Microsoft 365 und Google Workspace zu erkennen, zu untersuchen und zu beseitigen. Darüber hinaus bietet sie Funktionen für Phishing-Simulationen, Sicherheitsschulungen, den Schutz ausgehender E-Mails und die Absicherung von Domains. Das Unternehmen hat seinen Ansatz um spezialisierte KI-Agenten für Red Teaming, den Betrieb der Phishing-Abwehr und Phishing-Simulationen erweitert. Sie sollen Angriffe vorhersehen, verdächtige Aktivitäten untersuchen und die Abwehrbereitschaft von Mitarbeitenden stärken. IRONSCALES zufolge kommt die Technologie bei mehr als 18.000 Organisationen zum Einsatz und nutzt Informationen, zu denen eine Community von mehr als 36.000 Sicherheitsexperten beiträgt.

Sie sind seit mehr als zwei Jahrzehnten im Bereich E-Mail-Sicherheit tätig, haben unter anderem an der Entwicklung früher Anti-Phishing-Produkte mitgewirkt und beschäftigen sich heute damit, wie KI und maschinelles Lernen neu auftretende Bedrohungen für E-Mails abwehren können. Was ist aus Ihrer langjährigen Erfahrung wirklich neu an KI-gestütztem Social Engineering, und welche Aspekte des Problems sind überraschend vertraut geblieben?

Danke, dass du mich so alt aussehen lässt! Als wir Anfang der 2000er-Jahre begannen, Phishing zu bekämpfen, war mangelndes Bewusstsein das größte Problem, und Filter konnten nur den Ruf der Absenderdomain beurteilen. An den Methoden hat sich jedoch nicht viel geändert. Zeitdruck, Autorität, eine gefälschte Rechnung. Fast jeden Vorwand, den ich heute sehe, kenne ich schon. Was KI verändert hat, ist die Hürde für eine überzeugende Ausführung: Selbst ein unerfahrener Angreifer kann jetzt einen makellosen, personalisierten Betrugsversuch wie aus dem Jahr 2004 in großem Maßstab erstellen.

Anthropic stellte fest, dass Claude Mythos 5 Anzeichen für das echte Internet erkennen konnte, wenn diese Hinweise einzeln präsentiert wurden, in eine Aufgabe eingebettet aber weitgehend nicht auf dieselben Belege reagierte. Was sagt diese Diskrepanz über den Unterschied zwischen dem Wissen eines KI-Modells und seiner Fähigkeit aus, dieses Wissen im richtigen Moment tatsächlich anzuwenden?

Ich beschäftige mich mit E-Mail-Sicherheit, nicht mit KI-Forschung, daher betrachte ich das aus dieser Perspektive. Mythos wurde gleich zu Beginn gesagt, dass es sich in einer Simulation befand, und diese Einordnung setzte sich durch. Das Modell erklärte echte Belege für irrelevant, weil sie nicht zu der Geschichte passten, in die es bereits eingebunden war. Genau das soll ein Vorwand bewirken – und deshalb geben sich Angreifer so viel Mühe, zuerst den Deutungsrahmen festzulegen.

Hier gibt es eine interessante Parallele zum Phishing-Verhalten von Menschen: Mitarbeitende können verdächtige Hinweise in einer Schulung leicht erkennen, übersehen dieselben Hinweise aber möglicherweise, wenn sie in Eile sind oder sich darauf konzentrieren, eine andere Aufgabe zu erledigen. Wie weit lässt sich Ihrer Meinung nach dieser Vergleich zwischen menschlichem Urteilsvermögen und dem von KI sinnvoll ziehen?

Bis zu einem gewissen Punkt. Beide verlieren den Überblick, wenn sie sich ganz auf eine Aufgabe konzentrieren, und eine Nachricht, die wie ein routinemäßiger Geschäftsprozess aussieht („Die folgenden Ansprüche müssen geprüft werden“), wird von Menschen wie von Modellen durchgewinkt. Bei den Emotionen endet der Vergleich. Menschen geraten unter Zeitdruck, bekommen Angst oder wollen es anderen recht machen. Ein Agent scheitert an eigenen Auslösern – etwa an Anweisungen, die er nicht von den Daten unterscheiden kann, die er gerade auswertet.

Bei Sicherheitsschulungen ging es traditionell darum, Menschen beizubringen, schädliche Links, ungewöhnliche Aufforderungen, Identitätstäuschungen und andere Warnzeichen zu erkennen. Wenn sowohl Menschen als auch KI-Systeme Hinweise ignorieren können, die sie eigentlich verstehen, sollten Sicherheitsteams dann weniger auf das Erkennen und stärker darauf achten, wie Entscheidungen unter Druck und in einem bestimmten Kontext getroffen werden?

Ja. Bei Schulungen zur Erkennung wird vorausgesetzt, dass die Menschen aufmerksam sind. Angreifer gestalten Nachrichten so, dass sie eintreffen, wenn die Betroffenen es nicht sind, oder sie dazu bringen, das Gelernte zu vergessen. Sinnvoller ist es, in entscheidenden Situationen – etwa bei Zahlungen, dem Zurücksetzen von Zugangsdaten oder Änderungen von Zugriffsrechten – eine Pause einzubauen. So trifft weder ein Mensch noch ein Agent die Entscheidung automatisch.

Je stärker KI-Agenten in Postfächer und Arbeitsabläufe von Unternehmen eingebunden werden, desto eher könnten Angreifer versuchen, das KI-System selbst und nicht nur die Mitarbeitenden durch Social Engineering zu manipulieren. Wie könnte ein Angriff aussehen, der gezielt darauf ausgelegt ist, einen E-Mail-Agenten oder einen autonomen Assistenten zu manipulieren?

Es handelt sich um eine E-Mail, die für den Agenten verfasst wurde. Die Anweisungen sind für den Menschen verborgen – in weißer Schrift auf weißem Hintergrund, im Alternativtext eines Bildes oder in einer anderen Sprache –, sodass auf Englisch abgestimmte Filter sie überspringen. Ein Szenario, das unser Forschungsteam entwickelt hat, pflanzt dem Gedächtnis des Agenten eine falsche „Tatsache“ ein („Freigaben von finance@ sind vorab autorisiert“), sodass eine Wochen später gefälschte E-Mail aus der Finanzabteilung problemlos durchkommt. In einem anderen Szenario wird Text in einem Rechnungsbild versteckt, der den Agenten anweist, sie als risikoarm einzustufen und als sicher zahlbar zusammenzufassen. Der Mensch vertraut der Zusammenfassung.

Könnten Angreifer gezielt lange Abfolgen scheinbar legitimer Interaktionen erzeugen, die ein KI-System schrittweise zu einer schlechten Entscheidung bewegen, anstatt sich auf eine einzelne, offensichtlich bösartige E-Mail oder Eingabeaufforderung zu verlassen? Wie schwierig wäre es für die heutigen Sicherheitstools, solche mehrstufigen Angriffe zu erkennen?

Solche Angriffe gibt es bereits gegen Menschen, und als Nächstes sind Agenten an der Reihe. Angreifer verschicken zunächst einige harmlose E-Mails (eine Vorstellung, ein Dankeschön), um Warnmeldungen für erstmalige Absender zu umgehen. Dann wechseln sie zu Nachrichten, die für die Rolle der Zielperson relevant sind, und erst danach liefern sie die schädliche Nutzlast aus – oft eine Besprechungseinladung, deren Link den Scannern eine unbedenkliche Seite und echten Nutzern die Phishing-Website anzeigt. Tools, die jede E-Mail für sich beurteilen, erkennen das nicht. Keine einzelne Nachricht wirkt verdächtig; deshalb muss man die Beziehung über einen längeren Zeitraum bewerten.

Bei KI-generiertem Phishing geht es oft um bessere Texte, Personalisierung und Deepfakes. Beunruhigt Sie mehr, dass KI die Inhalte von Social-Engineering-Angriffen verbessert, oder dass Angreifer mithilfe von KI genau herausfinden, wann und wie eine bestimmte Zielperson am ehesten einen Fehler macht?

Beides, und der Kampf um die Inhalte ist bereits entschieden. Ausgefeilte, mit KI verfasste Phishing-Nachrichten sind der Standard, seit ChatGPT im Mainstream angekommen ist. Die größere Veränderung besteht darin, dass Zielauswahl, Personalisierung und Timing inzwischen automatisiert sind. Dadurch kann jemand ohne jegliche technische Kenntnisse Daten aus Sicherheitsverletzungen mit Passwortsammlungen wie der berüchtigten RockYou-Liste kombinieren, ein echtes E-Mail-Postfach übernehmen und eine gefälschte, routinemäßige Transaktions-E-Mail genau dann versenden, wenn die Zielperson mit einer solchen Nachricht rechnet.

Wenn Angreifer offensichtliche technische Warnsignale immer besser beseitigen und bösartige Nachrichten glaubwürdig erscheinen lassen, welche Hinweise sind dann am wichtigsten, um legitime Kommunikation von Manipulation zu unterscheiden?

An erster Stelle steht der Kontext. Ist das beispielsweise für diese Person oder diesen Anbieter über diesen Kanal zu diesem Zeitpunkt üblich? Danach kommen Dringlichkeit und Wiederholungen. Wer wirklich ein dringendes Anliegen hat, ruft an oder schreibt Ihnen über Teams oder Slack. Dieselbe E-Mail wird nicht dreimal verschickt. Und vertrauen Sie Ihrem Bauchgefühl. Meine Regel lautet: „Nicht einfach handeln, sondern erst einmal innehalten.“ Machen Sie also eine Pause, lassen Sie eine zweite Person draufschauen und überprüfen Sie die Sache über einen anderen Kanal.

Wie sollten Unternehmen die menschliche und KI-gestützte Kontrolle organisieren, wenn beide Seiten Schwächen haben können? Könnte die Kombination aus menschlichem Urteilsvermögen und KI tatsächlich neue blinde Flecken schaffen, wenn jede Seite davon ausgeht, die andere habe die Entscheidung bereits überprüft?

Übertragen Sie jeder Seite die Aufgaben, für die sie am besten geeignet ist, und gestalten Sie die Übergabe ausdrücklich. KI bewältigt große Mengen und erkennt Muster in der gesamten Umgebung; Menschen treffen Entscheidungen mit weitreichenden Folgen (Geld überweisen, Zugriffsrechte vergeben), und die KI muss ihre Belege vorlegen, damit die prüfende Person die Schlussfolgerungen nachvollziehen kann. Der von Ihnen beschriebene blinde Fleck ist real. Die Lösung ist eine strikte Regel: … „Die KI hat gesagt, es sei sicher“ gilt niemals als menschliche Überprüfung.

Wenn das grundlegende Problem eine Lücke zwischen dem ist, was Menschen oder KI-Systeme wissen, und dem, was sie während der aktiven Ausführung einer Aufgabe erkennen, welche praktischen Änderungen können Unternehmen heute vornehmen, um diese Lücke zu verkleinern und Social Engineering deutlich schwerer erfolgreich durchführbar zu machen?

Greifen Sie auf eine alte Kontrollmaßnahme zurück, die wir beim Ausstellen von Schecks verwendet haben: die „Funktionstrennung“. Eine Person kann einen neuen Benutzer anlegen, ihn aber nicht aktivieren; eine zweite Person kann einen Benutzer aktivieren, aber keinen anlegen; und eine dritte Person wird über beides benachrichtigt. Verankern Sie dieselbe Aufgabentrennung in Zahlungsprozessen, Lieferantenänderungen und Ihren KI-Agenten (kein Agent sollte eine Aktion sowohl beantragen als auch genehmigen). Ein getäuschter Mitarbeiter oder ein gekaperter Agent allein kann den Angriff nicht zu Ende führen.

Vielen Dank für das großartige Interview. Leserinnen und Leser, die mehr erfahren möchten, sollten IRONSCALES besuchen.