Simon Edwards, CEO und Gründer von SE Labs – Interviewreihe

Simon Edwards, CEO und Gründer von SE Labs, ist ein Experte für Cybersicherheitstests mit mehr als drei Jahrzehnten Erfahrung in Sicherheitsforschung, Produktbewertung, technischer Fachjournalistik und Branchenstandards. Vor der Gründung von SE Labs im Jahr 2015 leitete Edwards Dennis Technology Labs, wo er Sicherheits‑Testing‑Initiativen führte, und war zuvor viele Jahre als Technologiejournalist und Redakteur tätig. Er hatte zudem leitende Positionen bei der Anti‑Malware Testing Standards Organization (AMTSO), darunter Vorsitzender, Direktor und Co‑Chair. Edwards testet Sicherheitsprodukte seit Mitte der 1990er Jahre und war Vorreiter bei frühen real‑weltbezogenen Anti‑Malware‑Testansätzen, die darauf abzielten, zu bewerten, wie Sicherheitstechnologien gegen vollständige, über das Internet gelieferte Angriffe im Vergleich zu isolierten Malware‑Proben abschneiden.

SE Labs ist ein unabhängiges Unternehmen für Cybersicherheitstests und Beratung, das bewertet, wie Sicherheitstechnologien gegen realistische Angriffe bestehen. Seine Forscher replizieren Angreifertechniken über die gesamte Angriffskette, um Produkte wie Endpunktschutz, Endpoint Detection and Response (EDR), Cloud‑Sicherheitsdienste, Firewalls, E‑Mail‑Sicherheit und Netzwerk‑Erkennungstechnologien zu beurteilen. Neben öffentlichen Vergleichstests bietet SE Labs Zertifizierungen, fortgeschrittene Sicherheitstests, Produktvalidierung und Beratungsdienste für Unternehmen und Anbieter von Cybersicherheitslösungen. Das Unternehmen veröffentlicht seine Testmethodologien und Bedrohungs‑Emulations‑Frameworks und ist nach ISO/IEC 27001:2022 und BS EN ISO 9001:2015 für die Durchführung von IT‑Sicherheitsprodukt‑Tests zertifiziert.

Ihre Karriere erstreckt sich über mehr als drei Jahrzehnte in Technologiejournalismus, Sicherheitsberatung, unabhängigen Tests und Führungspositionen bei der Anti‑Malware Testing Standards Organization (AMTSO). Wie hat diese Erfahrung Ihre Sicht darauf geprägt, echte Fortschritte in KI‑gestützter Cybersicherheit von Technologien zu unterscheiden, die hauptsächlich aus Marketinggründen als „KI“ positioniert werden?

Der Journalismus lehrte mich, Behauptungen zu hinterfragen, während unabhängige Tests mir zeigten, dass die einzige verlässliche Antwort aus Beweisen entsteht. Cybersicherheitsunternehmen setzen seit vielen Jahren maschinelles Lernen und automatisierte Entscheidungsfindung ein, sodass die Ergänzung „KI“ im Produktnamen nicht zwangsläufig einen technischen Fortschritt darstellt.

Drei grundlegende Punkte, die zu berücksichtigen sind: Was genau macht die KI? Welches messbare Sicherheitsergebnis verbessert sie? Und kann ein unabhängiger Tester diese Verbesserung reproduzieren?

Wenn die Antwort lediglich lautet, dass das Produkt eine große Datenmenge analysiert oder einen bestehenden Prozess automatisiert, könnte das KI‑Label eher eine Positionierungs‑ als eine Fähigkeitsaussage sein.

Ein echter Fortschritt funktioniert gut gegen unbekannte oder brandneue Angriffe, verbessert den Schutz oder die Reaktion, reduziert die Belastung für Analysten und tut dies, ohne unakzeptable Risiken einzuführen. Alles andere ist entweder keine Verbesserung oder ein Rückschritt!

„KI‑gesteuert“ ist zu einer gängigen Behauptung bei Cyber‑Sicherheitsprodukten geworden. Welche wichtigsten Fähigkeiten sollten unabhängig getestet werden, bevor ein Unternehmen akzeptiert, dass eine KI‑gestützte Sicherheitsplattform tatsächlich das liefert, was der Anbieter verspricht?

Ich würde nicht damit beginnen, zu testen, ob ein Produkt KI enthält. Ich würde damit beginnen, die Sicherheitsbehauptungen zu prüfen, die dafür aufgestellt werden. Es ist mir eigentlich egal, wie ein Produkt funktioniert, solange es funktioniert. Das ist genau das Ziel des PIVOT-Testprogramms, das derzeit in der Branche stark an Bedeutung gewinnt.

Ein solcher Test bedeutet, das Produkt vollständigen Angriffen auszusetzen und zu messen, wie es reagiert. Es sollte wahrscheinlich die Aktivität erkennen und dann möglicherweise verhindern, dass der Angriff weiter voranschreitet. Das hängt davon ab, wie das Produkt gebaut und konfiguriert ist und welche Marketingbehauptungen der Anbieter aufstellt.

Wir müssen zudem die investigative Geschichte prüfen, die dem Kunden präsentiert wird. Hat das System verstanden, was passiert ist, die relevanten Ereignisse verbunden und die Beweise für die Person sichtbar gemacht, die darauf reagieren muss?

Der Test sollte unbekannte Varianten, realistische Kundenkonfigurationen und normale Geschäftsaktivitäten umfassen. Er muss außerdem Fehlalarme, Ressourcenverbrauch und Aktionen messen, die potenziell unsicher sein können. Wenn das System autonom ist, müssen wir wissen, wann es handelt, warum es handelt, welche Berechtigungen es nutzt und ob seine Entscheidungen rückgängig gemacht werden können.

Wir haben einige Nachrichtenberichte über KI‑Sicherheit gesehen, die aus dem Ruder laufen, ihre Grenzen und möglicherweise das Gesetz überschreiten. Die entscheidende Frage ist nicht, ob die Plattform intelligent erscheint, sondern ob sie konsequent bessere und sicherere Sicherheitsergebnisse liefert.

Autonome KI‑Agenten können potenziell Aufklärung, Ausnutzung, seitliche Bewegung und andere Angriffsphasen viel schneller ausführen als ein menschlicher Angreifer. Wie muss das Cyber‑Sicherheitstesting angepasst werden, wenn Angriffe mit Maschinen‑geschwindigkeit operieren?

Die Test‑Einheit muss von der einzelnen Technik auf die komplette Kampagne unter Zeitdruck umgestellt werden. Das bedeutet, anstatt verschiedene Angriffswege über einen Morgen oder eine Woche zu probieren, müssen bestimmte Sicherheitsmaßnahmen schnell getestet werden. Andernfalls ist es nicht realistisch, und Realismus ist sehr wichtig.

Traditionelle Tests können zwischen den Phasen bequeme Lücken lassen, sodass jedes Ereignis separat untersucht werden kann. Ein autonomer Angreifer kann Aufklärung, Ausnutzung und seitliche Bewegung in einen viel kürzeren Zeitraum komprimieren. Das könnte Schwachstellen offenbaren, die in langsameren Tests nicht sichtbar sind, einschließlich Verzögerungen bei der Telemetrie, überlasteten Systemen und Abwehrmaßnahmen, die erst nach Erreichen des Angriffs­ziels eintreffen.

Um ein extrem einfaches Beispiel zu geben: Wenn wir in einen Mac einbrechen, alle Dateien herunterladen und die Kontopasswörter stehlen, ist das wenig nützlich, wenn das Antiviren‑Programm erst einen Tag später mit der schlechten Nachricht erscheint.

Die Prüfung von Sicherheitsreaktionen auf KI‑Angreifer erfordert daher hochauflösende Instrumentierung und präzise Messung von Erkennungs‑ und Reaktionslatenz. Sie sollte untersuchen, ob die Leistung nachlässt, wenn das Volumen und die Geschwindigkeit der Aktivitäten zunehmen, und ob die Verteidigung einen Angriff unterbrechen kann, ohne bei jedem Schritt auf eine menschliche Entscheidung warten zu müssen.

Der Angriff kann sich zudem an das anpassen, was er entdeckt. Die Tests müssen das widerspiegeln, während sie die Grundwahrheit, Beweise und Wiederholbarkeit bewahren. Die Geschwindigkeit von Maschinen sollte nicht bedeuten, dass kontrollierte Methodik aufgegeben wird. Wir müssen weiterhin kontrollierte Tests entwerfen, die Ereignisse mit derselben Geschwindigkeit wie die zu bewertenden Systeme ausführen und messen können.

SE Labs verwendet realistische Angriffsszenarien, die auf den Taktiken und Techniken von Bedrohungsgruppen wie Scattered Spider basieren. Wie reproduzieren Sie diese Gegner in einer kontrollierten Umgebung, während Sie sicherstellen, dass der Test widerspiegelt, wie ein echter Angriff ablaufen würde, anstatt lediglich gegen eine vordefinierte Checkliste zu prüfen?

Wir beginnen mit den Zielen des Gegners, bekannten Verhaltensweisen und wahrscheinlichen Entscheidungsprozessen, anstatt seine Techniken als Einkaufsliste zu behandeln.

Der Test folgt einer realistischen Angriffskette durch Aufklärung, ersten Zugriff, Ausführung, Privilegienausweitung, Aktivitäten nach der Kompromittierung und seitliche Bewegung. Wichtig ist, dass der Tester nur Informationen nutzt, die tatsächlich während der Aufklärung und des Angriffs entdeckt wurden. Wir geben dem Angreifer kein Wissen, das in einem echten Einsatz nicht verfügbar wäre.

Das Szenario ist begrenzt und sorgfältig kontrolliert, aber es ist nicht einfach eine Abfolge vordefinierter Tastendrücke. Wird ein Weg blockiert, kann der Angreifer innerhalb der Testregeln eine glaubwürdige Alternative verfolgen. Das ermöglicht dem Sicherheitsprodukt, den Verlauf des Szenarios zu beeinflussen.

Gleichzeitig wird jede wichtige Aktion und jedes Ergebnis aufgezeichnet, sodass wir das Ergebnis erklären und Produkte fair vergleichen können. Kontrolliert zu sein bedeutet nicht zwangsläufig starr geskriptet zu sein. Es sollte sicher, beobachtbar und durch Beweise gestützt sein.

Cyber‑Security‑Produkte wurden traditionell stark danach bewertet, wie gut sie Bedrohungen erkennen können. Warum sollten Organisationen zunehmend Schutz, Eindämmung und Incident Response in den Blick nehmen, wenn sie KI‑gesteuerte Sicherheitssysteme bewerten?

Erkennung ist nicht dasselbe wie Verteidigung. Eine Plattform kann einen genauen Alarm auslösen und dem Angreifer dennoch ermöglichen, das Ziel zu erreichen. Deshalb beinhaltet das PIVOT‑Testprogramm sowohl Erkennung als auch Schutz als gemeinsame und separate Bestandteile des Gesamttests.

Man kann die Erkennung in der Cybersicherheit mit einer CCTV‑Kamera vergleichen. Sie sollte einen Eindringling bemerken und Hinweise darauf geben, was geschehen ist, aber sie wird den Eindringling nicht physisch aufhalten. Der Schutz in der Cybersicherheit ist wesentlich aktiver. Er kann einen Angreifer abweisen oder anderweitig neutralisieren und so Schaden verhindern.

Organisationen müssen wissen, ob das Produkt die anfängliche Aktivität verhindert, die Angriffskette unterbrochen, seitliche Bewegungen eingeschränkt, wichtige Assets geschützt und die Wiederherstellung unterstützt hat. Wenn ein Angriff erfolgreich ist, lauten die nächsten Fragen, wie schnell er eingedämmt wurde und ob der Kunde ausreichend zuverlässige Informationen erhalten hat, um wirksam zu reagieren.

Dies wird besonders wichtig bei KI‑gesteuerten Systemen, weil sie zwar sehr überzeugende Zusammenfassungen dessen liefern können, was geschehen ist, eine überzeugende Erklärung jedoch kein Ersatz für Schutz ist. Die Erklärung muss durch Beweise gestützt werden und zu einer angemessenen Maßnahme führen.

Wir messen daher Erkennung und Schutz getrennt. Wir prüfen auch, ob die behauptete Erkennung tatsächlich sichtbar und für den Kunden nützlich war. Letztlich liegt der Wert eines Sicherheitssystems darin, das Ergebnis eines Angriffs zu verändern, nicht nur darin, ihn zu beobachten.

Wenn Sicherheitsplattformen autonome Agenten einführen, die Alarme untersuchen und Gegenmaßnahmen ergreifen können, wie sollten unabhängige Labore den gesamten Mensch‑KI‑Workflow testen, anstatt die zugrunde liegende Erkennungstechnologie isoliert zu bewerten?

Der Test sollte den gesamten Prozess vom ersten bösartigen Vorgang bis zum finalen Sicherheitsergebnis abbilden, das entweder das vollständige Stoppen des Angriffs, dessen kompletten Erfolg oder einen Zwischenzustand darstellen kann.

Wir müssen untersuchen, was der Agent beobachtet hat, zu welchen Schlussfolgerungen er kam, was er empfohlen oder getan hat, was dem menschlichen Bediener gezeigt wurde und wie dieser reagierte (oder welche Optionen ihm präsentiert wurden). Das umfasst die Qualität der Beweise, die Klarheit der Übergabe, den erforderlichen Zeitaufwand, die Anzahl der Eingriffe und ob der Mensch die Entscheidung des Agenten verstehen, hinterfragen oder rückgängig machen konnte.

Verschiedene Betriebsmodi sind ebenfalls relevant. Ein Agent, der eine Maßnahme zur Genehmigung empfiehlt, birgt ein anderes Risiko als einer, der Systeme automatisch isolieren, Konten deaktivieren oder Sicherheitskontrollen ändern kann.

Ein System ist nicht erfolgreich, nur weil sein zugrunde liegender Detektor den Angriff erkannt hat. Wenn es eine unverständliche Warteschlange erzeugt, wichtige Beweise verbirgt, die falsche Reaktion empfiehlt oder eine störende Maßnahme ergreift, ist der gesamte Arbeitsablauf gescheitert. Unabhängige Tests sollten die kombinierte Leistung der Technologie, ihrer autonomen Komponenten und der Menschen, die sie einsetzen sollen, messen.

Ein Risiko standardisierter Sicherheitsbenchmarks besteht darin, dass Anbieter Produkte gezielt für den Test optimieren können. Wie kann unabhängiges Testen reproduzierbar und fair bleiben und gleichzeitig genug Unvorhersehbarkeit einführen, um zu zeigen, wie Produkte bei unbekannten Angriffen abschneiden?

Reproduzierbarkeit erfordert nicht, dass den Teilnehmenden die Prüfungsfragen im Voraus mitgeteilt werden.

Ein glaubwürdiger Test sollte seine Methodik, Umgebung, Bewertungsprinzipien, Produktkonfiguration und Evidenzanforderungen veröffentlichen. Anbieter sollten die Regeln verstehen und die faire Möglichkeit erhalten, zu überprüfen, dass ihre Produkte korrekt funktionieren. Die genaue Angriffskampagne, Payloads und einige Angriffswege sollten jedoch bis zur Durchführung des Tests unbekannt bleiben.

Zum Beispiel geben wir bei PIVOT nicht preis, welche Angriffsgruppen wir replizieren werden, bis die Tests abgeschlossen sind. Reale Ziele erhalten keinen Hinweis, bevor ein Angriff beginnt!

Wir können einen standardisierten Kern kombinieren, der den Vergleich über die Zeit ermöglicht, mit unbekannten Variationen, die die allgemeine Leistungsfähigkeit prüfen. Baselines und eine versteckte Ruhephase können zeigen, wie das Produkt vor dem Angriff reagiert. Anschließend sollte die Konfiguration kontrolliert, Protokolle gesichert und etwaige Behauptungen anhand der eigenen Evidenz des Testers geprüft werden.

Fairness bedeutet, für jeden Teilnehmenden dieselben Regeln und Evidenzstandards anzuwenden. Es bedeutet nicht, einen Angriff so vorhersehbar zu wiederholen, dass ein Anbieter den Benchmark erkennt, anstatt die Bedrohung zu erkennen.

Zudem hilft radikale Transparenz den Anbietern, Angriffe zu reproduzieren, was wichtig ist, wenn sie Probleme beheben wollen, etwa das Nicht‑Erkennen oder Schützen vor einer Bedrohung. SE Labs schult seine Kunden im Wesentlichen, wenn sie auf Probleme stoßen.

Autonome Sicherheitsagenten bringen eine andere Risikokategorie mit sich, weil eine falsche Entscheidung eine unnötige oder sogar störende Gegenmaßnahme auslösen könnte. Wie sollte das Testen falsche Positive, fehlerhafte Argumentation und potenziell schädliche autonome Aktionen neben der traditionellen Erkennungsgenauigkeit messen?

Traditionelles Testen von Fehlalarmen ist nur die erste Ebene. Bei einem autonomen Agenten müssen wir zwischen einem falschen Alarm, einer nicht gestützten Schlussfolgerung und einer falschen Aktion unterscheiden. Jede hat ein unterschiedliches potenzielles Ausmaß.

Tests sollten das System legitimen Aktivitäten aussetzen, die bösartigem Verhalten ähneln, sowie unvollständigen, mehrdeutigen oder irreführenden Evidenzen. Wenn der Agent unzuverlässige Inhalte verarbeitet, sollte geprüft werden, ob diese Inhalte seine Entscheidungen unzulässig beeinflussen können.

Die Argumentation sollte danach beurteilt werden, ob die Schlussfolgerung durch die verfügbaren Beweise gestützt wird, nicht danach, wie plausibel oder überzeugend die Erklärung klingt. Für autonome Aktionen sollten Umfang, Verhältnismäßigkeit, Berechtigungsnutzung, Genehmigungskontrollen, Nachvollziehbarkeit und Umkehrbarkeit gemessen werden.

Die Bewertung muss die Konsequenzen widerspiegeln. Ein unnötiger Alarm ist lästig; das Deaktivieren eines wichtigen Kontos oder das Isolieren eines kritischen Systems könnte die Organisation erheblich stören. Eine sinnvolle Sicherheitsmaßnahme muss daher sowohl die Häufigkeit von Fehlern als auch den Schaden, den jeder Fehler anrichten kann, berücksichtigen.

All das gesagt, wählt manchmal der Kunde eine Richtlinie, die Probleme verursacht. Das ist nicht zwingend die Schuld des Sicherheitsanbieters.

Generative KI und immer leistungsfähigere Open‑Source‑Modelle senken die Schwelle zur Automatisierung von Teilen des Angriffsprozesses. Erwarten Sie, dass KI Cyberangriffe grundlegend anspruchsvoller macht, oder ist die größere Gefahr, dass Angreifer einfach in deutlich größerem Umfang und mit höherer Geschwindigkeit operieren können?

Meine Erwartung ist, dass die unmittelbarere Gefahr in Umfang, Geschwindigkeit und reduzierten Kosten liegt.

KI kann Angreifern helfen, Informationen zu sammeln, Social Engineering zu personalisieren, Code zu modifizieren und Teile einer Kampagne zu koordinieren. Einige Angriffe werden dadurch anspruchsvoller, insbesondere wenn KI bestehende Techniken verknüpft oder sie an ein bestimmtes Ziel anpasst. Aber KI eliminiert nicht die Notwendigkeit von Zugriff, Anmeldedaten, ausnutzbaren Schwachstellen oder Fehlern der Verteidiger.

KI ist zudem nicht besonders gut darin, zuverlässige Exploits zu erzeugen, was selbst für einen erfahrenen Menschen schwer zu erreichen ist. Das verringert meiner starken Meinung nach die Wahrscheinlichkeit grundlegend komplexerer Angriffe.

Die größere Veränderung besteht darin, dass Aktivitäten, die früher Zeit, Können oder ein Team erforderten, nun schneller und auf viel mehr Ziele ausgeweitet werden können. KI kann die Kompetenz relativ gewöhnlicher Angreifer erhöhen und gleichzeitig fähigen Angreifern ermöglichen, mehr Operationen gleichzeitig durchzuführen.

Das ist bedeutend, selbst wenn die zugrunde liegenden Angriffstechniken nicht revolutionär sind. Die Gefahr besteht nicht unbedingt in einer völlig neuen Form von Cyberangriff, sondern darin, dass bekannte Angriffe schneller, günstiger, personalisierter und viel zahlreicher werden.

Während defensive und offensive KI‑Agenten autonomer werden, wie muss ein glaubwürdiges Umfeld für Cybersicherheitstests aussehen, um Schritt zu halten? Könnten wir irgendwann an einen Punkt gelangen, an dem Sicherheitsprodukte kontinuierlich von adaptiven KI‑Gegnern herausgefordert werden müssen, anstatt hauptsächlich durch periodische Sicherheitstests bewertet zu werden?

Ein glaubwürdiges Umfeld muss einer lebenden Organisation ähneln und nicht einer Sammlung isolierter Ziele. Es sollte Endgeräte, Identitätssysteme, E‑Mail, Netzwerke, Cloud‑Dienste, realistische Nutzer und normale Geschäftsaktivitäten umfassen. Außerdem muss es eine vollständige Instrumentierung bieten, sodass jede Entscheidung und jede Konsequenz rekonstruierbar ist.

Adaptiven Gegnern könnten Ziele und Grenzen vorgegeben werden, sodass sie ihre Wege anhand ihrer Entdeckungen und der Reaktion des Abwehrprodukts wählen können. Der Test müsste dennoch kontrollierte Ausgangsbedingungen, eine zuverlässige Beschreibung des tatsächlichen Ablaufs und die Möglichkeit, wichtige Ereignisse wiederzugeben, enthalten. Ohne diese Elemente könnte adaptives Testen beeindruckend wirken, aber wissenschaftlich schwach sein.

Ich erwarte, dass Tests zunehmend kontinuierlich werden, insbesondere wenn Produkte, Modelle und Richtlinien häufig geändert werden können. Dennoch sollte die kontinuierliche Herausforderung die periodische Vergleichstestung ergänzen, nicht ersetzen. Organisationen benötigen beides: kontrollierte Benchmarks wie PIVOT, die Verantwortung und Vergleich ermöglichen, sowie fortlaufende adaptive Bewertungen, die zeigen, wie Systeme reagieren, wenn sich Bedrohungen und die Produkte selbst verändern.

Ich denke, wir sollten uns mehr darüber Sorgen machen, dass relativ ungeschulte Menschen Systeme und Netzwerke kompromittieren können, als über die Roboter, die die nächste Generation von Cyberangriffstechnologien erschaffen.

Vielen Dank für das großartige Interview, Leser, die mehr erfahren möchten, sollten SE Labs besuchen.