Simon Edwards, CEO en oprichter van SE Labs – Interviewserie

Simon Edwards, CEO en oprichter van SE Labs, is een expert op het gebied van cybersecurity‑testen met meer dan drie decennia ervaring op het gebied van beveiligingsonderzoek, productevaluatie, technische journalistiek en industriële normen. Voor het oprichten van SE Labs in 2015 leidde Edwards Dennis Technology Labs, waar hij beveiligingstestinitiatieven aanstuurde, en bracht eerder vele jaren door als technologiejournalist en redacteur. Hij heeft ook senior leiderschapsposities bekleed bij de Anti-Malware Testing Standards Organization (AMTSO), waaronder voorzitter, directeur en co‑voorzitter. Edwards test beveiligingsproducten sinds het midden van de jaren 90 en was een pionier in vroege real‑world anti‑malware testmethoden die zijn ontworpen om te evalueren hoe beveiligingstechnologieën presteren tegen volledige, via internet geleverde aanvallen in plaats van geïsoleerde malware‑monsters.

SE Labs is een onafhankelijk cybersecurity‑test- en adviesbureau dat evalueert hoe beveiligingstechnologieën presteren tegen realistische aanvallen. Zijn onderzoekers repliceren aanvallersmethoden over de volledige aanvalsketen om producten te beoordelen, waaronder endpoint‑bescherming, Endpoint Detection and Response (EDR), cloudbeveiligingsdiensten, firewalls, e‑mailbeveiliging en netwerkdetectietechnologieën. Naast publiek vergelijkend testen biedt SE Labs certificering, geavanceerde beveiligingstesten, productvalidatie en adviesdiensten voor ondernemingen en cybersecurity‑leveranciers. Het bedrijf publiceert zijn testmethodologieën en dreemulsie‑kaders en is gecertificeerd volgens ISO/IEC 27001:2022 en BS EN ISO 9001:2015 voor het leveren van IT‑beveiligingsproducttesten.

Uw carrière beslaat meer dan drie decennia in technologiejournalistiek, beveiligingsconsultancy, onafhankelijk testen en leiderschapsrollen bij de Anti-Malware Testing Standards Organization (AMTSO). Hoe heeft die ervaring de manier beïnvloed waarop u echte vooruitgang in AI‑gedreven cybersecurity onderscheidt van technologieën die voornamelijk als “AI” worden gepresenteerd voor marketingdoeleinden?

Journalistiek leerde me om beweringen in vraag te stellen, terwijl onafhankelijk testen me leerde dat het enige betrouwbare antwoord uit bewijs voortkomt. Cybersecurity‑bedrijven gebruiken al vele jaren machine learning en geautomatiseerde besluitvorming, dus het toevoegen van “AI” aan een productnaam betekent niet per se een technische vooruitgang.

Drie basisdingen om te overwegen: wat doet de AI eigenlijk? Welke meetbare beveiligingsuitkomst verbetert het? En kan een onafhankelijke tester die verbetering reproduceren?

Als het antwoord simpelweg is dat het product een grote hoeveelheid data analyseert of een bestaand proces automatiseert, kan het AI‑label meer over positionering gaan dan over capaciteit.

Een echte vooruitgang presteert goed tegen onbekende of gloednieuwe aanvallen, verbetert bescherming of respons, vermindert de last voor analisten, en doet dit zonder onaanvaardbare risico’s te introduceren. Alles daarbuiten is ofwel geen verbetering of een achteruitgang!

“AI-driven” is een veelvoorkomende claim bij cybersecurity‑producten. Wat zijn de belangrijkste mogelijkheden die onafhankelijk getest moeten worden voordat een organisatie accepteert dat een AI‑gedreven beveiligingsplatform daadwerkelijk levert wat de leverancier belooft?

Ik zou niet beginnen met testen of een product AI bevat. Ik zou beginnen met het testen van de beveiligingsclaims die ervoor worden gemaakt. Het maakt mij niet echt uit hoe een product werkt, zolang het maar werkt. Dit is het exacte doel van het PIVOT testprogramma, dat momenteel veel aandacht krijgt in de sector.

Op deze manier testen betekent het product blootstellen aan volledige aanvallen en meten hoe het reageert. Het zou waarschijnlijk de activiteit moeten detecteren en vervolgens de aanval kunnen verhinderen om verder te gaan. Dit hangt af van hoe het product is gebouwd en geconfigureerd. En van de marketingclaims die de leverancier maakt.

We moeten ook het onderzoekverhaal dat aan de klant wordt gepresenteerd onderzoeken. Begriep het systeem wat er gebeurde, verbond het de relevante gebeurtenissen en maakte het bewijs zichtbaar voor de persoon die moet handelen?

De test moet onbekende variaties, realistische klantconfiguraties en normale bedrijfsactiviteiten omvatten. Het moet ook valse positieven, resource‑eisen en acties meten die potentieel onveilig kunnen zijn. Als het systeem autonoom is, moeten we weten wanneer het handelt, waarom het handelt, welke permissies het gebruikt en of zijn beslissingen ongedaan gemaakt kunnen worden.

We hebben enkele verhalen in het nieuws gezien over AI‑beveiliging die uit de hand loopt en zijn grenzen en mogelijk de wet overschrijdt. De belangrijke vraag is niet of het platform intelligent lijkt. Het is of het consequent betere en veiligere beveiligingsresultaten oplevert.

Autonome AI‑agenten kunnen potentieel verkenning, exploitatie, laterale beweging en andere fasen van een aanval veel sneller uitvoeren dan een menselijke aanvaller. Hoe moet cybersecurity‑testen veranderen wanneer aanvallen beginnen te opereren op machinesnelheid?

De testeenheid moet verschuiven van de individuele techniek naar de volledige campagne die onder tijdsdruk opereert. Met andere woorden, in plaats van verschillende aanvalsmethoden gedurende een ochtend of een week uit te proberen, moet het testen van bepaalde beveiligingsmaatregelen snel gebeuren. Anders is het niet realistisch, en realisme is zeer belangrijk.

Traditionele tests kunnen handige hiaten tussen fasen achterlaten zodat elk evenement afzonderlijk kan worden onderzocht. Een autonome aanvaller kan verkenning, uitbuiting en laterale beweging samendrukken tot een veel kortere periode. Dat kan zwakke punten blootleggen die niet zichtbaar zijn in langzamere tests, waaronder vertragingen in telemetrie, overbelaste systemen en verdedigingsacties die pas komen nadat de aanval zijn doel heeft bereikt.

Om een extreem eenvoudig voorbeeld te geven: als we een Mac hacken, al haar bestanden downloaden en de accountwachtwoorden stelen, heeft dat weinig nut als het antivirus een dag later met het slechte nieuws verschijnt.

Het testen van beveiligingsreacties op AI-aanvallers vereist daarom instrumentatie met hoge resolutie en precieze meting van detectie- en responstijd. Het moet onderzoeken of de prestaties verslechteren naarmate het volume en de snelheid van activiteit toenemen, en of de verdediging een aanval kan onderbreken zonder bij elke fase op een menselijke beslissing te wachten.

De aanval kan zich ook aanpassen aan wat ze ontdekt. Testen moet dat weerspiegelen, terwijl de grondwaarheid, bewijsmateriaal en herhaalbaarheid behouden blijven. Machinesnelheid mag niet betekenen dat de gecontroleerde methodologie wordt verlaten. We moeten blijven ontwerpen van gecontroleerde tests die gebeurtenissen kunnen uitvoeren en meten met dezelfde snelheid als de systemen die worden geëvalueerd.

SE Labs gebruikt realistische aanvalsscenario’s gebaseerd op de tactieken en technieken van bedreigingsgroepen zoals Scattered Spider. Hoe recreëert u deze tegenstanders in een gecontroleerde omgeving terwijl u ervoor zorgt dat de test weerspiegelt hoe een echte aanval zich zou ontvouwen in plaats van simpelweg te testen tegen een vooraf gedefinieerde checklist?

We beginnen met de doelstellingen, bekende gedragingen en waarschijnlijke besluitvorming van de tegenstander, in plaats van zijn technieken te behandelen als een boodschappenlijst.

De test volgt een realistische aanvalsketen via verkenning, eerste toegang, uitvoering, privilege‑escalatie, post‑compromitterende activiteit en laterale beweging. Belangrijk is dat de tester alleen informatie kan gebruiken die daadwerkelijk tijdens de verkenning en aanval is ontdekt. We geven de aanvaller geen kennis die in een echte inzet niet beschikbaar zou zijn.

Het scenario is begrensd en zorgvuldig gecontroleerd, maar het is niet simpelweg een reeks vooraf bepaalde knopdrukken. Als één route geblokkeerd is, kan de aanvaller een geloofwaardig alternatief volgen binnen de regels van de test. Dat stelt het beveiligingsproduct in staat om de manier waarop het scenario zich ontvouwt te beïnvloeden.

Tegelijkertijd wordt elke belangrijke actie en elk resultaat vastgelegd zodat we de uitkomst kunnen verklaren en producten eerlijk kunnen vergelijken. Gecontroleerd hoeft niet rigide gescript te zijn. Het moet veilig, observeerbaar en ondersteund door bewijs betekenen.

Cybersecurity-producten worden traditioneel sterk beoordeeld op hun vermogen om bedreigingen te detecteren. Waarom zouden organisaties steeds meer moeten kijken naar bescherming, containment en incidentrespons bij het evalueren van AI‑gedreven beveiligingssystemen?

Detectie is niet hetzelfde als verdediging. Een platform kan een nauwkeurige waarschuwing genereren terwijl de aanvaller nog steeds het doel kan bereiken. Daarom omvat het PIVOT-testprogramma zowel detectie als bescherming als gezamenlijke en afzonderlijke onderdelen van de algehele test.

U kunt cyberbeveiligingsdetectie vergelijken met een CCTV-camera. Deze moet een inbraak opmerken en u aanwijzingen geven over wat er is gebeurd, maar hij zal een indringer niet fysiek tegenhouden. Cyberbeveiligingsbescherming is veel actiever. Ze kan een aanvaller uitwerpen of op een andere manier neutraliseren, waardoor schade wordt voorkomen.

Organisaties moeten weten of het product de initiële activiteit heeft voorkomen, de aanvalsketen heeft onderbroken, laterale beweging heeft beperkt, belangrijke assets heeft beschermd en herstel heeft ondersteund. Als een aanval slaagt, zijn de volgende vragen hoe snel deze werd ingeperkt en of de klant voldoende betrouwbare informatie heeft ontvangen om effectief te reageren.

Dit wordt bijzonder belangrijk bij AI‑gedreven systemen, omdat ze, hoewel ze zeer overtuigende samenvattingen van wat er is gebeurd kunnen produceren, een overtuigende uitleg geen vervanging is voor bescherming. De uitleg moet ondersteund worden door bewijs en moet leiden tot een gepaste actie.

We meten daarom detectie en bescherming afzonderlijk. We onderzoeken ook of de beweerde detectie daadwerkelijk zichtbaar en bruikbaar was voor de klant. Uiteindelijk ligt de waarde van een beveiligingssysteem in het veranderen van de uitkomst van een aanval, niet alleen in het observeren ervan.

Naarmate beveiligingsplatformen autonome agenten introduceren die waarschuwingen kunnen onderzoeken en herstelacties kunnen uitvoeren, hoe moeten onafhankelijke labs de volledige mens‑en‑AI‑werkstroom testen in plaats van de onderliggende detectietechnologie in isolatie te evalueren?

De test moet het volledige proces volgen van de eerste kwaadaardige activiteit tot het uiteindelijke beveiligingsresultaat, dat kan zijn dat de aanval wordt gestopt of volledig slaagt – of ergens daartussenin.

We moeten onderzoeken wat de agent heeft waargenomen, wat hij heeft geconcludeerd, wat hij heeft aanbevolen of gedaan, wat de menselijke operator te zien kreeg en hoe de operator reageerde (of welke opties hem werden gepresenteerd). Dat omvat de kwaliteit van het bewijs, de duidelijkheid van de overdracht, de benodigde tijd, het aantal interventies en of de mens de beslissing van de agent kon begrijpen, betwisten of terugdraaien.

Verschillende bedrijfsmodi zijn ook van belang. Een agent die een actie aanbeveelt voor goedkeuring brengt een ander risico met zich mee dan een agent die systemen automatisch kan isoleren, accounts kan uitschakelen of beveiligingscontroles kan aanpassen.

Een systeem is niet geslaagd alleen omdat de onderliggende detector de aanval heeft geïdentificeerd. Als het een onbegrijpelijke wachtrij creëert, belangrijk bewijs verbergt, de verkeerde respons aanbeveelt of een verstorende actie onderneemt, is de algehele workflow mislukt. Onafhankelijke tests moeten de gecombineerde prestaties van de technologie, de autonome componenten en de mensen die ze moeten gebruiken meten.

Een risico van gestandaardiseerde beveiligingsbenchmarks is dat leveranciers hun producten specifiek voor de test kunnen optimaliseren. Hoe kan onafhankelijke testing reproduceerbaar en eerlijk blijven, terwijl er toch voldoende onvoorspelbaarheid wordt geïntroduceerd om te laten zien hoe producten presteren tegen onbekende aanvallen?

Reproduceerbaarheid vereist niet dat deelnemers de examenvragen van tevoren krijgen.

Een geloofwaardige test moet haar methodologie, omgeving, beoordelingsprincipes, productconfiguratie en bewijsvereisten publiceren. Leveranciers moeten de regels begrijpen en een eerlijke kans krijgen om te verifiëren dat hun producten correct functioneren. De precieze aanvalscampagne, payloads en sommige aanvalspaden moeten echter onbekend blijven tot de test wordt uitgevoerd.

Bijvoorbeeld, in PIVOT onthullen we niet welke aanvalsgroepen we gaan repliceren totdat de test is afgerond. Werkelijke doelwitten krijgen geen waarschuwing voordat een aanval begint!

We kunnen een standaard kern combineren, die vergelijking over tijd ondersteunt, met onbekende variaties die de algemene capaciteit testen. Baseline‑meting en een verborgen stille periode kunnen vaststellen hoe het product zich gedraagt vóór de aanval. De configuratie moet vervolgens worden gecontroleerd, logs bewaard en eventuele claims getoetst aan het eigen bewijs van de tester.

Eerlijkheid betekent dat dezelfde regels en bewijsstandaarden op elke deelnemer worden toegepast. Het betekent niet dat een aanval zo voorspelbaar wordt herhaald dat een leverancier de benchmark herkent in plaats van de dreiging.

Bovendien helpt radicale transparantie leveranciers om aanvallen te reproduceren, wat belangrijk is als ze problemen willen oplossen die ze tegenkomen, zoals het niet detecteren of beschermen tegen een dreiging. SE Labs traint haar klanten in feite wanneer ze tegen problemen aanlopen.

Autonome beveiligingsagents introduceren een andere risicocategorie omdat een foutieve beslissing een onnodige of zelfs verstorende remediëringsactie kan veroorzaken. Hoe moet testing valse positieven, onjuiste redeneringen en potentieel schadelijke autonome acties meten naast traditionele detectienauwkeurigheid?

Traditionele testing van valse positieven is slechts de eerste laag. Bij een autonome agent moeten we onderscheid maken tussen een valse waarschuwing, een niet‑ondersteunde conclusie en een onjuiste actie. Elk heeft een ander potentieel effect.

Tests moeten het systeem blootstellen aan legitieme activiteiten die kwaadaardig gedrag nabootsen, evenals aan onvolledig, ambigu of misleidend bewijs. Als de agent onbetrouwbare inhoud consumeert, moet testing ook onderzoeken of die inhoud de beslissingen onjuist kan beïnvloeden.

De redenering moet worden beoordeeld op basis van of de conclusie wordt ondersteund door het beschikbare bewijs, niet op hoe plausibel of zelfverzekerd de uitleg klinkt. Voor autonome acties moeten we reikwijdte, proportionaliteit, gebruik van permissies, goedkeuringscontroles, auditbaarheid en omkeerbaarheid meten.

De scoring moet de consequenties weerspiegelen. Een onnodige waarschuwing is ongemak; het uitschakelen van een belangrijk account of het isoleren van een kritisch systeem kan de organisatie verstoren. Een nuttige veiligheidsmaatregel moet daarom zowel de frequentie van fouten als de schade die elke fout kan veroorzaken in overweging nemen.

Dat gezegd hebbende, kiest de klant soms een beleid dat problemen veroorzaakt. Dit is niet per se de schuld van de beveiligingsleverancier.

Generatieve AI en steeds capabelere open‑source‑modellen verlagen de drempel om delen van het aanvalproces te automatiseren. Verwacht je dat AI cyberaanvallen fundamenteel verfijnder maakt, of is het grotere gevaar dat aanvallers simpelweg op een dramatisch grotere schaal en snelheid kunnen opereren?

Mijn verwachting is dat het meer onmiddellijke gevaar schaal, snelheid en verlaagde kosten zijn.

AI kan aanvallers helpen informatie te verzamelen, social engineering te personaliseren, code te wijzigen en delen van een campagne te coördineren. Sommige aanvallen zullen daardoor verfijnder worden, vooral wanneer AI helpt bestaande technieken te verbinden of aan te passen aan een specifiek doelwit. Maar AI verwijdert niet de noodzaak voor toegang, inloggegevens, uitbuitbare zwaktes of fouten van verdedigers.

AI is bovendien niet erg goed in het produceren van betrouwbare exploits, wat al moeilijk genoeg is voor een bekwame mens om te bereiken. Dus dat verkleint, naar mijn sterke mening, de kans op fundamenteel meer verfijnde aanvallen.

De grotere verandering is dat activiteiten die voorheen tijd, vaardigheid of een team van mensen vereisten, nu sneller en op veel meer doelwitten kunnen worden geprobeerd. AI kan de competentie van relatief gewone aanvallers verhogen terwijl het capabele aanvallers in staat stelt meer operaties gelijktijdig uit te voeren.

Dat is significant, zelfs als de onderliggende aanvalstechnieken niet revolutionair zijn. Het gevaar is niet per se een volledig nieuwe vorm van cyberaanval. Het zijn bekende aanvallen die sneller, goedkoper, meer gepersonaliseerd en veel talrijker worden.

Naarmate defensieve en offensieve AI‑agenten autonomer worden, hoe moet een geloofwaardige testomgeving voor cyberbeveiliging eruitzien om gelijke tred te houden? Kunnen we uiteindelijk een punt bereiken waarop beveiligingsproducten continu moeten worden uitgedaagd door adaptieve AI‑tegenstanders in plaats van voornamelijk te worden geëvalueerd via periodieke beveiligingstests?

Een geloofwaardige omgeving moet lijken op een levende organisatie in plaats van een verzameling geïsoleerde doelwitten. Het moet eindpunten, identiteitsystemen, e‑mail, netwerken, clouddiensten, realistische gebruikers en normale bedrijfsactiviteiten omvatten. Het moet bovendien volledige instrumentatie bieden zodat elke beslissing en consequentie kan worden gereconstrueerd.

Adaptieve tegenstanders kunnen doelstellingen en grenzen krijgen, waarna ze routes mogen kiezen op basis van wat ze ontdekken en hoe het verdedigingsproduct reageert. De test moet nog steeds gecontroleerde startcondities hebben, een betrouwbare beschrijving van wat er daadwerkelijk is gebeurd en de mogelijkheid om belangrijke gebeurtenissen te herhalen. Zonder die zaken kan adaptief testen indrukwekkend lijken, maar wetenschappelijk zwak zijn.

Ik verwacht dat testen steeds meer continu zal worden, vooral wanneer producten, modellen en beleidsregels vaak kunnen veranderen. Continue uitdaging moet echter periodiek vergelijkend testen aanvullen in plaats van vervangen. Organisaties hebben beide nodig: gecontroleerde benchmarks zoals PIVOT die verantwoording en vergelijking ondersteunen, en doorlopende adaptieve evaluatie die onthult hoe systemen zich gedragen naarmate de dreigingen en de producten zelf veranderen.

Ik denk dat we ons meer moeten zorgen over het feit dat relatief ongeschoolde mensen systemen en netwerken kunnen binnendringen, dan over de robots die de volgende generatie cyberaanvalstechnologie creëren.

Bedankt voor het geweldige interview, lezers die meer willen weten, kunnen SE Labs bezoeken.