Simon Edwards, CEO a zakladatel SE Labs – série rozhovorů

Simon Edwards, CEO a zakladatel SE Labs, je odborník na testování kybernetické bezpečnosti s více než třemi desetiletími zkušeností zahrnujícími výzkum bezpečnosti, hodnocení produktů, technický žurnalismus a průmyslové standardy. Před založením SE Labs v roce 2015 Edwards vedl Dennis Technology Labs, kde řídil iniciativy v oblasti testování bezpečnosti, a dříve strávil mnoho let jako technologický novinář a redaktor. Také zastával vrcholové vedoucí pozice v Anti-Malware Testing Standards Organization (AMTSO), včetně funkce předsedy, ředitele a spoluvedoucího. Edwards testuje bezpečnostní produkty od poloviny 90. let a byl průkopníkem raných reálných testovacích přístupů proti malwaru, navržených k hodnocení, jak bezpečnostní technologie fungují proti kompletním, internetem doručovaným útokům, nikoli proti izolovaným vzorkům malwaru.

SE Labs je nezávislá společnost zabývající se testováním a poradenstvím v oblasti kybernetické bezpečnosti, která hodnotí, jak bezpečnostní technologie fungují proti realistickým útokům. Její výzkumníci napodobují techniky útočníků po celé řetězci útoku, aby posoudili produkty včetně ochrany koncových bodů, Endpoint Detection and Response (EDR), cloudových bezpečnostních služeb, firewallů, e‑mailové bezpečnosti a technologií pro detekci v síti. Vedle veřejného srovnávacího testování SE Labs poskytuje certifikaci, pokročilé testování bezpečnosti, validaci produktů a poradenské služby pro podniky i dodavatele kybernetické bezpečnosti. Společnost publikuje své metodiky testování a rámce pro emulaci hrozeb a je certifikována podle ISO/IEC 27001:2022 a BS EN ISO 9001:2015 pro poskytování testování IT bezpečnostních produktů.

Vaše kariéra zahrnuje více než tři desetiletí v technologickém žurnalismu, bezpečnostním poradenství, nezávislém testování a vedoucích rolích v Anti-Malware Testing Standards Organization (AMTSO). Jak tato zkušenost formovala váš přístup k odlišení skutečných pokroků v AI‑poháněné kybernetické bezpečnosti od technologií, které jsou převážně prezentovány jako „AI“ pro marketingové účely?

Žurnalismus mě naučil zpochybňovat tvrzení, zatímco nezávislé testování mě naučilo, že jediná spolehlivá odpověď pochází z důkazů. Společnosti v oblasti kybernetické bezpečnosti používají strojové učení a automatizované rozhodování již mnoho let, takže přidání „AI“ k názvu produktu nutně neznamená technický pokrok.

Tři základní věci, které je třeba zvážit: Co AI ve skutečnosti dělá? Jaký měřitelný bezpečnostní výsledek zlepšuje? A dokáže nezávislý tester tuto zlepšení reprodukovat?

Pokud je odpovědí jednoduše, že produkt analyzuje velké množství dat nebo automatizuje existující proces, může být označení AI spíše otázkou marketingového umístění než skutečné schopnosti.

Opravdový pokrok funguje dobře proti neznámým nebo zcela novým útokům, zlepšuje ochranu či reakci, snižuje zátěž analytiků a činí tak, aniž by zaváděl nepřijatelné riziko. Cokoliv jiného je buď žádné zlepšení, nebo dokonce krok zpět!

„AI‑driven“ se stalo běžným tvrzením u produktů kybernetické bezpečnosti. Jaké jsou nejdůležitější schopnosti, které by měly být nezávisle otestovány, než organizace přijme, že platforma zabezpečení poháněná AI skutečně dodává to, co dodavatel slibuje?

Nebyl bych začínat testováním, zda produkt obsahuje AI. Začal bych testováním bezpečnostních tvrzení, která jsou pro něj předkládána. Nezáleží mi příliš na tom, jak produkt funguje, pokud funguje. To je přesně cíl testovacího programu PIVOT, který v současnosti získává ve průmyslu značnou pozornost.

Tento způsob testování znamená vystavit produkt kompletním útokům a měřit, jak na ně reaguje. Měl by pravděpodobně detekovat aktivitu a následně může zabránit dalšímu postupu útoku. To závisí na tom, jak je produkt postaven a nakonfigurován, a na marketingových tvrzeních, která jeho dodavatel uvádí.

Také musíme prozkoumat vyšetřovací příběh předložený zákazníkovi. Rozuměl systém tomu, co se stalo, spojil relevantní události a zpřístupnil důkazy osobě, která musí na základě nich jednat?

Test by měl zahrnovat neznámé varianty, realistické konfigurace zákazníka a běžnou podnikatelskou činnost. Musí také měřit falešná poplachy, požadavky na zdroje a akce, které lze považovat za potenciálně nebezpečné. Pokud je systém autonomní, musíme vědět, kdy jedná, proč jedná, jaká oprávnění používá a zda lze jeho rozhodnutí zvrátit.

V médiích jsme zaznamenali několik příběhů o tom, že AI bezpečnost selhala a překročila své hranice a možná i zákon. Důležitá otázka není, zda platforma vypadá inteligentně, ale zda poskytuje konzistentně lepší a bezpečnější bezpečnostní výsledky.

Autonomní AI agenti mohou potenciálně provádět průzkum, exploitaci, laterální pohyb a další fáze útoku mnohem rychleji než lidský útočník. Jak by se mělo testování kybernetické bezpečnosti změnit, když útoky začnou operovat rychlostí stroje?

Jednotka testování musí přejít od jednotlivých technik k celé kampani probíhající pod časovým tlakem. To znamená, že místo zkoušení různých způsobů útoku během dopoledne či týdne je nutné testovat určité bezpečnostní opatření rychle. Jinak to není realistické a realismus je velmi důležitý.

Tradiční testy mohou mezi jednotlivými fázemi zanechávat pohodlné mezery, aby bylo možné každou událost zkoumat samostatně. Autonomní útočník může zkomprimovat průzkum, zneužití a laterální pohyb do mnohem kratšího období. To může odhalit slabiny, které nejsou viditelné při pomalejších testech, včetně zpoždění v telemetrii, přetížených systémů a obranných akcí, které přicházejí až poté, co útok dosáhne svého cíle.

Abych vám dal naprosto jednoduchý příklad, pokud se nabouráme do Macu, stáhneme všechny jeho soubory a ukradneme hesla k účtům, není to moc užitečné, pokud antivirový program oznámí špatnou zprávu až den poté.

Testování bezpečnostních reakcí na útočníky využívající AI proto vyžaduje vysoce rozlišené měření a přesné sledování latence detekce a reakce. Mělo by zkoumat, zda se výkon zhoršuje s rostoucím objemem a rychlostí aktivit, a zda se obrana dokáže zásahem přerušit útok, aniž by čekala na lidské rozhodnutí v každé fázi.

Útok se může také přizpůsobovat tomu, co objeví. Testování musí toto odrážet při zachování pravdivých dat, důkazů a možnosti opakování. Rychlost strojů by neměla znamenat opuštění kontrolované metodiky. Musíme nadále navrhovat kontrolované testy, které dokážou operovat a měřit události stejnou rychlostí jako systémy, které hodnotíme.

SE Labs používá realistické scénáře útoků založené na taktikách a technikách hrozebních skupin, jako je Scattered Spider. Jak znovu vytvořit tyto protivníky v kontrolovaném prostředí a zároveň zajistit, aby test odrážel, jak by se skutečný útok vyvíjel, místo pouhého testování podle předdefinovaného kontrolního seznamu?

Začínáme s cíli protivníka, známými chováními a pravděpodobným rozhodováním, místo toho, abychom jeho techniky považovali za nákupní seznam.

Test sleduje realistický řetězec útoku přes průzkum, počáteční přístup, exekuci, eskalaci oprávnění, činnost po kompromitaci a laterální pohyb. Důležité je, že tester může použít jen informace skutečně objevené během průzkumu a útoku. Útočníkovi nedáváme znalosti, které by v reálném nasazení nebyly dostupné.

Scénář je omezený a pečlivě kontrolovaný, ale není to jen sekvence předem určených stisků tlačítek. Pokud je jedna cesta zablokována, útočník může v rámci pravidel testu zvolit věrohodnou alternativu. To umožňuje bezpečnostnímu produktu ovlivnit, jak se scénář vyvíjí.

Současně je zaznamenána každá důležitá akce a výsledek, aby bylo možné výsledek vysvětlit a produkty spravedlivě porovnat. Kontrola nemusí znamenat striktně skriptované postupy. Měla by znamenat bezpečné, pozorovatelné a podložené důkazy.

Produkty v oblasti kybernetické bezpečnosti byly tradičně hodnoceny především podle jejich schopnosti detekovat hrozby. Proč by organizace měly stále častěji zohledňovat ochranu, zadržení a reakci na incidenty při hodnocení AI‑poháněných bezpečnostních systémů?

Detekce není totéž jako obrana. Platforma může generovat přesné upozornění a přesto útočníkovi umožnit dosáhnout cíle. Proto program testování PIVOT zahrnuje jak detekci, tak ochranu jako společné i samostatné části celkového testování.

Detekci v kybernetické bezpečnosti můžete přirovnat ke kameře CCTV. Měla by zaznamenat vniknutí a poskytnout vám vodítka o tom, co se stalo, ale fyzicky nezastaví vetřelce. Ochrana v kybernetické bezpečnosti je mnohem aktivnější. Může útočníka vyhodit nebo jinak neutralizovat a tím zabránit škodě.

Organizace potřebují vědět, zda produkt zabránil počáteční aktivitě, přerušil řetězec útoku, omezil laterální pohyb, chránil důležité aktiva a podpořil obnovu. Pokud útok uspěje, další otázky jsou, jak rychle byl zadržen a zda zákazník obdržel dostatečně spolehlivé informace k efektivní reakci.

To se stává zvláště důležité u AI‑poháněných systémů, protože i když mohou vytvářet velmi přesvědčivé souhrny událostí, přesvědčivé vysvětlení nenahrazuje ochranu. Vysvětlení musí být podloženo důkazy a vést k odpovídajícímu kroku.

Proto měříme detekci a ochranu odděleně. Také zkoumáme, zda byla tvrzená detekce skutečně viditelná a užitečná pro zákazníka. Nakonec hodnota bezpečnostního systému spočívá v tom, že mění výsledek útoku, nikoli jen v jeho pozorování.

Jak by měly nezávislé laboratoře testovat celý workflow člověk‑AI, když bezpečnostní platformy zavádějí autonomní agenty schopné vyšetřovat upozornění a provádět nápravná opatření, místo aby hodnotily samotnou detekční technologii izolovaně?

Test by měl sledovat celý proces od první škodlivé aktivity až po konečný bezpečnostní výsledek, kterým může být útok zastaven, úplně úspěšný nebo něco mezi tím.

Musíme zkoumat, co agent zaznamenal, k čemu dospěl, co doporučil nebo udělal, co byl lidskému operátorovi předveden a jak operátor reagoval (nebo jaké možnosti mu byly nabídnuty). To zahrnuje kvalitu důkazů, jasnost předání, potřebný čas, počet zásahů a zda člověk dokázal rozhodnutí agenta pochopit, zpochybnit nebo obrátit.

Různé provozní režimy také mají význam. Agent, který doporučuje akci ke schválení, představuje jiné riziko než ten, který může automaticky izolovat systémy, deaktivovat účty nebo měnit bezpečnostní kontroly.

Systém neuspěl jen proto, že jeho podkladový detektor identifikoval útok. Pokud vytvoří nepochopitelnou frontu, skryje důležité důkazy, doporučí špatnou reakci nebo provede rušivou akci, celkový pracovní postup selhal. Nezávislé testování by mělo měřit kombinovaný výkon technologie, jejích autonomních komponent a lidí, kteří je mají používat.

Jedním rizikem standardizovaných bezpečnostních benchmarků je, že dodavatelé mohou optimalizovat produkty konkrétně pro test. Jak může nezávislé testování zůstat reprodukovatelné a spravedlivé a zároveň zavést dostatečnou nepředvídatelnost, aby odhalilo, jak produkty fungují proti neznámým útokům?

Reprodukovatelnost nevyžaduje, aby účastníkům byly předem poskytnuty otázky zkoušky.

Důvěryhodný test by měl zveřejnit svou metodologii, prostředí, principy hodnocení, konfiguraci produktu a požadavky na důkazy. Dodavatelé by měli rozumět pravidlům a mít spravedlivou příležitost ověřit, že jejich produkty fungují správně. Přesná útočná kampaň, nosiče a některé útočné cesty by však měly zůstat neznámé až do provedení testu.

Například v PIVOT neodhalujeme, které útočné skupiny budeme napodobovat, dokud není testování dokončeno. Skutečné cíle nedostanou předběžné upozornění před zahájením útoku!

Můžeme kombinovat standardní jádro, které podporuje srovnání v čase, s neznámými variacemi testujícími obecnou schopnost. Základní linie a skrytá klidová období mohou ukázat, jak se produkt chová před útokem. Konfigurace by pak měla být řízena, logy uchovány a veškeré tvrzení ověřeny proti vlastním důkazům testera.

Spravedlnost znamená uplatňovat stejná pravidla a standardy důkazů na každého účastníka. Neznamená to opakovat útok tak předvídatelně, aby si dodavatel mohl rozpoznat benchmark místo rozpoznání hrozby.

Navíc radikální transparentnost pomáhá dodavatelům reprodukovat útoky, což je důležité, pokud chtějí opravit jakékoli problémy, na které narazí, například selhání při detekci nebo ochraně před hrozbou. SE Labs v podstatě školí své klienty, když narazí na problémy.

Autonomní bezpečnostní agenti zavádějí jinou kategorii rizika, protože falešné rozhodnutí může spustit zbytečnou nebo dokonce rušivou nápravnou akci. Jak by mělo testování měřit falešné poplachy, nesprávné uvažování a potenciálně škodlivé autonomní akce spolu s tradiční přesností detekce?

Tradiční testování falešných poplachů je jen první vrstva. U autonomního agenta musíme rozlišovat mezi falešným upozorněním, nepodloženým závěrem a nesprávnou akcí. Každý má odlišný potenciální dopad.

Testy by měly vystavit systém legitimní aktivitě, která připomíná škodlivé chování, stejně jako neúplným, nejednoznačným nebo zavádějícím důkazům. Pokud agent konzumuje nedůvěryhodný obsah, testování by mělo také zkoumat, zda může tento obsah nesprávně ovlivnit jeho rozhodnutí.

Uvažování by mělo být posuzováno podle toho, zda je závěr podložen dostupnými důkazy, nikoli podle toho, jak věrohodné nebo sebejisté se vysvětlení zdá. Pro autonomní akce bychom měli měřit rozsah, proporcionalitu, využití oprávnění, kontrolu schválení, auditovatelnost a možnost zpětného kroku.

Hodnocení musí odrážet důsledky. Zbytečný poplach je nepohodlný; deaktivace důležitého účtu nebo izolace kritického systému může narušit organizaci. Užitečné bezpečnostní opatření tedy musí zohlednit jak četnost chyb, tak škody, které každá chyba může způsobit.

Přesto někdy zákazník zvolí politiku, která způsobí problémy. To není nutně vina poskytovatele bezpečnostních řešení.

Generativní AI a stále výkonnější open-source modely snižují bariéru k automatizaci částí útočného procesu. Očekáváte, že AI učiní kybernetické útoky podstatně sofistikovanějšími, nebo je větší nebezpečí, že útočníci budou jednoduše schopni operovat v dramaticky větším měřítku a rychlosti?

Můj odhad je, že bezprostřednější nebezpečí jsou měřítko, rychlost a snížené náklady.

AI může útočníkům pomoci shromažďovat informace, personalizovat sociální inženýrství, upravovat kód a koordinovat části kampaně. Některé útoky se v důsledku toho stanou sofistikovanějšími, zejména když AI pomáhá propojit existující techniky nebo je přizpůsobit konkrétnímu cíli. Ale AI neodstraňuje potřebu přístupu, přihlašovacích údajů, zneužitelných slabin nebo chyb obránců.

AI také není příliš dobrá v tvorbě spolehlivých exploitů, což je pro zkušeného člověka již dost obtížné. To tedy snižuje pravděpodobnost podstatně sofistikovanějších útoků, podle mého pevného názoru.

Větší změnou je, že činnosti, které dříve vyžadovaly čas, dovednosti nebo tým lidí, lze nyní provádět rychleji a na mnohem více cílech. AI může zvýšit kompetence relativně běžných útočníků a zároveň umožnit schopným útočníkům provádět více operací současně.

To je významné i když základní útočné techniky nejsou revoluční. Nebezpečí není nutně zcela nová forma kybernetického útoku. Jedná se o známé útoky, které se stávají rychlejšími, levnějšími, osobnějšími a mnohem početnějšími.

Jak se obranné i útočné AI agenty stávají autonomnějšími, jak by měl vypadat důvěryhodný testovací prostředí pro kybernetickou bezpečnost, aby držel krok? Můžeme nakonec dosáhnout bodu, kdy budou bezpečnostní produkty neustále zpochybňovány adaptivními AI protivníky místo toho, aby byly hodnoceny převážně prostřednictvím periodických bezpečnostních testů?

Důvěryhodné prostředí bude muset připomínat fungující organizaci spíše než soubor izolovaných cílů. Mělo by zahrnovat koncové body, systémy identity, e‑mail, sítě, cloudové služby, realistické uživatele a běžnou obchodní činnost. Musí také poskytovat kompletní instrumentaci, aby bylo možné rekonstruovat každé rozhodnutí a jeho důsledek.

Adaptivním protivníkům by mohly být zadány cíle a hranice, po nichž by jim bylo umožněno volit cesty podle toho, co objeví a jak reaguje obranný produkt. Test by i nadále potřeboval kontrolované výchozí podmínky, spolehlivý popis toho, co se skutečně stalo, a možnost přehrát důležité události. Bez těchto prvků by adaptivní testování mohlo vypadat působivě, ale bylo by vědecky slabé.

Očekávám, že testování se stane kontinuálnějším, zejména když se produkty, modely a politiky mohou často měnit. Nicméně kontinuální výzva by měla doplňovat, nikoli nahrazovat periodické srovnávací testování. Organizace potřebují obojí: kontrolované benchmarky jako PIVOT, které podporují odpovědnost a srovnání, a průběžné adaptivní hodnocení, které odhaluje, jak systémy reagují na měnící se hrozby i samotné produkty.

Myslím, že bychom se měli více obávat toho, že relativně nešikovní lidé mohou prolomit systémy a sítě, než robotů, kteří vytvářejí další generaci technologií kybernetických útoků.

Děkujeme za skvělý rozhovor, čtenáři, kteří se chtějí dozvědět více, by měli navštívit SE Labs.