Myslitelé

Umělá inteligence může zvýšit rozsah bezpečnostních operací. Ale čeho?

Eyal Fisher
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyZpracování většího množství dat automaticky nezlepšuje detekci hrozeb bez organizačního…
Zobrazit více
  • Zpracování většího množství dat automaticky nezlepšuje detekci hrozeb bez organizačního kontextu.
  • Doladěné modely mohou podporovat rozsáhlá vyšetřování s předvídatelnějšími náklady než špičkové modely.
  • Autonomie by měla být úměrná riziku a správa by měla být navržena dříve, než jsou agenti škálováni.

Podnikové bezpečnostní týmy dnes čelí většímu množství aktivit, telemetrických dat a upozornění, než kolik jich dokážou realisticky prověřit ručně. Odhady se liší, některé výzkumy však naznačují, že průměrný tým bezpečnostních operací dostává více než 4 400 upozornění denně. S tím, jak organizace rostou a přidávají další nástroje a jak umělá inteligence umožňuje další útoky, bude toto číslo nevyhnutelně stoupat. Už dnes vidíme podniky, které mají ve svém prostředí dva miliony koncových bodů, a bezpečnostní týmy, které tato upozornění prověřují ručně. Proti útočníkům, kteří stále častěji využívají autonomní agenty, tak svádějí nerovný boj.

Agenti s umělou inteligencí mohou obráncům pomoci změnit situaci tím, že převezmou vyšetřování a další opakující se úkoly napříč prostředím. Schopnost zpracovat více dat však automaticky neznamená lepší detekci hrozeb ani účinnější reakci. Potřebujeme nejen větší rozsah, ale také kontext.

Proč je při posuzování rozsahu důležitý kontext

Agent, který prověřuje miliony koncových bodů, musí vědět, co hledá, jaké chování je v daném prostředí neobvyklé a které nálezy vyžadují další prověření. Bez tohoto kontextu hrozí, že automatizace znásobí množství šumu a povede k irelevantním nebo zavádějícím závěrům.

Je také důležité mít na paměti, že ne každá organizace si bude moci dovolit využívat špičkové modely k prověřování každého upozornění; bylo by to příliš nákladné.

Bezpečnostní prostředí se liší používanou infrastrukturou, aplikacemi, provozními požadavky, regulatorními povinnostmi i tolerancí rizika. Obránci musí udržovat aplikace v chodu, plnit požadavky na dodržování předpisů a zároveň předcházet narušení provozu.

Aby byli agenti efektivní, musí zohledňovat znalosti dané organizace, včetně výsledků dřívějších šetření, zavedených postupů a úsudku zkušených analytiků. Velkou část těchto znalostí nelze agentovi jednoduše předat v tabulce ani jiném formátu; musí je získat pozorováním a učením se od zkušených obránců při práci.

Pro podniky je zásadní otázkou, jak tyto institucionální znalosti převést do systémů, které dokážou činit konzistentní rozhodnutí odpovídající danému kontextu rychlostí strojového zpracování.

Jak převést znalosti organizace do praxe

Organizace potřebují mechanismy k zachycení a využití znalostí, které ovlivňují průběh šetření, včetně rozhodnutí v předchozích případech, zavedených postupů a způsobů, jakými analytici interpretují důkazy. Podniky mohou mít také vlastní specifické procesy a nástroje i neformálně sdílené know-how, které je třeba zachytit.

Jedním z možných přístupů je specializace modelů. Doladění modelů pro jednotlivé podnikové zákazníky může umožnit rozsáhlá šetření s předvídatelnějšími náklady při zachování vysoké výkonnosti. Doladěné modely s otevřeným zdrojovým kódem mohou být obzvlášť užitečné pro úkoly zahrnující velmi rozsáhlé soubory koncových bodů.

Organizace musí také vyhodnocovat výkonnost agentů v době, kdy se mění modely, pracovní postupy i podniková prostředí. Syntetická prostředí neboli digitální dvojčata mohou posloužit jako reprezentativní podmínky pro testování různých verzí agentů v případech, kdy už produkční data nejsou dostupná nebo jsou zastaralá.

Doladění modelu není jediným způsobem, jak mu poskytnout kontext. Alternativními přístupy jsou vyhledávání informací, paměť, orchestrací pracovních postupů a explicitní pravidla. Zásadní je, aby zvolená metoda zlepšovala výkonnost agenta v prostředí, ve kterém bude pracovat.

Autonomie ve velkém měřítku vyžaduje jasné hranice, dohled a koordinaci

Správné rozpoznání hrozby je jen částí problému. Agenti musí vědět, jaké kroky jsou oprávněni podniknout, kdy je nutný souhlas člověka a jak nenarušit legitimní provoz podniku. Pro důvěryhodné nasazení je nezbytné určit, kdy mohou agenti jednat samostatně a kdy je třeba lidské rozhodnutí.

Autonomie ve velkém měřítku vyžaduje také úspory z rozsahu. Firmy, které budou používat špičkové modely k provádění milionů šetření, samy sebe přivedou k bankrotu. Proto je zásadní najít co nejefektivnější způsob provádění šetření pomocí modelu umělé inteligence, ať už jde o malý jazykový model (SLM), nebo proprietární model.

Míra autonomie by měla odpovídat míře rizika. Rutinní a dobře známé úkoly mohou být vhodné k autonomnímu provádění, zatímco závažné nebo provoz narušující kroky mohou vyžadovat souhlas člověka nebo další oprávnění. Podniková bezpečnost závisí také na koordinaci mezi týmy. Pokud šetření odhalí hrozbu vyžadující změnu konfigurace firewallu, musí být její řešení plynule předáno týmu odpovědnému za daný systém a zároveň musí být zajištěna příslušná oprávnění i odpovědnost za nápravu.

Správa a řízení i návrh pracovních postupů jsou proto zásadní součástí nasazování agentů, nikoli opatřeními, která lze doplnit až poté, co se technologie rozšíří.

Dalším měřítkem úspěchu umělé inteligence v bezpečnosti bude kvalita jejích výsledků

Organizace by měly agenty hodnotit podle ukazatelů založených na výsledcích, včetně přesnosti vyšetřování, míry falešně pozitivních a falešně negativních nálezů, času potřebného k vyšetření a nápravě, nákladů na jedno vyšetřování, kvality eskalací a dodržování zásad autorizace.

Průběžné vyhodnocování je zásadní, protože modely a pracovní postupy se mění. Testování různých verzí agentů na reprezentativních případech a využívání syntetických prostředí může organizacím pomoci odhalit regresi ještě před nasazením aktualizací do produkčního prostředí.

Vedoucí pracovníci odpovědní za bezpečnost musí vyvažovat přínosy automatizace s provozními riziky jejího nasazení. Dostupnost aplikací, požadavky na dodržování předpisů, míra rizika, kterou je organizace ochotna přijmout, a harmonogramy implementace ovlivňují, jak rychle lze nové schopnosti zavádět.

Umělá inteligence nabízí bezpečnostním týmům možnost řešit dlouhodobý problém s kapacitami, samotný rozsah však není konečným cílem. Skutečná příležitost spočívá v propojení rychlosti strojového zpracování s kontextem organizace, odpovídajícími pravomocemi a lidským úsudkem, aby agenti dokázali rozlišit, na čem záleží, podniknout správné kroky a v případě potřeby zapojit správné lidi.

Eyal Fisher je spoluzakladatelem a technickým ředitelem společnosti Legion Security, kde vede technickou strategii platformy společnosti pro agentní bezpečnostní operace. Eyal je přední osobností v oblasti umělé inteligence a podnikatelem. V minulosti spoluzaložil společnost ART AI zaměřenou na generativní umělou inteligenci a startup zaměřený na cloudovou bezpečnost a má také výzkumné zkušenosti z University of Cambridge. Jako uznávaný průkopník generativní umělé inteligence se po celou svou kariéru snaží posouvat hranice možností využití strojového učení v bezpečnostních operacích v reálném světě.