Důvěra v AI agenty SOC s misemi kritickými pro SOC aktivity

Velké jazykové modely (LLM) a AI agenti mají významný dopad v mnoha oblastech, včetně kybernetické bezpečnosti. Nebe je hranice, pokud jde o jejich potenciál. Nicméně, na Zemi, kde jsou LLM integrovány do hlavních pracovních postupů, kde se dělají obchodní rozhodnutí, mnoho problémů, zejména kolem soukromí a přesnosti dat, vyvstalo. Jsme ponecháni se otázkou: Jsou AI agenti dostatečně důvěryhodní pro mou firmu?

Když jde o kybernetickou bezpečnost a Security Operations Centers (SOCs), rychlá odpověď, jako jsme slyšeli po celou naší kariéru, je: Ano, s vhodnými kontrolami a zmírněními v SOCs, AI agenti mohou být úspěšně a bezpečně nasazeni v produkčních prostředích, kde přidávají významnou hodnotu prací vedle lidských analytiků SOC.

Výzvy AI kybernetické bezpečnosti

Hotové LLM použité jako samostatné řešení mají několik základních problémů, jako jsou halucinace, poisoning dat a injekce promptů. Tyto problémy mohou způsobit vážné problémy v autonomním SOC, včetně:

Omezená data způsobující nepřesné verdikty – AI agenti potřebují všechny relevantní informace z prostředí, aby mohli dělat svou práci dobře – alespoň tolik dat, kolik mají lidský bezpečnostní analytici, a ideálně více. Nedostatečná data vedou AI agenty k falešným předpokladům, které se mohou lišit napříč vyšetřovacími běhy. Pokud omezíte přístup k datům z důvodu bezpečnostních obav nebo omezíte, kolik AI může dělat z důvodu rozpočtu, očekávejte, že přesnost bude zasažena.

Nepřílišné verdikty – AI agenti musí dělat rozhodnutí a provádět úkoly na základě dat, která shromáždili. Vzhledem k obrovskému množství bezpečnostních dat v typických prostředích je běžné použít vzorkovací přístup k vyvážení přesnosti s rozpočtem. Když jsou vyšetřování prováděna několikrát, mohou se objevit rozdíly ve verdiktu, jeho stanovené závažnosti a doporučených akcích. To je normální, pokud je rozdíl v rámci tolerance limitu, a stává se to i tehdy, když dva různé lidské analytici prohlíží stejné upozornění.

Neprůhledné myšlení, nebo “černá skříňka” problém – Některé AI agenti fungují jako neprůhledné systémy. Tyto AI poháněné výsledky SOC mohou vypadat velmi působivě na první pohled, ale pro důležité obchodní rozhodnutí je třeba pochopit, co vedlo AI SOC k doporučeným akcím. To však není inherentní omezení AI, protože některé AI agenti jdou do velkých délek, aby byli transparentní. Je doporučeno, abyste AI agenty důkladně ověřili v Proof of Value před závazkem.

Jak se AI v kybernetické bezpečnosti zlepšilo

AI poháněné přístupy kybernetické bezpečnosti udělaly významné kroky směrem ke zlepšení od svého zavedení. Zvažte následující:

Konsensus pomocí vzorkování zmírňuje nekonzistenci – Nekonzistence v rozhodnutích nebo výsledcích mohou být účinně zmírněny využitím více AI agentů s různými konfiguracemi (například různé modely při různých teplotách) k interpretaci dat shromážděných předchozími agentními operacemi.

Používání vzorkování umožňuje organizacím pochopit, kde se různé modely shodují a kde se liší. Jako výsledek, spoléhání se na informace, kde se všechny modely shodují, a znehodnocení informací, kde se liší, může podstatně zmírnit nekonzistenci.

Je důležité poznamenat, že informace, kde se vzorkovací agenti neshodují, jsou také cenné, protože identifikují nejistotu a potřebu lepšího dat nebo vstupu. Tyto nekonzistentní informace mohou pomoci organizacím priorizovat přístup k základním datům pro zlepšení rozhodování.

Konzistentní postupy s vyšetřovacími playbooky – Jedním z hlavních důvodů, proč více běhů AI SOC vyšetřování vede k nekonzistentním výsledkům, je variace nejen v datech shromážděných, ale také v hypotézách vytvořených nebo upravených během AI agentního vyšetřování. Stanovení standardního operačního postupu (SOP) pro určitou kategorii pomáhá agentům vytvářet více konzistentní hypotézy a zlepšuje celkovou konzistenci výsledků. To není nový přístup – většina lidských analytiků SOC již spoléhá na SOP, aby zajistila efektivní a konzistentní vyšetřování. AI agenti mohou použít SOP stejným způsobem.

Důkazitelné důkazy rozptylují “černou skříňku” – Jako nejlepší praxe by měl být AI SOC navržen od základu s podporou důkazů. Každé rozhodnutí a hypotéza, kterou agent dělá, musí být podpořena podpůrnými informacemi, včetně stop důkazů a surových log dat, která potvrzují toto myšlení.

AI pro kybernetickou bezpečnost, které je důvěryhodné

AI agenti mohou urychlit detekci, triáž a reakci na hrozby v kybernetické bezpečnosti, ale také zavádějí skutečná rizika – včetně nekonzistentních výsledků, neprůhledných rozhodnutí a citlivosti na kvalitu dat. Důvěra pro použití v misijně kritických prostředích vyžaduje důkazitou podporu včetně stop a surových artefaktů; strukturované SOP pro snížení variability; multiagentní vzorkování pro oddělení konsensu od nejistoty; a ochranné zábrany pro integritu dat, injekci promptů a kroky a rozpočtová omezení.

Všechny tyto kritické opravy lze řešit pokročilými přístupy LLM AI agentů navržených pro řešení složitosti moderních AI poháněných bezpečnostních operací. Například některé pokročilé přístupy LLM používají pokročilé multiagentní vzorkování, aby organizace mohly využívat kolektivní inteligenci různých AI modelů, které spolupracují, aby dosáhly konsensu, minimalizovaly nekonzistence a identifikovaly oblasti nejistoty. Jejich strukturované a jasné vyšetřovací průvodce zajišťují, že analytické kroky následují nejlepší postupy a standardizované postupy, což vede ke konzistenci a spolehlivosti ve všech operacích.

Decisionální stopovatelnost od konce ke konci vede k tomu, že každé verdikt, doporučení a automatizované akci je auditováno a pochopitelné, aby poskytovalo plnou transparentnost bezpečnostním týmům, a zároveň buduje důvěru se stakeholdery. Integrací těchto klíčových prvků – a implementací robustních kontrol pro kvalitu dat, bezpečnost a operační zábrany – pokročilé přístupy LLM AI agentů umožňují SOCs dosáhnout výsledků, které jsou nejen spolehlivé a transparentní, ale také připravené pro produkční prostředí a vaše nejmisijně kritické aktivity.