Jsou AI agenti dostatečně důvěryhodní pro mou firmu?

Velké jazykové modely (LLM) a AI agenti mají významný dopad v mnoha oblastech, včetně kybernetické bezpečnosti. Jejich potenciál se zdá neomezený. V praxi však při začleňování LLM do klíčových pracovních postupů, v nichž se přijímají obchodní rozhodnutí, vyvstala řada problémů, zejména v oblasti soukromí a přesnosti dat. Zůstává tedy otázka: Jsou AI agenti dostatečně důvěryhodní pro mou firmu?

Když jde o kybernetickou bezpečnost a bezpečnostní operační centra (SOC), rychlá odpověď, jako jsme slyšeli po celou naši kariéru, je: Ano, s vhodnými kontrolami a opatřeními ke snížení rizik v SOC, AI agenti mohou být úspěšně a bezpečně nasazeni v produkčních prostředích, kde přidávají významnou hodnotu spoluprací s lidskými analytiky SOC.

Výzvy AI kybernetické bezpečnosti

Hotové LLM použité jako samostatné řešení mají několik základních problémů, jako jsou halucinace, otrávení dat a injekce promptů. Tyto nedostatky mohou způsobit vážné potíže v autonomním SOC, včetně:

Omezená data způsobující nepřesné verdikty – AI agenti potřebují všechny relevantní informace z prostředí, aby mohli dělat svou práci dobře – alespoň tolik dat, kolik mají lidští bezpečnostní analytici, a ideálně více. Nedostatečná data vedou AI agenty k falešným předpokladům, které se mohou lišit mezi jednotlivými spuštěními vyšetřování. Pokud omezíte přístup k datům z důvodu bezpečnostních obav nebo omezíte, co může AI provádět kvůli rozpočtovým omezením, očekávejte, že přesnost utrpí.

Nekonzistentní závěry – AI agenti musí přijímat rozhodnutí a provádět úkoly na základě dat, která shromáždili. Vzhledem k obrovskému množství bezpečnostních dat v typických prostředích je běžné použít vzorkovací přístup k vyvážení přesnosti s rozpočtem. Když jsou vyšetřování prováděna několikrát, mohou se objevit rozdíly ve verdiktu, jeho stanovené závažnosti a doporučených akcích. To je normální, pokud je rozdíl v mezích tolerance, a stává se to i tehdy, když dva různí lidští analytici posuzují stejné upozornění.

Neprůhledné uvažování neboli problém „černé skříňky (BBOX.BO ) “ – Někteří AI agenti fungují jako neprůhledné systémy. Tyto AI poháněné výsledky SOC mohou vypadat velmi působivě na první pohled, ale pro důležitá obchodní rozhodnutí je třeba pochopit, co vedlo AI SOC k doporučeným akcím. To však není inherentní omezení AI, protože někteří AI agenti vynakládají značné úsilí na transparentnost. Je doporučeno, abyste AI agenty důkladně ověřili v Proof of Value před rozhodnutím o jejich nasazení.

Jak se AI v kybernetické bezpečnosti zlepšila

AI poháněné přístupy kybernetické bezpečnosti udělaly významné kroky směrem ke zlepšení od svého zavedení. Zvažte následující:

Konsensus pomocí vzorkování zmírňuje nekonzistenci – Nekonzistence v rozhodnutích nebo výsledcích mohou být účinně zmírněny využitím více AI agentů s různými konfiguracemi (například s různými modely a nastaveními teploty) k interpretaci dat shromážděných předchozími agentními operacemi.

Používání vzorkování umožňuje organizacím pochopit, kde se různé modely shodují a kde se liší. Jako výsledek, spoléhání se na informace, kde se všechny modely shodují, a přikládání menší váhy informacím, v nichž se liší, může podstatně zmírnit nekonzistenci.

Je důležité poznamenat, že informace, kde se vzorkovací agenti neshodují, jsou také cenné, protože identifikují nejistotu a potřebu lepších dat nebo vstupů. Tyto nekonzistentní informace mohou pomoci organizacím priorizovat přístup k základním datům pro zlepšení rozhodování.

Konzistentní postupy s vyšetřovacími playbooky – Jedním z hlavních důvodů, proč více běhů AI SOC vyšetřování vede k nekonzistentním výsledkům, je variace nejen v datech shromážděných, ale také v hypotézách vytvořených nebo upravených během AI agentního vyšetřování. Vytvoření obecné vyšetřovací příručky se standardními operačními postupy (SOP) pro určité kategorie pomáhá agentům vytvářet více konzistentní hypotézy a zlepšuje celkovou konzistenci výsledků. To není nový přístup – většina lidských analytiků SOC již spoléhá na SOP, aby zajistila efektivní a konzistentní vyšetřování. AI agenti mohou použít SOP stejným způsobem.

Dohledatelné důkazy objasňují fungování „černé skříňky“ – Jako nejlepší praxe by měl být AI SOC navržen od základu s podporou důkazů. Každé rozhodnutí, které agent přijme, i každá hypotéza, kterou vytvoří, musí být podloženy informacemi včetně záznamů uvažování a nezpracovaných dat z protokolů, která toto uvažování dokládají.

Důvěryhodná AI pro kybernetickou bezpečnost

AI agenti mohou urychlit detekci, triáž a reakci na hrozby v kybernetické bezpečnosti, ale také zavádějí skutečná rizika – včetně nekonzistentních výsledků, neprůhledných rozhodnutí a citlivosti na kvalitu dat. Důvěra pro použití v misijně kritických prostředích vyžaduje uvažování podložené důkazy, včetně záznamů a nezpracovaných podkladů; strukturované SOP pro snížení variability; multiagentní vzorkování pro oddělení konsensu od nejistoty; a ochranná opatření pro integritu dat, proti injekci promptů a pro omezení počtu kroků i rozpočtu.

Všechny tyto kritické opravy lze řešit pokročilými přístupy založenými na AI agentech s LLM, navrženými pro řešení složitosti moderních AI poháněných bezpečnostních operací. Například některé pokročilé přístupy LLM používají pokročilé multiagentní vzorkování, aby organizace mohly využívat kolektivní inteligenci různých AI modelů, které spolupracují, aby dosáhly konsensu, minimalizovaly nekonzistence a identifikovaly oblasti nejistoty. Jejich strukturované a jasné vyšetřovací příručky zajišťují, že analytické kroky následují nejlepší postupy a standardizované postupy, což vede ke konzistenci a spolehlivosti ve všech operacích.

Dohledatelnost rozhodování od začátku do konce umožňuje prověřit a pochopit každý závěr, doporučení i automatizovanou akci. Bezpečnostním týmům poskytuje plnou transparentnost a zároveň buduje důvěru zainteresovaných stran. Integrací těchto klíčových prvků – a implementací robustních kontrol kvality dat v promptech, bezpečnosti a provozních ochranných opatření – pokročilé přístupy LLM AI agentů umožňují SOC dosáhnout výsledků, které jsou nejen spolehlivé a transparentní, ale také připravené pro produkční prostředí a vaše nejkritičtější činnosti.