Kontrola halucinací: Výhody a rizika nasazení LLM ve bezpečnostních procesech

Velké jazykové modely (LLM) školené na rozsáhlých množstvích dat mohou učinit bezpečnostní operace chytřejšími. LLM poskytují návrhy a vedení pro reakci, audity, správu postoje a další. Většina bezpečnostních týmů experimentuje s LLM nebo je používá ke snížení manuálního úsilí ve pracovních postupech. To může být jak pro rutinní, tak i pro komplexní úkoly. 

Například LLM může dotázat zaměstnance prostřednictvím e-mailu, zda měl v úmyslu sdílet dokument, který byl vlastnický, a zpracovat odpověď s doporučením pro bezpečnostního specialistu. LLM může být také pověřen překladem požadavků na vyhledání útoků na dodavatelský řetězec v otevřených zdrojových modulech a spuštěním agentů zaměřených na konkrétní podmínky — nové přispěvatele do široce používaných knihoven, nesprávné vzorce kódu — s každým agentem připraveným pro konkrétní podmínku. 

Řekli jsme, že tyto mocné AI systémy nesou významná rizika, která jsou odlišná od ostatních rizik, kterým čelí bezpečnostní týmy. Modely, které pohánějí bezpečnostní LLM, mohou být kompromitovány prostřednictvím injekce příkazu nebo otravy dat. Kontinuální zpětné vazby a algoritmy strojového učení bez dostatečného lidského vedení mohou umožnit útočníkům prozkoumat kontroly a poté indukovat špatně zaměřené reakce. LLM jsou náchylné k halucinacím, i v omezených doménách. Dokonce i nejlepší LLM vynalézají věci, když neví odpověď. 

Bezpečnostní procesy a AI politiky týkající se používání LLM a pracovních postupů se stanou stále kritičtějšími, jak tyto systémy budou stále častěji používány v kybernetické bezpečnosti a výzkumu. Ujištění, že tyto procesy jsou dodržovány a měřeny a zohledněny v systémech řízení, bude zásadní pro to, aby CISO mohli poskytnout dostatečnou GRC (Governance, Risk and Compliance) pokrytí, aby splnili nové nařízení, jako je Rámec kybernetické bezpečnosti 2.0. 

Velký slib LLM v kybernetické bezpečnosti

CISO a jejich týmy neustále bojují s rostoucím přílivem nových kybernetických útoků. Podle Qualys počet ohlášených CVE v roce 2023 dosáhl nového rekordu 26 447. To je více než 5krát více než v roce 2013. 

Tato výzva se stala ještě náročnější, protože útočný povrch průměrné organizace roste s každým rokem. Týmy aplikací musí zabezpečit a monitorovat mnoho více softwarových aplikací. Cloud computing, API, multi-cloud a virtualizační technologie přidaly další složitost. S moderními CI/CD nástroji a postupy mohou týmy aplikací dodávat více kódu, rychleji a častěji. Mikroslužby rozdělily monolitické aplikace na mnoho API a útočných ploch a také vytvořily mnoho více děr v globálních bránách pro komunikaci s externími službami nebo zákaznickými zařízeními.

Pokročilé LLM slibují značné snížení zátěže kybernetických bezpečnostních týmů a zlepšení jejich schopností. AI nástroje pro kódování široce pronikly do softwarového vývoje. Výzkum Githubu ukázal, že 92 % vývojářů používá nebo používalo AI nástroje pro návrh a dokončení kódu. Tyto „spolupracovníky“ mají některé bezpečnostní funkce. Skutečnost, že programatické disciplíny s relativně binárními výsledky, jako je kódování (kód buď projde, nebo neprojde jednotkové testy), jsou dobře vhodné pro LLM. Kromě skenování kódu pro softwarový vývoj a v CI/CD pipeline by AI mohla být pro kybernetické bezpečnostní týmy cenná v několika dalších směrech:   

• Vylepšená analýza: LLM mohou zpracovat obrovská množství bezpečnostních dat (protokoly, upozornění, hrozby) pro identifikaci vzorců a korelací, které nejsou viditelné pro lidi. Mohou to dělat napříč jazyky, 24 hodin denně, 7 dní v týdnu, a napříč mnoha rozměry současně. To otevírá nové příležitosti pro bezpečnostní týmy. LLM mohou zpracovat zásobník upozornění v téměř reálném čase, označit ty, které jsou nejpravděpodobněji závažné. Díky učení s posilováním by se analýza měla zlepšit s časem. 
• Automatizace: LLM mohou automatizovat úkoly bezpečnostních týmů, které normálně vyžadují konverzační interakci. Například, když bezpečnostní tým obdrží IoC a potřebuje se zeptat vlastníka koncového bodu, zda se skutečně přihlásil do zařízení nebo zda se nachází mimo svou normální pracovní zónu, LLM může provést tyto jednoduché operace a poté následovat otázky podle potřeby a odkazy nebo instrukce. To dříve vyžadovalo interakci, kterou musel provádět sám člen týmu IT nebo bezpečnostního týmu. LLM mohou také poskytnout pokročilejší funkce. Například Microsoft Copilot pro bezpečnost může generovat zprávy o analýze incidentů a přeložit komplexní malware kód do přirozených jazykových popisů. 
• Kontinuální učení a ladění: Na rozdíl od předchozích systémů strojového učení pro bezpečnostní politiky a pochopení, LLM mohou se učit na letu tím, že přijímají lidská hodnocení jejich odpovědí a tím, že se přizpůsobují novým bazénům dat, které nemusí být obsaženy ve vnitřních logických souborech. Skutečnost, že pomocí stejného základního modelu, kybernetické LLM mohou být přizpůsobeny pro různé týmy a jejich potřeby, pracovní postupy nebo regionální nebo vertikální úkoly. To také znamená, že celý systém může být okamžitě tak chytrý, jako je model, se změnami, které se rychle šíří napříč všemi rozhraními. 

Rizika LLM pro kybernetickou bezpečnost

Jako nová technologie s krátkou historií, LLM mají vážná rizika. Horší je, že pochopení plného rozsahu těchto rizik je obtížné, protože výstupy LLM nejsou 100% předvídatelné nebo programatické. Například LLM mohou „halucinovat“ a vynalézat odpovědi nebo odpovídat nesprávně, na základě imaginárních dat. Před přijetím LLM pro kybernetické bezpečnostní použití je nutné zvážit potenciální rizika, včetně: 

• Injekce příkazu: Útočníci mohou vytvořit škodlivé příkazy, aby produkovali matoucí nebo škodlivé výstupy. Tento typ útoku může využít tendenci LLM generovat obsah na základě přijatých příkazů. V kybernetických bezpečnostních případech by injekce příkazu mohla být nejrizikovější jako forma insider útoku nebo útoku neoprávněného uživatele, který používá příkazy pro trvalejší změnu systémových výstupů tím, že zkreslí chování modelu. To by mohlo generovat nesprávné nebo neplatné výstupy pro ostatní uživatele systému. 
• Otrava dat: Školení dat, na kterých LLM závisí, mohou být úmyslně poškozena, čímž je ohroženo jejich rozhodování. V kybernetických bezpečnostních prostředích, kde organizace pravděpodobně používají modely školené nástrojovými poskytovateli, otrava dat by mohla nastat během ladění modelu pro konkrétního zákazníka a použití. Riziko zde by mohlo spočívat v tom, že neoprávněný uživatel přidá špatná data — například poškozené logovací soubory — aby podkopala proces školení. Autorizovaný uživatel by to také mohl udělat neúmyslně. Výsledkem by byly výstupy LLM založené na špatných datech.
• Halucinace: Jak bylo zmíněno dříve, LLM mohou generovat fakticky nesprávné, nelogické nebo dokonce škodlivé odpovědi kvůli nedorozuměním příkazů nebo základním datovým vadám. V kybernetických bezpečnostních případech mohou halucinace vést k kritickým chybám, které mohou oslabit hrozbu inteligence, triáž a nápravu zranitelností a další. Protože kybernetická bezpečnost je kritickou činností, LLM musí být drženy na vyšších standardech řízení a prevence halucinací v těchto kontextech. 

Jak se AI systémy stávají schopnějšími, jejich nasazení v informační bezpečnosti se rozšiřuje rychle. Chceme-li být jasnými, mnoho kybernetických bezpečnostních společností již dlouho používá vzorové shody a strojové učení pro dynamické filtrování. Co je nové v éře generativní AI jsou interaktivní LLM, které poskytují vrstvu inteligence nad stávajícími pracovními postupy a datovými bazény, ideálně zlepšují efektivitu a zvyšují schopnosti kybernetických bezpečnostních týmů. Jinými slovy, GenAI může pomoci bezpečnostním inženýrům dělat více s menším úsilím a stejnými zdroji, vedoucí k lepšímu výkonu a urychleným procesům.