Proč jsou apokalyptické scénáře odváděním pozornosti a jaké skutečné riziko AI by nás mělo znepokojovat

Pokud sledujete jakékoli zpravodajství, je těžké přehlédnout sílící alarmismus kolem odvětví AI a varování před apokalypsou. Narativ, který upozorňuje na „existenční riziko“, jež systémy AI představují pro lidstvo, výrazně usnadnil firmám zabývajícím se kybernetickou bezpečností připojit se k tomuto trendu a prodávat své služby prostřednictvím vyvolávání strachu. Zaměřovat se na „apokalypsu“ je však zavádějící, protože tím unikají bezprostřednější rizika, která agentická AI představuje pro organizace už dnes.

Je samozřejmé, že AI agenti, kteří jednají nezávisle na kontrolních mechanismech organizace, představují zjevná rizika. Teprve nedávno zprávy z Austrálie a USA zjistily, že agenti AI od OpenAI v obou zemích na vládních systémech překročili rámec svých úkolů.

Hrozba apokalyptických scénářů spojených s AI je však přeceňovaná. Organizace by se neměly upínat k hypotetickým možnostem, ale musí čelit nové realitě a zajistit zavedení deterministických ochranných opatření pro provozní odolnost.

Internet nemá jediný vypínač

Zastánci apokalyptického narativu se domnívají, že s rostoucí vyspělostí a dosahem AI by se mohla stát soustředěným „vypínačem“, tedy jediným bodem, jehož zranitelnost by někomu umožnila převzít úplnou kontrolu a způsobit katastrofu.

Internet je však mnohem decentralizovanější a rozmanitější, než teorie o vypínači předpokládá. Funguje jako „síť sítí“ a tvoří ho miliardy komponent uspořádaných do různých architektur. Chrání je nespočet provozních týmů, které používají různé standardy a nástroje. Nikdo – člověk ani stroj – proto nemůže přepnout jediný vypínač; neexistuje jediná zranitelnost ani řetězec zranitelností, jejichž zneužití by vedlo k takto katastrofálnímu výsledku.

Představa, že by AI mohla vytvořit a vypustit uměle vyvinutý patogen nebo proniknout do jaderných systémů odpojených od internetu, může být v kině poutavá. Pro hodnocení provozních hrozeb však zdaleka nejde o věrohodný scénář.

Co nevidíme, to nemáme pod kontrolou

S dalším vývojem agentické AI se zásadně změnily dva faktory, které ovlivňují povahu rizik pro podniky.

Na jedné straně dnes AI umožňuje útočníkům najít a zneužít kybernetické zranitelnosti během minut namísto měsíců. Než probabilistické obranné systémy založené na AI odhalí podezřelou aktivitu, bývá na reakci na hrozbu často pozdě. Protože pracují se statistickou pravděpodobností, nikoli s pevně stanovenými pravidly, i ty nejlepší přehlédnou některé škodlivé aktivity a útočníkovi stačí, aby jednou proklouzl

Na druhé straně zaměstnanci svým využíváním „stínové AI“ výrazně ztížili zjišťování toho, co je třeba chránit. Ohromujících 82 % organizací oslovených organizací Cloud Security Alliance během uplynulého roku zjistilo, že v jejich prostředí běží AI agenti, o kterých bezpečnostní ani IT týmy nevěděly, přestože 68 % uvedlo, že mají o nasazení agentů dobrý přehled. Samostatně EY zjistila, že čtvrtina velkých amerických firem využívajících agentickou AI přiznala, že nedokáže odhalit neoprávněné agenty působící uvnitř firmy.

Obě tyto změny přirozeně vytvářejí značný provozní tlak na podnikové systémy. Společně staví organizace do výrazné nevýhody: nedokážou dost rychle odhalovat a opravovat zranitelnosti a zároveň nemají přehled o tom, které systémy jsou vůbec zranitelné.

Mějme pod kontrolou to, co ovlivnit můžeme

Organizace potřebují aktuální přehled o všech agentech působících ve firmě, ať už jsou schválení, nebo ne. U každého musí být uveden konkrétní vlastník a jasně vymezeno, k čemu má přístup a co může dělat. To je první krok ke kontrole toho, co ovlivnit můžeme: modely AI sice mohou fungovat na základě pravděpodobnosti, ale pravidla zavedená kolem nich mohou být deterministická, pevně stanovená a jasně definovaná.

V praxi to znamená, že pokaždé, když agent navrhne nějakou akci, musí její přípustnost ověřit samostatná kontrolní vrstva nezávislá na samotném modelu a zároveň pořídit auditní záznam. Přesto jen 11 % organizací automaticky blokuje akci agenta, která překračuje jeho vymezené pravomoci; většina se spoléhá na schválení člověkem, nebo si akci pouze zaznamená. Případ z Austrálie ukazuje, jaké náklady přináší spoléhání na to, že cílový systém řekne ne: když byl agentovi přístup odepřen, našel si jinou cestu dovnitř. Širší architektura správy musí také průběžně identifikovat, autorizovat a ověřovat všechny agenty, aby se předešlo vzniku nepředvídaných provozních rizik. To vše je třeba dělat rychle, protože na útoky probíhající strojovou rychlostí je nutné reagovat pravidly, která se dokážou přizpůsobit stejnému tempu.

Od hypotetických obav k praktickým řešením

Jakkoli jsou zprávy o apokalypse vyvolané autonomními systémy AI působivé, mají k realitě daleko. Riziko, které stojí za obavy, je mnohem všednější než představa AI, jež se rozhodne nás zničit: agent jedná ve vaší firmě rychleji, než si toho kdokoli stačí všimnout, a má oprávnění, která mu nikdo neudělil.

Problémy s rychlostí a přehledem lze vyřešit, pokud jsou bezpečnostní systémy, které řídí AI, deterministické a dokážou přesně ověřovat a sledovat každého agenta tempem odpovídajícím jeho činnosti.

Pro členy správních rad a vedoucí pracovníky odpovědné za bezpečnost se to dá shrnout do tří praktických otázek: víme o každém agentovi, který běží v našem prostředí? Má každý z nich určeného vlastníka a jasně vymezené limity? Dokážeme zastavit neoprávněnou akci ještě před jejím provedením? Právě tím, že klientům pomáhají odstranit tyto praktické nedostatky, mohou poskytovatelé kyberbezpečnostních služeb přispět k odolnosti mnohem více než šířením obav z hypotetické budoucnosti.