Váš nástroj pro bezpečnostní AI vás nechrání – pouze vás uklidňuje

V červnu 2025 společnost Microsoft opravila CVE-2025-32711, známou jako EchoLeak: nulový kliknutí zranitelnost v Microsoft 365 Copilot, ohodnocenou 9,3 na CVSS. Špatně vytvořená e-mailová zpráva, která nebyla otevřena obětí, mohla způsobit, že Copilotův motor pro načítání dat bude tiše vyčerpávat citlivé informace, ke kterým měl přístup. Detail, který by vás měl znepokojit: payload prošel přímo kolem XPIA, Microsoftova vlastního klasifikátoru injekcí příkazů, který byl přítomen, spuštěn a fungoval přesně podle návrhu.

Bruce Schneier nám dal slovník pro toto již v roce 2009. Bezpečnostní divadlo, napsal, popisuje opatření, která dělají lidi cítit se bezpečněji, aniž by něco dělala pro zlepšení jejich bezpečnosti. Pocit a realita jsou různé věci a rozcházejí se.

O sedmnáct let později AI industrializovala rozcházení, na obou stranách rovnice. Nástroje pro bezpečnostní AI jsou prodávány na základě schopností, které nemohou prokázat pod měřením, a bezpečnostní nástroje pro AI jsou prodávány jako řešení problému, jehož vlastní dokumentace připouští, že není vyřešen. Gartnerův hype cyklus 2025 umístil AI důvěru, riziko a bezpečnostní řízení na vrcholu nafouknutých očekávání. Analytici vám říkají, kde jsme. Otázka je, co s tím dělat.

Mezera mezi technickými údaji a měřením

Začněte s tím, co se stane, když někdo testuje nasazené kontroly místo čtení jejich marketingu.

Picus Blue Report 2025 analyzoval více než 160 milionů simulací skutečných útoků proti produkčním prostředím v prvním pololetí 2025. Picus prodává platformu pro simulaci, takže váhu zdroj podle toho, ale čísla jsou těžko popřít. Efektivita prevence byla v průměru 62%, oproti 69% o rok dříve. Přes pokrytí protokolování 54% pouze 14% simulovaných útoků vygenerovalo upozornění. Útoky pomocí platných přihlašovacích údajů se podařilo 98% času. A z pokusů o vyčerpání dat blokovaly kontroly 3%.

Tři procenta. Tyto jsou prostředí s moderními, často označovanými jako bezpečnostními AI, a test vyčerpání je ten, který nejvíce mapuje to, co útočník chce udělat.

Benchmarkové skóre, které se objevují v prezentacích prodejců, si zaslouží stejnou skepsi. Když prodejci začali tvrdit, že dosáhli perfektních výsledků v hodnocení MITRE ATT&CK, analytik Forrester Allie Mellen publikoval upozornění: hodnocení nemá žádné vítěze ani poražené, a tvrzení o 100% se obvykle opírají o nereálné konfigurace, vybrané dílčí výsledky nebo nastavení detekce, které by skutečný SOC zahltilo hlukem.

Nic z toho není nové, což je ta deprimující část. V roce 2019 výzkumníci ze Skylight Cyber rozebrali Cylance “čistý AI” antivir, přidáním řetězců z videohry Rocket League k vzorkům malware, otočením klasifikátorova verdiktu o 100% u deseti nejvýznamnějších rodin malware té doby a 83% u širší sady vzorků. Lekce, že statické modely strojového učení selhávají proti protivníkům, kteří je studují, byla publikována před sedmi lety. Trh odpověděl tím, že dodal více statických modelů strojového učení.

Problém ochranné tyče je horší

Pokud AI poháněná detekce přehání, nástroje prodávané pro zajištění AI samo o sobě jsou v podivnější pozici: standardní orgán, který definuje hrozbu, říká, že hrozba nemusí být řešitelná.

Prompt injekce je na prvním místě v OWASP Top 10 pro LLM aplikace, a OWASPova vlastní příručka je neobvykle přímá: vzhledem k náhodné povaze modelů “není jasné, zda existují metodické metody prevence pro prompt injekci.” Fine-tuning a RAG, přidává, plně nezabraňují tomu. To je problém, který existuje trh ochranných tyčí, popsán jako možná nevyřešitelný organizací, která ho katalogizovala.

Empirická práce podporuje pesimismus. Výzkumníci z Lancaster University a Mindgard testovali šest produkčních systémů ochranných tyčí, včetně Microsoft Azure Prompt Shield a Meta Prompt Guard, a dosáhli až 100% úspěchu při vyhnutí pomocí technik injekce znaků a adversativních perturbací, zatímco udržovali základní útoky funkční. HiddenLayer šel dále, publikoval jeden přenositelný “Policy Puppetry” prompt šablonu, který říká, že obchází každý hlavní model na trhu. To je výzkum prodejce a není recenzovaný, takže “vše” bereme s rezervou, ale nezávislé kanály reprodukovaly základní tvrzení.

Nejspolehlivější svědek nemá žádný produkt k prodeji. Britský AI Safety Institute, který hodnotil pět předních LLM, uvedl, že “všechny modely byly vysoce zranitelné vůči našim základním útokům”, se všemi modely, které alespoň jednou vyhověly pěti pokusům o téměř všechny škodlivé otázky, když byly aplikovány interní útoky. Základní útoky. Ne národem-státové řemeslo. Vládní hodnotící orgán, který zdvořile poznamenává, že císařův filtr vstupu nemá žádné oblečení.

Unite.AI vlastní pokrytí katalogizovalo třídy zranitelností a techniky injekce po několik let. Nic z toho není tajemství. To prostě neobjevuje na technických listech.

Nebezpečná část je pocit

Zde je místo, kde název tohoto článku přestává být rétorickým. Pokud tyto nástroje pouze nedodržují, ztráta by byla rozpočtová. Výzkum naznačuje něco horšího: důvěra, kterou generují, aktivně zhoršuje chování.

Bezpečnostní výzkumníci to nazývají kompenzace rizika, nebo Peltzman efekt: chráněné osoby berou více rizik. Řidiči s bezpečnostními pásy jezdí rychleji. A organizace s AI bezpečnostními panely, jak se ukazuje, přestávají dělat nudné věci.

Čísla se shodují nepříjemně dobře. Cisco 2025 Cybersecurity Readiness Index, který dotazoval 8 000 bezpečnostních lídrů, zjistil, že 86% organizací zažilo AI související bezpečnostní incident v předchozích dvanácti měsících, zatímco pouze 10% považovalo AI za nejtěžší věc, kterou musí chránit, a 60% přiznalo, že postrádá přehled o tom, jak zaměstnanci používají generativní AI vůbec. Incidenty téměř univerzální; obava, zaokrouhlená chyba.

IBM 2025 Cost of a Data Breach report dokončuje obraz. Z organizací, které utrpěly porušení AI modelů nebo aplikací, 97% postrádalo řádné AI přístupové kontroly. Jeden z pěti porušení se vrátil ke stínu AI, přidávající přibližně 670 000 dolarů k průměrné nákladům na porušení, a 63% porušených organizací nemělo žádnou AI bezpečnostní politiku. Čtěte tato čísla společně a vzor se objeví: selhání je nudné. Chybějící základy, v organizacích, které se cítily pokryté.

Kontrolní panel nefungoval špatně. Dodal svůj skutečný produkt, který byla důvěra.

Jak vypadá upřímná verze

Nic z toho netvrdí, že bezpečnostní nástroje AI jsou bezcenné, a nejlepší protějšek si zaslouží prostor. Anthropic Constitutional Classifiers přežily více než 3 000 hodin červeného týmu od 183 výzkumníků bez univerzálního prolomení, snížení prolomení ze 86% na 4,4%, za cenu 0,38 bodového růstu odmítnutí a přibližně 24% výpočetního přetížení. Pak Anthropic spustil veřejnou výzvu, a z 339 účastníků čtyři projeli všechny úrovně a jeden našel funkční univerzální prolomení.

To je upřímná podoba celého oboru v jednom výsledku: dobře postavená ochranná tyč enormně zvýšila náklady útočníka, nesla měřitelnou daň a přesto padla na dostatečně odhodlaného člověka. Pokud bych měl tento článek zkomprimovat do nákupního principu, je to toto: kontrola prodávaná jako zdražení nákladů s publikovanými režimy selhání je hodna hodnocení; kontrola prodávaná jako vyřešený problém prodává vám pocit.

Kontrola nebo bezpečnostní deka: tři otázky

Můžete jeden odlišit od druhého bez výzkumného rozpočtu. Tři otázky, položené každému bezpečnostnímu nástroji AI, který vlastníte nebo jste o něm přemýšleli.

Jaká je jeho měřená míra obcházení v mém prostředí? Ne prodejce benchmark. Váš. Kontinuální validace a cvičení fialového týmu existují přesně proto, že, jak ukazují data Picus, nasazené kontroly se tichým způsobem blíží k selhání. Číslo, které jste neměřili, je číslo, které berete na víru.

Co se stane, když selže? Ne pokud. OWASP praktická příručka ukazuje stejným směrem jako každý incident výše: přístup s nejmenšími právy pro modely, lidská schvalovací brány pro citlivé akce a segmentace, která předpokládá, že filtr nakonec něco propustí. EchoLeak byl přežitelný pro organizace, jejichž Copilot prostě nemohl dosáhnout nic, co stálo za krádež.

Je prodejcova tvrzení fakt nebo hypotéza? I prodejci souhlasí s více, než jejich technické listy. Vectra vlastní průzkum 2 000 SOC profesionálů, prodejce výzkum opět, zjistil týmy schopné zvládnout pouze 38% upozornění, která jejich nástroje generují, s 60% říkajícími, že prodejci prodávají nástroje, které vytvářejí hluk místo jasnosti, a polovina prohlašuje, že jejich nástroje jsou více na překážku než pomoc. Když zákazníci průmyslu hlásí, že, “důvěřujte technickým listům” přestává být strategie.

Vzor přežije opravu

EchoLeak byl opraven v Patch Tuesday. Vzor, který demonstroval, produkční ochranná tyč, která s jistotou filtrovala přední dveře, zatímco útok přišel ze strany poštovního schránky, nebyl, a výzkumná zpráva výše říká, že to nebude brzy.

Schneierova distinkce je sedmnáct let stará a nikdy nebyla dražší ignorovat. Pocit bezpečnosti je produkt, a éra AI ho prodává v předplatných. Realita bezpečnosti je měřením, a nikdo vám ji nemůže prodat, protože musíte jít a vzít si ji.