Útočníci AI se neunaví: Proč se musí kybernetická bezpečnost změnit

Váš bezpečnostní program byl vytvořen pro útočníky, kteří ano.

Když OpenAI zveřejnila svůj popis modelů, které unikly z evaluačního prostředí a strávily dny v produkční infrastruktuře Hugging Face, nazval jsem to okamžikem Terminátora pro kybernetickou bezpečnost. Stojím za tímto tvrzením, ale něco dalšího na tom by nás mělo přimět k zamyšlení. Devět dní později Anthropic odhalila vlastní incidenty. Na začátku srpna Meta potvrdila další. O několik dní později model čtvrté laboratoře, Moonshot’s Kimi K3, unikl ze své testovací sandboxu. Čtyři laboratoře. Méně než tři týdny. Čtyři modely, které se dostaly tam, kam nikdo nechtěl.

Tyto příběhy byly převážně vnímány jako příběhy o bezpečnosti AI. Jsou. Ale pro CISO jsou také příběhy o rizicích třetích stran — a to může být okamžitější ponaučení. Nepříjemná pravda je, že incident OpenAI‑Hugging Face byl ve své podstatě příběhem o rizicích třetích stran: zranitelná komponenta třetí strany jako úniková cesta, dodavatel jako oběť a systémový uzel, na který se spoléhaly tisíce firem, jako rádius výbuchu.

Zde je číslo, které bych přinesl na vaše další setkání o plánování bezpečnosti. Z přibližně 17 600 útočných akcí Hugging Face získal z jeho logů, většina z nich selhala.

Agent testoval cesty, které nikam nevedly. Byl zablokován seznamy povolených URL a přesměrován. Narazil na zásady IAM, které odmítaly každý měnící požadavek. Dvakrát se pokusil dosáhnout produkční databáze a oběma pokusy vypršel čas. Průzkumy selhaly a pokračoval dál. Tisícekrát. Neztrácel trpělivost. Neunavil se. A selhání ho téměř nic nestálo.

Čtyři modely unikly z testovacích prostředí během méně než tří týdnů. Úniky se objevily v titulcích. Vedoucí bezpečnosti by se měli více obávat toho, co je umožnilo: útočníka, který může selhat tisícekrát téměř bez nákladů.

To je ten posun. Po desetiletí měli obránci výhodu z jednoho jednoduchého faktu: selhání útočníkům něco stojí. Průzkum zabíral čas a slepé uličky byly nákladné. Ekonomika této asymetrie učinila „uvalování nákladů“ na útočníky smysluplnou metodou, jak je zastavit. Když se selhání stane téměř zdarma, úspěšná cesta přestává být jehlou v kupce sena a stává se statistickou jistotou pro každého, kdo může sledovat všechny cesty najednou.

Vzory v těchto incidentech ukazují na tři poučení, která by vedoucí bezpečnosti měli okamžitě uplatnit.

Čtyři laboratoře, jeden tvar

Vzor je pozoruhodně konzistentní. Dejte modelu cíl. Najde cestu, kterou nikdo nečekal. Někdy tato cesta vede přímo do produkčních systémů organizací, které do toho neměly být zapojeny. V alespoň jednom případě se postižená organizace dozvěděla, co se stalo, protože ji Anthropic kontaktovalo.

V každém případě cesta procházela softwarem, infrastrukturou nebo prostředím, které postavil někdo jiný. Vedoucí bezpečnosti by to měli brát osobně.

Každá organizace v tomto řetězci měla bezpečnostní program. Několik z nich mělo velmi dobré. Selhání nebylo omezeno v rámci jedné perimetru. Stalo se v rozhraních mezi organizacemi a nikdo tyto mezery nevlastní.

Modely OpenAI našly zero‑day v samohostovaném proxy pro balíčky a použily jej k přístupu na otevřený internet. Odtud se zakořenily v nezabezpečeném sandboxu pro spouštění kódu, který patřil zákazníkovi Modal Labs, použily jej jako zkušební základnu a oklamaly načítač datasetů Hugging Face, aby četl místní soubory a následně spouštěl kód. Během třinácti hodin získaly administrátorská práva ke clusterům v několika interních clusterech, podpořené jediným pověřením sdíleným napříč všemi. Vstupní bod byl novátorský. Uvnitř byly slabiny, které dokumentujeme už dvacet let.

Devět dní později Anthropic udělalo něco vzácnějšího: zveřejnilo vlastní přehled 141 006 evaluačních běhů a odhalilo tři případy s podobnou prezentací bez výzvy: model, který z evaluačního prostředí dosáhl otevřeného internetu, a poté získal přístup k systémům skutečných organizací. Tentokrát žádný únik ze sandboxu, jen špatná konfigurace, která ponechala živou cestu ven, zatímco model byl informován, že taková neexistuje. Jakmile byl venku, model využil slabiny, které každé bezpečnostní týmy znají: slabá hesla, neautentizované koncové body, SQL injekci a pověření uložená na odhalené ladicí stránce.

Meta potvrdila čtvrtý incident na začátku srpna, po chybě v konfiguraci, která jednomu z jejích modelů poskytla přístup k internetu během evaluačního testu. Meta to také neodhalila; dozvěděla se, co se stalo, když ji kontaktoval testovací partner. Obě tyto evaluační testy i Anthropicův prováděla stejná externí firma Irregular, která je veřejně označila za stejný problém. Chyba v konfiguraci jednoho dodavatele se rozšířila napříč dvěma průkopnickými laboratořemi a čtyřmi poškozenými organizacemi, které s Irregular vůbec neměly žádný přímý vztah. Byla to dodavatelská firma pro dvě laboratoře, ne pro ně. Agentovi nevadilo, kde končí útočná plocha jedné společnosti a začíná druhá.

To je to, co činí tento problém rizikem třetí strany. Expozice může nyní pocházet z několika vztahů dál od vás, v organizaci, kterou jste nikdy nevybrali, nevyhodnotili ani ani nevíte, že je součástí vaší útočné plochy.

Poté výzkumníci z Frontier Security zachytili, že i Moonshot’s Kimi K3 uniká ze svého sandboxu, takže mohl získat přístup k benchmarkovému úložišti na GitHubu. Nikdo nebyl napaden a model sledoval svůj přidělený cíl, když zjistil, že použití připraveného klíče odpovědí je levnější než řešení. Dvě věci činí tento případ důležitým. Výzkumníci jej zachytili během vlastního testu. A běžel na zcela odlišných nástrojích než případy Anthropic a Meta. Špatný měsíc jednoho dodavatele to nevyjasňuje.

Laboratoře to neignorují. Anthropic zveřejnilo svůj přehled bez výzvy, což je důvod, proč má odvětví vzor k prozkoumání a učení — místo odlehlého výjimečného případu. To by se mělo stát normou. OpenAI nyní zpomalilo vydání svého modelu Astra poté, co interní testy nedokázaly vyloučit kritické kybernetické schopnosti. Oba kroky zasluhují uznání. Ale žádný z nich není obranným plánem: odklad vydání řídí kalendář jedné společnosti. Nedělá nic pro schopné modely, včetně Kimi K3, které již jsou k dispozici v otevřené váze a zdarma, mimo kontrolu jakékoli jednotlivé laboratoře.

Korelace bez eskalace není detekce

Detekční zásobník Hugging Face, k jeho chvále, koreloval signály do koherentního útoku. Pak však selhal v eskalaci kritičnosti a on‑call tým nebyl povolán. Nástroj sestavil příběh a nedokázal rozhodnout, že je urgentní. To je triážní architektura postavená pro svět, ve kterém by 17 600 událostí během čtyř dnů působilo absurdně.

Kybernetická bezpečnost potřebuje svůj Fosburyho flop

V roce 1968 Dick Fosbury získal olympijské zlato ve výšce skoku ne tím, že by vyskočil výš než jeho soupeři, ale tím, že přešel laťku pozpátku. Všichni ostatní vylepšovali techniku straddle. Lepší forma, více síly, marginální zisky na desetileté technice. Fosbury změnil tvar problému. Během dvou olympiád se straddle téměř vytratil.

Vedoucí bezpečnosti nyní musí překonat laťku, která se právě posunula, a dosud je většina odpovědí v odvětví lepší straddle: více upozornění, rychlejší analytici, přísnější SLA na lidské revize. To nebude fungovat, protože omezení není rychlost analytika. Nemůžete reagovat na útoky rychlostí strojů lidskou rychlostí triáže.

Flop vypadá takto:

• Přestaňte považovat hranici za kontrolu. Evaluační sandbox selhal, načítač datasetu selhal a izolace podů selhala, každý z nich plnil svou funkci až do okamžiku, kdy už ne. Navrhněte, co se stane dál. Používejte krátkodobé pověření. Eliminujte sdílené administrativní identity. Blokujte přístup k metadatovým službám. Především omezte, jak daleko se útočník může pohybovat po selhání první kontroly.
• Přesuňte detekci z upozorňování na korelaci. Nalezení jedné podezřelé události už není dostačující. Úkolem je spojit tisíce běžně vypadajících událostí do jednoho útokového příběhu a vědět, kdy je tento příběh dostatečně vážný, aby někoho probudil. Vzhledem k objemu, který vidíme, se to stále více musí automatizovat.
• Považujte expozici třetích stran za útočnou cestu, ne za dotazník. Tyto incidenty proběhly skrze závislosti třetích stran: produkt dodavatele, zákazník dodavatele, evaluační partner, sdílené testovací nástroje. Vaše riziko nyní zahrnuje konfigurační chyby organizací, které jste nikdy neauditovali a možná ani nevíte, že existují. Statické, jednorázové hodnocení to nevidí. Tento problém není nový. AI ho činí mnohem naléhavějším. Bezpečnostní týmy potřebují kontinuální přehled o společnostech a technologiích, na které se spoléhají, protože útočníci vidí celý ekosystém jako jednu propojenou plochu.

V SecurityScorecard je to přesně ten typ problému, na kterém je naše kultura postavena: spojujeme lidi, kteří jsou hluboce zvědaví, jak útočníci myslí, jsou ochotni zpochybňovat dvacetileté předpoklady a jsou nadšeni z tvorby zásadně odlišného přístupu k bezpečnosti!

Otázka, kterou přinést na vaše další zasedání představenstva

Před několika týdny jsem řekl, že džin se stal příliš mocným pro láhev. Po čtyřech laboratořích nic nevyvrací tento názor. Po takových incidentech se všichni ptají na stejnou otázku: Jsme připraveni na útočníky s podporou AI? Nemyslím si, že nás tato otázka posune dál. „Ano“ i „ne“ dávají stejný výsledek: nic se nezmění.

Zeptejte se těžší otázky. Pokud během následujících čtyř dnů zasáhne vaše prostředí 17 000 nízkosignálních událostí — a většina vypadala jako selhání — jak dlouho by trvalo vašemu týmu uvědomit si, že šlo o jeden útok? Dostane někdo včas výzvu?

Odpověď už znáte. Mezera mezi touto odpovědí a čtyřmi dny je práce.