Stav bezpečnosti AI v roce 2025: Klíčové poznatky z zprávy Cisco

Jak se stále více firem uchyluje k využití umělé inteligence, stalo se pochopení jejích bezpečnostních rizik důležitějším než kdykoli předtím. Umělá inteligence mění průmysly a pracovní postupy, ale také přináší nové bezpečnostní výzvy, kterým musí organizace čelit. Ochrana systémů umělé inteligence je nezbytná pro udržení důvěry, ochranu soukromí a zajištění plynulých obchodních operací. Tento článek shrnuje klíčové poznatky ze zprávy Cisco “Stav bezpečnosti AI v roce 2025“. Poskytuje přehled současného stavu bezpečnosti AI a toho, co by společnosti měly zvažovat pro budoucnost.

Rostoucí bezpečnostní hrozba pro AI

Pokud nás rok 2024 něco naučil, je to, že adopce AI postupuje rychleji, než mnoho organizací může zajistit její bezpečnost. Zpráva Cisco uvádí, že asi 72 % organizací nyní využívá AI ve svých obchodních funkcích, ale pouze 13 % se cítí plně připraveno na maximální využití AI bezpečně. Tento rozpor mezi adopcí a připraveností je do značné míry způsoben bezpečnostními obavami, které zůstávají hlavním bariérou pro širší podnikové využití AI. Co dělá tuto situaci ještě více znepokojivou, je to, že AI představuje nové typy hrozeb, se kterými tradiční metody kybernetické bezpečnosti nejsou plně vybaveny. Na rozdíl od konvenční kybernetické bezpečnosti, která často chrání pevné systémy, AI přináší dynamické a adaptivní hrozby, které jsou obtížněji předpověditelné. Zpráva zdůrazňuje několik nově se objevujících hrozeb, o kterých by organizace měly vědět:

• Útoky na infrastrukturu: Infrastruktura AI se stala primárním cílem útočníků. Příkladem je kompromitace NVIDIA Container Toolkit, která umožnila útočníkům přístup k souborovým systémům, spuštění škodlivého kódu a eskalaci oprávnění. Podobně byl kompromitován Ray, open-source framework pro správu GPU, v jednom z prvních reálných útoků na framework AI. Tyto případy ukazují, jak slabosti v infrastruktuře AI mohou ovlivnit mnoho uživatelů a systémů.
• Rizikové dodavatelské řetězce: Rizikové dodavatelské řetězce AI představují další významnou obavu. Asi 60 % organizací spoléhá na open-source komponenty nebo ekosystémy AI. To vytváří riziko, protože útočníci mohou tyto široce používané nástroje kompromitovat. Zpráva zmiňuje techniku nazvanou “Sleepy Pickle“, která umožňuje útočníkům manipulovat s modely AI i po jejich distribuci. To činí detekci extrémně obtížnou.
• Útoky specifické pro AI: Nové techniky útoků se rychle vyvíjejí. Metody, jako je injekce promptů, jailbreak a extrakce trénovacích dat, umožňují útočníkům obejít bezpečnostní kontroly a získat přístup k citlivým informacím obsaženým ve trénovacích datech.

Útočné vektory cílené na systémy AI

Zpráva zdůrazňuje vznik útočných vektorů, které útočníci využívají k využití slabostí v systémech AI. Tyto útoky mohou nastat v různých fázích životního cyklu AI, od sběru dat a trénování modelů po nasazení a inferenci. Cílem je často způsobit, aby se AI chovalo nečekaným způsobem, únik citlivých dat nebo provedení škodlivých akcí.

V posledních letech se tyto útočné metody staly pokročilejšími a obtížněji detekovatelnými. Zpráva zdůrazňuje několik typů útočných vektorů:

• Jailbreak: Tato technika zahrnuje vytvoření adversativních promptů, které obejdou bezpečnostní opatření modelu. Navzdory zlepšením v obranách AI výzkum Cisco ukazuje, že i jednoduché jailbreaky zůstávají účinné proti pokročilým modelům, jako je DeepSeek R1.
• Indirect Prompt Injection: Na rozdíl od přímých útoků zahrnuje tato útočná metoda manipulaci s vstupními daty nebo kontextem, který model AI využívá nepřímo. Útočníci mohou poskytnout kompromitované zdrojové materiály, jako jsou škodlivé PDF soubory nebo webové stránky, což způsobí, že AI vygeneruje nečekané nebo škodlivé výstupy. Tyto útoky jsou zvláště nebezpečné, protože nevyžadují přímý přístup k systému AI, což umožňuje útočníkům obejít mnoho tradičních obran.
• Extrakce a otrávení trénovacích dat: Výzkumníci Cisco demonstrovali, že chatboty lze oklamat, aby reprodukovaly fragmenty novinových článků, což jim umožňuje rekonstruovat zdroje materiálu. To představuje riziko pro odhalení citlivých nebo proprietárních dat. Útočníci mohou také otrávit trénovací data injekcí škodlivých vstupů. Varovně, otrávení pouze 0,01 % velkých datových sad, jako je LAION-400M nebo COYO-700M, může ovlivnit chování modelu, a to lze provést s malým rozpočtem (asi 60 USD), což činí tyto útoky dostupnými mnoha špatným aktérům.

Zpráva zdůrazňuje vážné obavy o současném stavu těchto útoků, s výzkumníky, kteří dosáhli 100% úspěšnosti proti pokročilým modelům, jako je DeepSeek R1 a Llama 2. To odhaluje kritické bezpečnostní slabosti a potenciální rizika spojená s jejich použitím. Kromě toho zpráva identifikuje vznik nových hrozeb, jako jsou hlasové jailbreaky, které jsou speciálně navrženy pro cílení na multimodální modely AI.

Zjištění z výzkumu bezpečnosti AI společnosti Cisco

Tým výzkumu společnosti Cisco vyhodnotil různé aspekty bezpečnosti AI a odhalil několik klíčových zjištění:

• Algoritmický jailbreak: Výzkumníci ukázali, že i nejlepší modely AI lze oklamat automaticky. Pomocí metody nazvané Tree of Attacks with Pruning (TAP) výzkumníci obešli ochrany na modelech GPT-4 a Llama 2.
• Rizikové jemné úpravy: Mnoho firem jemně upravuje základní modely, aby zlepšily relevanci pro konkrétní domény. Nicméně, výzkumníci zjistili, že jemné úpravy mohou oslabit vnitřní bezpečnostní zábrany. Jemně upravené verze byly více než třikrát více náchylné k jailbreaku a 22krát více pravděpodobně produkovaly škodlivé obsahy než původní modely.
• Extrakce trénovacích dat: Výzkumníci společnosti Cisco použili jednoduchou dekompoziční metodu, aby oklamali chatboty, aby reprodukovaly fragmenty novinových článků, což jim umožnilo rekonstruovat zdroje materiálu. To představuje riziko pro odhalení citlivých nebo proprietárních dat.
• Otrávení dat: Tým společnosti Cisco demonstruje, jak snadno a levně lze otrávit velké webové datové sady. Za asi 60 USD výzkumníci otrávili 0,01 % datových sad, jako je LAION-400M nebo COYO-700M. Kromě toho, zdůrazňují, že toto množství otrávení je dostatečné k vyvolání znatelných změn v chování modelu.

Role AI v kyberzločinu

AI není pouze cílem – stává se také nástrojem pro kyberzločince. Zpráva uvádí, že automatizace a AI poháněná sociální inženýrství činí útoky účinnějšími a obtížněji detekovatelnými. Od phishingových podvodů po hlasové klonování AI pomáhá zločincům vytvářet přesvědčivé a personalizované útoky. Zpráva také identifikuje vzestup škodlivých nástrojů AI, jako je “DarkGPT“, které jsou speciálně navrženy pro pomoc kyberzločincům při generování phishingových e-mailů nebo využívání zranitelností. Co dělá tyto nástroje zvláště znepokojivými, je jejich dostupnost. I málo zkušení zločinci mohou nyní vytvářet vysoce personalizované útoky, které obcházejí tradiční obrany.

Nejlepší postupy pro zajištění bezpečnosti AI

Vzhledem k nestálé povaze bezpečnosti AI, společnost Cisco doporučuje několik praktických kroků pro organizace:

1. Rizikové řízení napříč životním cyklem AI: Je důležité identifikovat a snižovat rizika ve všech fázích životního cyklu AI, od získávání dat a trénování modelů po nasazení a monitoring. To zahrnuje také zajištění bezpečnosti třetích stran, aplikaci silných zábran a těsnou kontrolu přístupových bodů.
2. Použití etablovaných postupů kybernetické bezpečnosti: Ačkoli je AI jedinečná, tradiční postupy kybernetické bezpečnosti jsou stále nezbytné. Techniky, jako je kontrola přístupu, správa oprávnění a prevence ztráty dat, mohou hrát vitální roli.
3. Zaměření na zranitelné oblasti: Organizace by se měly zaměřit na oblasti, které jsou nejvíce pravděpodobně cíleny, jako jsou dodavatelské řetězce a třetí strany aplikací AI. Porozuměním, kde leží zranitelnosti, mohou podniky implementovat cílenější obrany.
4. Vzdělávání a školení zaměstnanců: Jak se nástroje AI stávají všudypřítomnými, je důležité vzdělávat uživatele o odpovědném použití AI a povědomí o rizicích. Dobře informovaná pracovní síla pomáhá snižovat náhodné odhalení dat a zneužití.

Pohled do budoucnosti

Adopce AI bude pokračovat a s ní budou bezpečnostní rizika evoluce. Vlády a organizace po celém světě uznávají tyto výzvy a začínají budovat politiky a regulace, aby zajistily bezpečnost AI. Jak zdůrazňuje zpráva Cisco, rovnováha mezi bezpečností AI a pokrokem bude definovat další éru vývoje a nasazení AI. Organizace, které budou priorizovat bezpečnost spolu s inovací, budou nejlépe vybaveny k řešení výzev a využití nových příležitostí. Politiky a regulace budou hrát klíčovou roli v zajištění bezpečnosti AI. Jak zdůrazňuje zpráva Cisco, rovnováha mezi bezpečností AI a pokrokem bude definovat další éru vývoje a nasazení AI. Organizace, které budou priorizovat bezpečnost spolu s inovací, budou nejlépe vybaveny k řešení výzev a využití nových příležitostí.