Když AI hackuje AI: Nová hranice kybernetických hrozeb

V posledních několika letech se technologie AI výrazně vyvinula. Od jednoduchých chatbotů, kteří dokázali odpovídat na často kladené otázky a telefonáty, až po precizní chirurgii a téměř autonomní kybernetické útoky. incident na Hugging Face v lednu 2026 se stal znepokojujícím milníkem: AI agenti poprvé prokázali schopnost autonomně hackovat AI platformy. Tento případ odhalil základní problém: tradiční bezpečnostní opatření nefungují proti útočící AI. Co to však znamená pro odvětví AI — a čeho bychom se měli skutečně obávat?

Co AI dnes může udělat pro útočníky

Nebude to novinkou, pokud vám řeknu, že schopnosti hackerů s AI závisí na dovednostech a cílech útočníka. Útočníci provádějící masové kampaně stále častěji používají AI pro průzkum, vývoj phishingových stránek, návnady atd. AI je také útočníky často používána pro tvorbu kódu – takzvané vibe coding. 

Vibe coding sám podstatně snížil bariéru vstupu nejen do IT profese, ale také usnadnil hackerům vstup do kyberkriminálního podnikání, kde technologii používají k vývoji a ladění svého malwaru.

V uplynulém roce potvrzovalo desítky skupin APT, že útoky založené na AI již nejsou teoretické. Navíc jsem přesvědčen, že AI se stává nebezpečným nástrojem v rukou útočníků – a to není přehánění. Hybridní APT útoky jsou moderní realitou. Mám na mysli operaci řízenou člověkem, ve které AI funguje jako hlavní nástroj.

Co je zde důležité, je AIM3 (AI Malware Maturity Model), který definuje pět úrovní sofistikovanosti pro hrozby využívající AI, kde L1 zahrnuje experimentální útoky a L5 zahrnuje plně autonomní AI útoky.

V roce 2025 byl první známý příklad L4 útoku zjištěn — operace provedená skupinou GTG-1002. V tomto případě útočníci nasadili instance Claude Code, aby fungovaly ve skupinách jako autonomní orchestrátory a agenti penetračních testů, přičemž útočník mohl využít AI k samostatnému provedení 80–90 % taktických operací.

Dalším pozoruhodným trendem je, že útočníci během útoku používají více než jedno AI řešení. Například TAT26-12 používá dva AI systémy plnící doplňující role. Také byl OpenAI využit pro automatizovanou masovou analýzu interních serverů oběti: útočník analyzoval zprávy OpenAI a vložil relevantní zjištění do sezení Claude, která pak fungovala jako interaktivní asistent pro zneužití.

Další podobný případ byl odhalen v červenci 2026, kdy neidentifikovaní útočníci použili Claude Code a DeepSeek-v4-pro pro své útoky. Claude Code slouží jako vykonávací engine, spravuje používání agentních nástrojů, vykonávání bash příkazů, udržování relací a paralelizaci úkolů. DeepSeek-v4-pro pak funguje jako základní model pro uvažování, zpracovává logiku útoku, generování skriptů a rozhodování.

Je třeba poznamenat, že neexistují žádné potvrzené případy realizovaných L5 AI útoků v reálném světě. Předpokládám, že pokročilí aktéři budou usilovat o úrovně L3–L4 sofistikovanosti AI hrozeb, protože jim to může pomoci škálovat a provádět dostatečný počet útoků. Vzhledem k tomu, že L5 útoky jsou složité na implementaci, alespoň v blízké budoucnosti zůstanou teoretické.

AI na temném webu

Na podzemních fórech byl AI typicky zmíněn v diskusích o obecných schopnostech každého řešení a v kontextu tvorby promptů. Nicméně významná část příspěvků byla přímo spojena s škodlivou činností. Příspěvky na známých platformách kyberzločinců se zabývaly tématy, jako je používání AI k vyhledávání návodů na konfiguraci útočné infrastruktury a metodám obcházení detekce populárními antivirovými řešeními; používání AI k obcházení KYC procedur na populárních kryptoměnových burzách; diskuse o známých AI‑poháněných útocích; vývoj a distribuce malwaru; a používání AI k vytváření phishingových stránek napodobujících online služby.

Tři AI řešení nejčastěji zmíněná na fórech odpovídají těm, které jsou nejčastěji pozorovány v útocích kyberzločineckých skupin: Gemini, nástroje OpenAI a Claude Code. Gemini bylo častěji používáno ve velkých útocích, zatímco ChatGPT bylo na fórech diskutováno častěji. 

AI průmysl jako cíl

Kromě používání AI k provádění útoků útočníci cílí i na samotná AI řešení.Útoky na AI nástroje jsou veřejně zřídka oznamovány; přesto může takový útok mít významný dopad na mnoho společností. Útok na dodavatele AI může vytvořit řetězcovou kampaň, která útočníkům umožní proniknout k zákazníkům, aniž by je cíleně napadli.

Navíc mohou být vývojáři AI také oběťmi řetězcových útoků. Například v začátku května 2026 tým TeamPCP vložil škodlivý implantát Mini Shai-Hulud do kompromitovaných npm balíčků; kampaň zasáhla alespoň dva AI dodavatele, mezi dalšími organizacemi. Útočnická skupina ukradla část interních repozitářů jednoho AI dodavatele a nabídla je k prodeji na fóru temného webu.

APT41 se pokusil o další typ útoku pomocí Gemini získat informace o své infrastruktuře a systémech. Pokus byl neúspěšný, ale samotná myšlenka byla poměrně jedinečná.

Kromě toho výzkumníci opakovaně hlásili kritické zranitelnosti v různých AI řešeních, včetně CVE-2025-32711 (alias EchoLeak) v Microsoft 365 Copilot, CVE-2025-54135 (alias CurXecute) v Cursor IDE, CVE-2025-53109 v Model Context Protocol, CVE-2025-8217 v rozšíření Amazon Q Developer pro VS Code a CVE-2025-34291 v Langflow AI. Poslední dva byly pozorovány v reálném světě.

Staré obranné mechanismy, nové hrozby

Jak je dobře známo, existují různé typy AI řešení: cloudová i lokální. Domnívám se, že je pro AI komunitu zásadní pochopit, že AI řešení mají alespoň stejné bezpečnostní problémy jako jiné desktopové a cloudové aplikace – nebo dokonce více. 

První zřejmá hrozba je šíření malwaru maskovaného jako legitimní lokální AI nástroje – útočníci často k tomu používají důvěryhodné zdroje jako GitHub. 

Dalším podobným příkladem jsou škodlivé rozšíření AI asistentů určená k pasivnímu sledování aktivity uživatele, sbírající navštívené URL a úryvky AI‑generovaného chatového obsahu vytvořeného během běžného prohlížení.

Ve většině případů, pokud útočník získá přístup k historii vyhledávání uživatele, může získat informace o soukromém životě a různých pracovních procesech. Tím představuje hrozbu jak pro uživatele, tak pro společnosti.

Jedním dalším typem je technika nazývaná únos AI tokenů – kompromitované API klíče, session tokeny a zařízení jsou cílem aktérů, kteří tento přístup prodávají nebo používají tyto odcizené tajemství pro své útoky, například k provádění skrytých úkolů. Rozsah útoku závisí na datech a oprávněních, která jsou již oběti k dispozici v rámci její relace. 

Další populární technikou v AI, kterou bych chtěl zmínit, je injekce promptů, která spočívá v vkládání škodlivého vstupu (promptů) za účelem získání neúmyslných nebo citlivých informací ze systému nad rámec toho, co vývojář zamýšlel.

Nekontrolovaný přístup k citlivým datům zvyšuje riziko narušení. Jinými slovy, AI se stává jediným vstupním bodem – často s rozšířenými oprávněními – což přitahuje zvýšenou pozornost útočníků.

Jak zůstat v bezpečí

V kontextu kybernetické bezpečnosti mohou být některé základní principy ještě významnější než konkrétní technologie. První, uplatňujte princip nejmenších oprávnění na AI. Druhý, nikdy nedůvěřujte externímu obsahu. A poslední, ale ne méně důležitý, udržujte lidi v cyklu a nikdy nenechte model sám rozhodovat, kdo získá přístup. Vřele doporučuji zkontrolovat, že všechny body jsou nastaveny pro vaše AI řešení.