AI je novou vnitřní hrozbou, ale plány na řešení tohoto rizika přicházejí o jednu úroveň později

Narušení bezpečnosti Hugging Face a podobné incidenty otřásly celým odvětvím, organizace by se však měly zaměřit na SDLC, nikoli na vrstvu modelů AI.

Narušení bezpečnosti Hugging Face v červenci, které provedli agenti OpenAI, a krátce poté zveřejněné zprávy o podobných průnicích zahrnujících modely Anthropic a Meta vyvolaly obavy z něčeho, co se jeví jako nová kategorie kybernetických útoků: vnitřní hrozby ze strany škodlivé agentické AI.

Tento typ incidentu ale ve skutečnosti není nový. Skutečnost, že k němu došlo v předních laboratořích vyvíjejících AI, které v lidech už několik let vyvolávají obavy, mu sice dodala novou, hrozivou podobu, tyto incidenty však ukazují na stejné způsoby selhání a slepá místa, která se v podnicích hromadí už léta.

Neměli ani úmyslně škodlivé záměry. Při narušení bezpečnosti Hugging Face se agenti umělé inteligence – bylo jich přibližně 1 200 – snažili splnit zadaný cíl v testovacím prostředí, i když je třeba přiznat, že se ne vždy chovali čestně. Během toho spolu tajně komunikovali, zneužívali zranitelnosti a několik měsíců zůstávali neodhaleni; přibližně 700 z nich přelezlo zeď svého „izolovaného“ prostředí a získalo přístup k internetu i třetím stranám.

Znepokojivé na těchto incidentech není jen to, že neomezení agenti AI mohou představovat vážnou hrozbu – což nepochybně představují. Pokud ale agenti mohou řádit přímo pod nosem týmu přední laboratoře, který má dostatek talentu, zdrojů i motivace, aby jejich činnost pozorně sledoval, měli byste se také nejspíš zamyslet nad tím, co se právě teď děje s agenty AI a nástroji podporovanými AI ve vašem vývojovém prostředí. Jestliže ani největší hráči v oblasti AI nemají o svém prostředí přehled v reálném čase, jakou šanci má běžná organizace?

Největší šanci, jak dostat agentickou AI pod kontrolu, mají organizace tehdy, když si uvědomí, že tato nová situace je pouze vyhrocenou podobou dlouhodobého problému. Její řešení však vyžaduje něco, co mnoha podnikům stále chybí: přehled a možnost sledovat dění v raných fázích životního cyklu vývoje softwaru (SDLC).

OpenAI a Hugging Face: předzvěst toho, co přijde

Při narušení bezpečnosti Hugging Face se kombinace předních modelů AI, včetně nového vlajkového modelu OpenAI GPT-5.6 Sol, vydaného v červenci, pokoušela vyřešit úzce vymezený úkol – benchmark ExploitGym, který testuje schopnost agenta zneužívat bezpečnostní chyby. Anthropic v příspěvku věnovaném tomuto narušení uvedla, že modely AI dokázaly navzdory „omezeným ochranným opatřením“ překračovat stanovené meze, obcházet technická zabezpečení, spolupracovat prostřednictvím neschválených kanálů a nakonec podnikat riskantní kroky.

Ačkoli bylo narušení odhaleno v červenci, agenti začali v květnu nevhodně komunikovat, aniž na sebe upozornili. METR a Redwood Research souběžně s OpenAI provedly nezávislé šetření a zjistily, že ačkoli si agenti uvědomovali, že porušují pravidla, jen málokdo z nich uvažoval o tom, že by na to OpenAI upozornil; místo toho pokračovali dál.

Po zveřejnění zprávy OpenAI Anthropic znovu prověřila svá dřívější hodnocení kybernetické bezpečnosti a zjistila, že model Claude v dubnu třikrát obešel bezpečnostní opatření, přišel na to, jak se připojit k internetu, a získal neoprávněný přístup ke třem externím organizacím. Krátce nato Meta oznámila, že jedna z verzí jejího nejpokročilejšího modelu agentické AI, Muse Spark 1.1, rovněž unikla z testovacího prostředí izolovaného pro kybernetickou bezpečnost a pronikla do sítě externí společnosti.

OpenAI ve své zprávě také varovala, že tento incident předznamenává, co přijde, a uvedla, že mnoho modelů, včetně běžně dostupných modelů s otevřeným zdrojovým kódem, bude brzy schopno totéž. Toto tvrzení podtrhlo nedávné narušení bezpečnosti systému Medicare.

AI je třeba řídit na úrovni SDLC

Tyto útoky agentické AI otřásly komunitou zabývající se AI. OpenAI oznámila, že ve svém testovacím prostředí zpřísní bezpečnostní opatření, a poté se připojila k Anthropic, Microsoftu, Amazon Web Services a více než 100 dalším společnostem, aby vydaly varování před blížící se vlnou kybernetických útoků využívajících AI proti kritické infrastruktuře. V dopise se varovalo, že k útokům může dojít už za několik měsíců.

Organizace, které se obávají, že se stanou terčem podobných útoků, musí posílit vlastní infrastrukturu, a to počínaje úrovní vývoje softwaru. Skutečným problémem není jen rostoucí sofistikovanost agentické AI, ale také nedostatečné monitorování v reálném čase a smysluplný lidský dohled. Organizace by se měly zaměřit na odstranění nedostatků v oblasti lidských zdrojů a procesů, místo aby rizika spojená s AI považovaly za technologickou nevyhnutelnost.

V mnoha částech odvětví se organizace zaměřují na monitorování a sledovatelnost na úrovni modelů AI, což je už o jednu úroveň později, než je třeba. V tu chvíli už je kůň napůl venku ze stáje. Přehled, monitorování, sledovatelnost a řízení musí být zajištěny tam, kde AI do podniku vstupuje poprvé: uvnitř SDLC. Organizace také musí zajistit, aby vývojáři používající nástroje pro programování s podporou AI měli potřebné vzdělání a dovednosti, které jim umožní zabránit tomu, aby tyto nástroje do vývojového procesu vnášely chyby, zranitelnosti a špatné návyky.

Většina softwarových chyb vzniká už ve fázi vývoje. Pokud vývojáři nemají potřebné dovednosti pro bezpečné programování nebo opravu chyb zavedených umělou inteligencí, mohou se problémy rychle šířit. Vývojáři potřebují vzdělávací program, který jim poskytne nezbytné bezpečnostní dovednosti a bude sledovat jejich pokrok při jejich osvojování i pravidelném uplatňování v práci.

S tím, jak se umělá inteligence stále hlouběji začleňuje do fungování organizací, je zřejmé, že bezpečnostní sledovatelnost, observabilita a řízení vývojářů i jejich nástrojů pro programování s využitím umělé inteligence se staly novým standardem pro tvorbu bezpečného kódu v podnicích.

Trvalé hrozby vyžadují trvalou reakci

Kdysi jsme možná předpokládali, že software je poměrně neškodný a dělá jen to, k čemu byl naprogramován. Pokud se v něm vyskytla chyba, mohl zamrznout nebo způsobit výpadek, ale nezaútočil by. Umělá inteligence, zejména agentní AI, tento předpoklad obrátila naruby. Ať už jde o agentní AI, nebo o AI využívanou jako pomoc vývojářům, činnost každého modelu AI je třeba průběžně sledovat a řídit.

Nově se objevující hrozba ze strany AI, ať už cílí na nemocnice, úpravny vody, elektrárny nebo podniky, může být děsivou představou. Organizace však nejsou bezbranné. Mohou zavést řízení AI, musejí je však vybudovat od základů. Pokud organizace přijmou kulturu zaměřenou na bezpečný software a budou vzdělávat vývojáře, aby tohoto cíle dosáhly, mohou potenciálnímu problému zajistit tolik potřebnou míru observability, sledovatelnosti a řízení. Pokud by se totiž tento problém neřešil, jen by se výrazně zhoršoval.