Kde bezpečnostní standardy umělé inteligence selhávají — a kde musí začít ochrana během runtime

Všechny diskuse o bezpečnostních rizicích umělé inteligence zdánlivě přehlížejí jednu otázku: skutečnost, že systémy umělé inteligence fungují pouze tehdy, když vystavují svá nejcennější aktiva — modely a data.

Na rozdíl od tradičního softwaru umělá inteligence nevykonává pouze předem definovanou logiku. Trvale kombinuje proprietární modely se citlivými vstupy, aby generovala výstupy, často na infrastruktuře, která nebyla navržena pro ochranu výpočtů.

Tímto způsobem tradiční bezpečnost selhává. Šifrování je efektivní, když jsou data uložena nebo přenášena přes síť, ale ne když jsou data zpracovávána nebo operována. Pro umělou inteligenci zejména vzniká nebezpečí, když je model nasazen. Jeho parametry jsou načteny do paměti, inicializovány a použity v rozsahu – v okamžiku, kdy šifrování přestává – vystavují je potenciálnímu neoprávněnému přístupu. Během inferencí protékají citlivá data stejným vystaveným prostorem. Výsledkem je vysoce zranitelná rizika: systémy umělé inteligence, které mohou vypadat bezpečně – ale ve skutečnosti nejsou chráněny v nejkritičtějších okamžicích.

Standardizační organizace, jako je Národní institut pro standardy a technologii (NIST), Evropská agentura pro kybernetickou bezpečnost (dříve známá jako Evropská agentura pro síťovou a informační bezpečnost, nebo ENISA), a Open Web Application Security Project (OWASP) začaly mapovat tuto oblast. Popisují rizika, pojmenovávají zranitelnosti a stanovují zásady řízení. Ale zastavují se krátko předtím, než předepíší, jak chránit modely jako duševní vlastnictví a data jako důvěrná aktiva, když začíná výpočet. Zavření této mezery vyžaduje přehodnocení bezpečnosti umělé inteligence – ne jako cvičení pro soulad, ale jako problém ochrany výpočtu samotného. Zde hraje roli šifrování během použití, nebo end-to-end šifrování.

Slepecká skvrna v moderní bezpečnosti umělé inteligence

Většina diskusí o bezpečnosti umělé inteligence se stále pohybuje kolem známé půdy: řízení trénovacích dat, kontrol přístupu, monitorování API, a odpovědné uživatelské zásady. Tyto jsou nezbytné. Nicméně, žádná z nich se nezabývá tím, co se děje po nasazení, když model opouští repozitář a stává se živým systémem.

Jakmile je model nasazen, jeho parametry již nejsou abstraktními artefakty. Jsou živé, paměťově residentní aktiva, které jsou nepřetržitě přístupná během inferencí a často používána několika nájemci nebo zákazníky prostřednictvím sdílených služeb umělé inteligence. Toto vystavení nastává předtím, než je učiněn jakýkoli požadavek na inferenci, a tím se riziko ještě více zvyšuje tím, že se zavádějí citlivá vstupní data a vnějškově pozorovatelné chování.

Léčba ochrany modelu jako před-nasazení a bezpečnost inferencí jako runtime problém miní bod. Ve skutečných systémech se tato rizika překrývají. Modely a data jsou vystavena během inicializace, výpočtu a výstupu. Bezpečnost, která začíná a končí s kontrolami úložiště, selhává v řešení těchto vystavení.

Co NIST dělá správně — a kde zastavuje

NIST Rámec pro řízení rizik umělé inteligence se stal kamenem úlomkem pro organizace, které se snaží řídit rizika umělé inteligence. Jeho struktura — řídit, mapovat, měřit, řídit — nabízí disciplinovaný způsob, jak myslet na odpovědnost, kontext, dopad a zmírnění napříč životním cyklem umělé inteligence.

Co NIST dělá zvláště dobře, je rámcovat rizika umělé inteligence jako systémová, nikoli náhodná. Selhání umělé inteligence jsou zřídka jednobodové události; vznikají z interakcí mezi modely, daty, lidmi a infrastrukturou. To je zásadní.

Kde rámec selhává, je v tom, že nedokáže určit, jak jsou chráněna vysokohodnotná aktiva umělé inteligence, když systémy jsou živé. Parametry modelů jsou implicitně považovány za artefakty navrhování, nikoli za runtime aktiva. Prostředí pro výpočet je předpokládáno jako dostatečně důvěryhodné.

V praxi jsou parametry modelů často nejvýznamnějším duševním vlastnictvím, které organizace vlastní. Jsou načteny do paměti, zkopírovány přes uzly, uloženy do mezipaměti a opakovaně použity. Pokud řízení rizik umělé inteligence nezohledňuje důvěrnost modelů během nasazení a výpočtu, kritické aktivum zůstává vně hranice rizika, jako sedící kachna.

ENISA a realita hrozeb specifických pro umělou inteligenci

Práce ENISA na kybernetické bezpečnosti umělé inteligence posouvá diskusi dále. Její vícestupňový rámec rozlišuje mezi tradiční infrastrukturou bezpečnosti a riziky specifickými pro umělou inteligenci, uznávající, že systémy umělé inteligence se chovají jinak — a selhávají jinak — než konvenční software.

Proč je to důležité? Umělá inteligence zavádí hrozby, které se nehodí přesně do stávajících kontrol: extrakce modelů, únik parametrů, vystavení při společném použití a manipulace během výpočtu. Tato rizika nevyžadují exotické útočníky. Vznikají přirozeně, když jsou vysoké modely spuštěny ve sdílených nebo externě spravovaných prostředích.

Rámec ENISA implicitně uznává, že zabezpečení umělé inteligence znamená zabezpečení chování, nikoli pouze kódu. Ale jako většina standardů se zaměřuje na to, co by mělo být zvažováno, nikoli na to, jak jsou ochrany technicky vynucovány, když modely běží.

OWASP a cena pozorovatelné inteligence

OWASP Top 10 pro aplikace velkých jazykových modelů nabízí konkrétnější pohled na to, jak systémy umělé inteligence selhávají ve skutečném světě. Vstupní injekce, odhalení citlivých informací, úniky vložených dat, nadměrná transparentnost výstupu — tyto nejsou teoretickými obavami. Jsou produkty nasazení silných modelů bez omezení toho, co odhalují.

Ačkoli jsou tyto problémy často prezentovány jako problémy na úrovni aplikace, jejich důsledky jsou hlubší. Opakované vystavení chování modelu může vést k efektivnímu klonování; špatně izolovaná vložená data mohou odhalit strukturu; a zneužívání inferencí se stává cestou k replikaci modelu.

Taxonomie OWASP činí jednu věc jasnou: ochrana umělé inteligence není pouze o zastavení špatných vstupů. Je to o omezení toho, co modely odhalují — interně i externě — když jsou funkční.

Společný závěr, nedokončená práce

Mezi NIST, ENISA a OWASP existuje široká shoda na základech:

• Rizika umělé inteligence pokrývají celý životní cyklus
• Systémy umělé inteligence zavádějí nové kategorie hrozeb
• Modely a data jsou vysokohodnotná aktiva
• Vystavení během runtime je nevyhnutelné

Co tyto rámce postrádají, je mechanismus pro vynucení důvěrnosti, když jsou modely nasazeny a výpočet začíná. Tato absence není chybou, protože standardy definují záměr a rozsah. Implementace je obvykle ponechána na návrháře systému.

Ale zanechávají kritickou mezeru — jednu, která se zvětšuje, jak systémy umělé inteligence rostou.

Šifrování během použití mění rovnici

Šifrování během použití posouvá bezpečnostní model. Místo toho, aby se předpokládalo, že data a modely musí být vystaveny, aby byly užitečné, považuje výpočet za něco, co lze chránit.

V praktických termínech to znamená:

• Modely zůstávají zašifrované během nasazení, inicializace a výpočtu
• Vstupy nejsou nikdy viditelné v plain textu pro výpočetní prostředí
• Mezitímní stavy nelze prohlížet nebo měnit
• Infrastruktura již nemusí být implicitně důvěryhodná

To nenahrazuje rámce pro řízení nebo kontroly na úrovni aplikace — operationalizuje je. Přeměňuje zásady rizik na vynutitelné záruky právě tehdy, když systémy umělé inteligence jsou nejzranitelnější.

Jinými slovy, šifrování během použití je chybějící vrstva mezi politikou umělé inteligence a realitou umělé inteligence.

Kdy řízení končí a výpočet začíná: Zabezpečení výpočtu umělé inteligence

Bezpečnost umělé inteligence selhává během runtime. Jakmile je umělá inteligence nasazena, modely a citlivá data musí být vystavena v paměti, aby fungovaly, vytvářejí rizikovou plochu, kterou tradiční kontroly — šifrování v klidu, šifrování během přenosu a rámce pro řízení — nebyly navrženy chránit.

Standardizační organizace, jako je NIST, ENISA a OWASP, udělaly kritický pokrok v definování rizik umělé inteligence, odpovědnosti a zneužití. Ale jejich pokyny se většinou zaměřují na modely jako na artefakty navrhování a předpokládají, že výpočetní prostředí může být důvěryhodné. V praxi jsou parametry modelů a citlivá vstupní data nepřetržitě přístupná, opakovaně používána a často zpracovávána ve sdílených nebo externě spravovaných prostředích.

Zavření této mezery vyžaduje přehodnocení bezpečnosti umělé inteligence ne jako cvičení pro soulad, ale jako problém ochrany výpočtu samotného — když modely jsou živé, data jsou používána a vystavení je nevyhnutelné. Šifrování během použití nabízí životaschopný způsob, jak udržet modely a citlivá vstupní data zabezpečená napříč každým stadiem životního cyklu umělé inteligence.