Od inteligence k pravomocím

Umělá inteligence se posouvá od odpovídání na otázky a vytváření obsahu k dalším úkolům. Systémy AI stále častěji dokážou interpretovat pokyny, sestavovat plány, vybírat nástroje a vykonávat úkoly bez průběžného lidského vedení.

Na tomto rozdílu záleží.

Systém AI, který doporučuje, jak jednat, se liší od systému, který má oprávnění doporučené kroky provést. Rozdíl nemusí spočívat v inteligenci ani sofistikovanosti. Jde o pravomoci.

Autonomní systémy se neomezují na nejpokročilejší velké jazykové modely. Patří mezi ně specializované systémy strojového učení, robotika, autonomní vozidla, softwaroví agenti i kombinace technologií, které v rámci stanovených provozních podmínek samostatně rozhodují nebo provádějí určité činnosti.

Jejich potenciální přínosy jsou značné. Mohou podporovat vědecké objevy, průmyslový provoz, zdravotnictví, vývoj softwaru i kybernetickou bezpečnost. Mohou také vést k nezamýšleným důsledkům, odhalit citlivé informace nebo zahájit činnosti, které jejich provozovatelé nezamýšleli.

Autoři Mohammad Hamad a Sebastian Steinhorst se v práci Bezpečnostní výzvy při navrhování autonomních systémů zabývají bezpečnostními problémy spojenými s autonomní reakcí na incidenty, hodnocením rizik, řízením přístupu, důvěryhodností dat a interakcemi mezi autonomními systémy. Jejich výzkum, který se z velké části týká kyber-fyzických systémů, ukazuje, že zabezpečení samostatně jednajících strojů přináší výzvy přesahující rámec dnešních agentů LLM.

Širší důsledky autonomie, včetně možného fyzického poškození, si zaslouží důkladné posouzení. Důkazy je však třeba vykládat obezřetně. Incidenty s automatizovanými vozidly například nelze automaticky přičítat stejným mechanismům, které ovlivňují autonomní agenty kybernetické bezpečnosti. Záleží na míře autonomie, provozních podmínkách, zapojení člověka i na důkazech o příčinné souvislosti.

Stejně tak důkazy o tom, že autonomní AI může způsobit škodu, nedokazují, že správa a řízení těchto systémů nutně zaostávají. Neměli bychom ani předpokládat, že autonomní systémy se ze své podstaty obtížně zabezpečují.

Zásadní otázkou není, zda AI dokáže vykonávat složitou práci, ale zda architektonické, bezpečnostní a organizační rámce, jimiž se autonomní systémy řídí, dokážou stanovit vhodné hranice svěřených pravomocí a poskytnout ověřitelné důkazy, že jsou tyto hranice dodržovány.

Kybernetická bezpečnost nabízí obzvlášť užitečný pohled na tuto otázku, protože odborníci na bezpečnost se už desítky let zabývají zpochybňováním předpokladů týkajících se důvěry, oprávnění, přístupu a chování systémů.

Hra na kočku a myš v rychlosti strojů

Kybernetická bezpečnost se už dlouho přirovnává ke hře na kočku a myš.

Útočníci objevují slabiny, obránci zavádějí ochranná opatření a obě strany se přizpůsobují. Tento cyklus pokračuje, zatímco se mění technologie, taktiky i provozní prostředí.

Autonomní AI nemusí měnit základní pravidla této hry. Může však změnit to, kdo — nebo co — ji hraje, jak rychle jedná a kolik práce lze vykonat bez průběžného zásahu člověka.

Autonomní systém pro ofenzivní bezpečnost by mohl vyhledávat vystavené služby, zkoumat zranitelnosti, navrhovat možné cesty útoku a testovat, zda je lze zneužít. Obranný systém by mohl podobné schopnosti využívat ke zkoumání hrozeb, odhalování slabin a ověřování nápravných opatření.

Tento potenciál dvojího využití je zásadní pro pochopení bezpečnostních důsledků autonomní AI.

Projekt Glasswing společnosti Anthropic je příkladem využití AI při vyhledávání zranitelností. Ve své výzkumné aktualizaci z května 2026 společnost Anthropic informovala o rozsáhlých výsledcích při vyhledávání zranitelností a zároveň zdůraznila provozní náročnost jejich ověřování, zveřejňování a opravování.

Na tomto rozdílu záleží. Objevit zranitelnost není totéž jako potvrdit, že ji lze zneužít, odstranit ji nebo prokázat, že je dotčený systém bezpečný.

Větší počet zjištění může zlepšit přehled o situaci a současně zvýšit nároky na lidi a procesy odpovědné za jejich řešení.

Bezpečnostní důsledky závisí na tom, co se stane dál.

Pokud útočníci i obránci dokážou automatizovat část své práce, podstatnou otázkou není jen to, která strana má schopnější model. Jde o to, zda obránci dokážou proměnit odhalené problémy v účinná nápravná opatření a nezávisle ověřit jejich výsledky.

Tradiční penetrační testování nezastarává jen proto, že AI dokáže provádět útočné činnosti. Jeho rozsah se musí rozšířit tak, aby zahrnoval systémy, které interpretují pokyny, využívají nástroje, kombinují oprávnění a v několika krocích sledují stanovené cíle.

Cíl zůstává stejný: najít slabiny, určit jejich význam, odstranit je a prokázat, že ochranná opatření fungují.

Architektonická rozhraní: kde se setkávají bezpečnostní hranice

Jedno z méně nápadných rizik autonomních systémů vzniká tehdy, když jednotlivé, samostatně autorizované komponenty vzájemně interagují způsobem, který vede k nezamýšleným důsledkům.

Tato místa interakce označuji jako architektonické švy.

Uvažujme běžný příklad. Organizace omezuje přístup k souboru pomocí oprávnění NTFS. Samostatná cloudová služba pro sdílení umožňuje oprávněnému uživateli sdílet tyto informace externě.

Každý systém může fungovat podle vlastních pravidel. Jejich vzájemné působení však může vést ke sdílení informací, které porušuje zamýšlenou bezpečnostní hranici organizace.

Jde o příklad potenciálně konfliktních zásad, nikoli o tvrzení, že je některý produkt pro sdílení souborů zranitelný.

Problém nemusí spočívat v závadě některého z jednotlivých kontrolních mechanismů. Může jít o selhání při prosazování zamýšlených bezpečnostních zásad v rámci celého pracovního postupu.

Podobné situace mohou nastat i v případě autonomní umělé inteligence při propojení modelů, aplikací, identit, nástrojů, úložišť kódu a externích služeb.

Agent může mít oprávnění číst dokument, vytvořit úložiště kódu a nahrávat soubory. To nutně neznamená, že je oprávněn tyto operace kombinovat způsobem, který odhalí důvěrné informace.

Výzkum nabízí praktický důvod, proč tyto interakce zkoumat.

V rámci AgentDojo výzkumníci hodnotili útoky typu prompt injection proti AI agentům využívajícím nástroje, a to na 97 realistických úlohách a 629 bezpečnostních testovacích případech. Jejich zjištění ukázala, že škodlivé pokyny vložené do nedůvěryhodných výstupů nástrojů mohou narušit některé bezpečnostní vlastnosti, ačkoli útoky ani agenti nebyli úspěšní ve všech případech.

Výzkum neurčuje, jak často jsou tyto útoky úspěšné v produkčním prostředí. Ukazuje však, proč samotné hodnocení odpovědí modelu nestačí k pochopení chování systému propojeného s nástroji.

Související riziko se někdy označuje jako praní oprávnění: určitá akce působí legitimně, protože je provedena prostřednictvím autorizovaného nástroje nebo zprostředkovatele, přestože kombinované jednání porušuje zamýšlené hranice oprávnění.

Když spolupracuje více agentů, je třeba tato propojení upravit výslovnými pravidly, která stanoví podmínky účasti, výměny informací a povolených činností.

Odpovědnost je také nutné rozdělit napříč architekturou.

Poskytovatelé modelů, provozovatelé platforem, vývojáři agentů a organizace, které je nasazují, mohou mít pod kontrolou různé části systému. Užitečný model sdílené odpovědnosti určuje, kdo kontroluje jednotlivé hranice, kdo může schvalovat výjimky, kdo sleduje průběh činnosti a kdo zasáhne, když se něco pokazí.

Autonomie odpovědnost neruší. O to důležitější je vědět, kde tato odpovědnost spočívá.

Důslednost v ofenzivním testování: Ověřujme, co považujeme za jisté

Tím se dostáváme ke konceptu, který označuji jako důslednost v ofenzivním testování.

Důslednost v ofenzivním testování je disciplinovaný přístup k adversariálnímu testování, kritickému zkoumání a ověřování založenému na důkazech, který prověřuje bezpečnostní předpoklady. Hodnotí chování systémů v realistických podmínkách, místo aby se spoléhal pouze na architektonické návrhy, zdokumentované kontrolní mechanismy nebo domnělou ochranu.

Základní postupy jsou zavedené. Penetrační testování, modelování hrozeb, red teaming a ověřování zabezpečení už dlouho prověřují předpoklady obrany.

Důslednost v ofenzivním testování propojuje tyto postupy kolem jedné zásadní otázky:

Jaké důkazy potvrzují, že zamýšlená bezpečnostní hranice obstojí?

Organizace může mít zásady omezující nakládání s citlivými informacemi, model nastavený tak, aby odmítal zakázané požadavky, a agenta s omezenými oprávněními.

To jsou smysluplná ochranná opatření. Jejich samotná existence však nedokazuje, že se celý systém bude v adversariálních podmínkách chovat bezpečně.

Model může odmítnout škodlivý pokyn, zatímco autorizovaný nástroj přesto umožní nezamýšlenou akci. Zásady mohou vypadat správně, ale interakce mezi systémy mohou vytvořit neočekávanou cestu, jak je obejít.

Někdy tomu říkám „iluze ochranných zábran“: zaměňování přítomnosti ochranných zábran za důkaz, že systém nemůže překročit hranici, jejímž dodržování měly bránit.

Ochranné zábrany jsou užitečné. Jejich účinnost je však třeba prokázat.

Představme si autonomního agenta, který má oprávnění prošetřit podezření na napadení systému. Může získávat protokoly, zkoumat aktivitu uživatelů a doporučovat omezení incidentu.

Během autorizovaného bezpečnostního testu vloží útočník při testování do informací, které má agent zpracovat, zavádějící pokyny.

Test by neměl skončit pouhým zjištěním, zda se agent těmito pokyny řídil.

Měl by zkoumat, zda se agent pokusil o neoprávněnou akci, zda její provedení zabránily nezávislé kontrolní mechanismy, zda byl pokus zaznamenán a zda se systém odpovídajícím způsobem zotavil.

Důslednost v ofenzivním testování propojuje pět činností:

1. Stanovit předpoklad: Určit bezpečnostní vlastnost, kterou má architektura zajišťovat.
2. Prověřit předpoklad: Testovat realistické cesty útoku, manipulované vstupy a kombinace legitimních funkcí.
3. Shromáždit důkazy: Zjistit, o co se systém pokusil, co se skutečně provedlo a které bezpečnostní kontroly zafungovaly.
4. Náprava slabiny: Řešit model, pracovní postup, oprávnění, architekturu nebo provozní proces, který selhání způsobil.
5. Ověřit nápravu: Znovu otestovat příslušnou cestu útoku a potvrdit, že se požadovaná bezpečnostní vlastnost skutečně uplatňuje.

V tom spočívá rozdíl mezi testováním reakce modelu a testováním zabezpečení celého systému.

Je také třeba zkoumat, co se děje po získání počátečního přístupu. Útočník se může pokusit získat přihlašovací údaje, eskalovat oprávnění, zajistit si trvalý přístup nebo se přesouvat mezi systémy zneužitím funkcí, které jsou v daném prostředí již dostupné.

To, že je nástroj legitimní, neznamená, že je legitimní každé jeho použití.

Smyslem důsledného ofenzivního testování není předpokládat, že autonomní systémy nejsou bezpečné. Cílem je pomocí testování zjistit, kde jejich bezpečnostní hranice obstojí.

Podmíněná autonomie: oddělení inteligence od oprávnění

Jednou z architektonických reakcí je rozlišovat mezi tím, co systém AI dokáže, a tím, k čemu má oprávnění.

Tento přístup označuji jako podmíněnou autonomii.

Podmíněná autonomie uznává, že vhodná míra samostatnosti závisí na úkolu, provozním prostředí, možných důsledcích, míře nejistoty a důkazech, které mohou daný krok odůvodnit.

Agent shrnující veřejně dostupné informace nemusí vyžadovat stejný dohled jako agent oprávněný deaktivovat účty, měnit pravidla firewallu nebo upravovat produkční infrastrukturu.

U druhého z nich mohou být zapotřebí výslovná pravidla nasazení, nezávisle vynucovaná oprávnění, přísnější autorizace a schválení člověkem u kroků se závažnými důsledky.

Tyto hranice by se neměly rozšiřovat jen proto, že agent usoudí, že by mu širší přístup pomohl dosáhnout cíle.

Agent může přehodnotit způsob provedení povoleného úkolu, aniž by získal další oprávnění.

Seznam deseti nejvýznamnějších rizik OWASP pro aplikace využívající LLM se této otázce věnuje v kategorii LLM06:2025 – Nadměrná míra autonomie. OWASP označuje za zdroje rizika nadměrnou funkčnost, příliš rozsáhlá oprávnění a autonomii a doporučuje omezovat schopnosti a nezávisle vynucovat autorizaci.

Podmíněná autonomie uplatňuje tyto principy v závislosti na provozním riziku.

Přístup k informacím by měl být omezen na to, co úkol vyžaduje. Oprávnění nástrojů by měla být vymezena schválenými operacemi. Provádění akcí lze omezit limity jejich počtu, rychlostními limity, požadavky na schválení a podmínkami pro zastavení.

Tato ochranná opatření jsou obzvlášť důležitá při autonomním ofenzivním testování.

Testovací agent může při plnění schváleného cíle legitimně odhalit přihlašovací údaje nebo citlivé informace. Odhalení přihlašovacího údaje však neznamená, že model musí dostat jeho hodnotu v otevřené podobě.

Bezpečnostní testovací rámec může citlivé přihlašovací údaje oddělit od modelu a zprostředkovat jejich použití prostřednictvím nezávisle vynucované autorizace. Zprostředkovatel přihlašovacích údajů může například předat tajný údaj přímo schválené službě, aniž by jej zbytečně zpřístupnil modelu.

To odpovídá zavedeným principům nejnižších oprávnění a oddělení povinností.

Vyvstává také zajímavá otázka týkající se architektury, která umožňuje používat vlastní model (BYOM) nebo vlastní LLM (BYO-LLM).

Které bezpečnostní záruky zůstanou zachovány, pokud bude podkladový model zítra nahrazen?

Autorizace úkolů, izolace přihlašovacích údajů, omezení rozsahu, zaznamenávání událostí a vynucování zásad mohou být zajištěny okolním rámcem, a nemusejí tedy být zcela závislé na chování modelu.

To však neznamená, že je tento rámec automaticky bezpečný ani že jsou modely zaměnitelné. Různé modely mohou odlišně interpretovat pokyny, různě používat nástroje a způsobovat různé typy selhání.

Smysluplné hodnocení musí testovat jak kontroly, které mají zůstat neměnné, tak chování, které se při změně modelu mění.

Možná patří k nejodolnějším bezpečnostním vlastnostem ty, které lze nezávisle vynucovat i při dalším vývoji komponenty zajišťující inteligenci.

Když AI jedná vůči AI: problém ověřování

Představme si hypotetický pracovní postup v bezpečnostním operačním týmu:

Prošetřete tento incident, shromážděte důkazy, určete dotčené identity, navrhněte opatření k omezení dopadů, proveďte schválené kroky a ověřte výsledek.

Vyšetřovací agent analyzuje telemetrická data. Jiný agent doporučí opatření k omezení incidentu. Agent oprávněný k provádění změn je vykoná. Ověřovací agent vyhodnotí výsledek.

Jde o příklad autonomní reakce na incident s uzavřenou zpětnou vazbou, nikoli o zdokumentované selhání v celém odvětví.

Představme si, že první agent nesprávně označí identitu za kompromitovanou. Druhý agent tento závěr přijme a účet deaktivuje. Třetí potvrdí, že byl účet deaktivován, a oznámí úspěšné provedení.

Vybraná operace byla dokončena.

Bylo však původní určení správné? Byla akce oprávněná? Řešilo opatření k omezení incidentu skutečnou hrozbu? Způsobilo zbytečné narušení provozu?

Ověření nemůže spočívat pouze v potvrzení, že agent dokončil akci, kterou sám zvolil.

Ani svěření ověření jinému agentovi AI automaticky nezaručuje nezávislý výsledek.

Různí agenti mohou vycházet ze stejných nepřesných telemetrických dat, kompromitovaných informací nebo chybných předpokladů. Jejich shoda sama o sobě nezávisle nepotvrzuje základní fakta.

Čím závažnější jsou důsledky autonomní akce, tím důležitější je ověření nezávislé na systému, který rozhodnutí učinil.

Takovou nezávislost lze zajistit například samostatně získanými důkazy, deterministickými kontrolami zásad, omezenými prostředími pro provádění, lidskou kontrolou nebo kombinací těchto pojistek.

Zavedené kontroly by měly odpovídat závažnosti možných důsledků chyby.

Akce s malým dopadem, které lze snadno vrátit, mohou být vhodné k automatizovanému ověření. Akce s velkým dopadem nebo takové, které lze jen obtížně vzít zpět, mohou vyžadovat přísnější autorizaci, nezávislé potvrzení a výslovný souhlas člověka.

Rozlišit příslušné bezpečnostní vlastnosti pomohou čtyři otázky:

• Vyložil systém správně zamýšlený úkol?
• Spadala akce do rozsahu svěřených pravomocí?
• Proběhlo provedení v rámci povolených mezí?
• Splnil výsledný stav zamýšlený bezpečnostní cíl?

Tyto otázky spolu souvisejí, nejsou však zaměnitelné.

Agent může provést oprávněnou akci, která povede k nezamýšlenému výsledku. Může také dosáhnout zdánlivě příznivého výsledku neoprávněnou akcí.

Ani jedno by nemělo být automaticky považováno za úspěch v oblasti bezpečnosti.

S rostoucími schopnostmi autonomních systémů nespočívá výzva jen v tom, jak jim umožnit dokončovat složité pracovní postupy. Jde také o to získat dostatečné důkazy, že jejich akce zůstávají oprávněné, přiměřené a správné.

To zahrnuje schopnost rozpoznat, kdy se zastavit, předat záležitost k posouzení, vzít akci zpět nebo přijmout omezené a výslovně pochopené riziko.

Důvěra se musí opírat o důkazy

Bezpečnostní důsledky autonomní AI nejsou výhradně negativní.

Autonomní systémy mohou obráncům pomáhat odhalovat slabiny, vyšetřovat hrozby a provádět ověřovací činnosti, které by jinak vyžadovaly značné úsilí lidí.

Pokročilejší modely, přísnější externí kontroly a vyspělejší provozní postupy mohou snížit některá rizika spojená se svěřenými pravomocemi.

Bylo by proto předčasné usuzovat, že autonomní AI je ze své podstaty nezabezpečená nebo že správa a řízení nedokážou držet krok s jejím vývojem.

Existuje také závažný protiargument k tvrzení, že autonomní AI vyžaduje zásadně nové bezpečnostní principy.

Mnohým ze základních problémů, jako jsou nadměrná oprávnění, nedůvěryhodné vstupy, nedostatečná autorizace, nekonzistentní vynucování zásad a nedostatečné ověřování, se odborníci věnují už desítky let.

Zavedené kontroly už mohou poskytovat použitelná řešení, pokud jsou správně zavedeny a testovány.

Autonomie může změnit rychlost, rozsah i složitost jejich uplatňování. Neznamená to však automaticky, že přestávají být platné.

Důkazy vedou k užitečnější otázce: za jakých podmínek lze autonomním systémům důvěřovat při výkonu svěřených pravomocí a jak prokážeme, že jsou tyto podmínky splněny?

Odpověď nelze odvodit pouze od schopností modelu.

Vyžaduje jasné architektonické hranice, jednoznačně přidělenou odpovědnost, nezávisle vynucovanou autorizaci, přiměřený dohled a důkazy o tom, že pojistky fungují v realistických podmínkách.

Vyžaduje také konzistentní, ale průběžně se vyvíjející pohled na bezpečnost a rizika.

Naše základní bezpečnostní principy se nemusejí měnit pokaždé, když se objeví nový model. Předpoklady o tom, jak se tyto principy uplatňují, však musíme neustále zpochybňovat s tím, jak se vyvíjejí schopnosti, provozní prostředí i svěřené pravomoci.

To je smyslem ofenzivní důslednosti.

Nejde o to dokázat, že systémy AI selžou, ale zjistit, kde mohou selhat, stanovit důsledky a ověřit kontroly určené k tomu, aby těmto selháním zabránily nebo je omezily.

Snad trvalejší výhodou není jen volba schopnějšího modelu, ale vybudování architektury, v níž lze modely měnit, aniž by se tím narušily hranice důvěry, pravomocí a ověřování.

Hra na kočku a myš pokračuje. Stále častěji mohou mít autonomní hráče obě strany.

Zásadní je dbát na to, aby se v závodě o automatizaci všeho ostatního neztratila naše schopnost odhalovat slabiny, napravovat je a prokazovat výsledky.

Důvěra se musí opírat o důkazy.

Poznámka autora: Názory a interpretace uvedené v tomto článku jsou mé vlastní a nemusí nutně odrážet oficiální stanoviska, zásady ani možnosti produktů mého zaměstnavatele.