Myslitelé

Proč řízení umělé inteligence selhává

Sitaram Srivatsavai
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyGovernance musí být dodávána jako kód, který může způsobit selhání sestavení, aby…
Zobrazit více
  • Governance musí být dodávána jako kód, který může způsobit selhání sestavení, aby chránil produkci.
  • Pouze 10 % společností je plně připraveno auditovat systémy AI podle Ernst & Young.
  • Důkazy generované automaticky systémy jsou pro audity silnější než dokumentace.

Problém není v tom, že organizace nemají politiky umělé inteligence. Problém je v tom, že tyto politiky nic nedělají.

Někde mezi pečlivě formátovaným PDF a nasazeným modelem se záměr vypaří. Týmy improvizují. Výjimky se hromadí. Řízení se vyvíjí ze systému na jednání — a v regulovaných odvětvích, jako je zdravotnictví a životní vědy, tato mezera není jen trapná. Je to provozní riziko.

Řešením není více dokumentace. Řešením je zacházet s řízením jako se softwarem.

Mezera ve správě je již měřitelná

Adopce umělé inteligence se dramaticky urychlila, zatímco infrastruktura pro správu nebyla schopna držet krok. Studie ze září 2025 od Ernst & Young nalezla, že pouze 10 % společností je plně připraveno na audit systémů umělé inteligence. Současně nový výzkum Ponemon ukázal, že 92 % organizací uvádí, že generativní umělá inteligence změnila, jak zaměstnanci přistupují k informacím a sdílejí je, ale pouze 18 % z nich plně integrovalo řízení umělé inteligence do programů pro vnitřní rizika.

Vzorec je konzistentní: Umělá inteligence je již zabudovaná do denní práce. Dozor je stále pozadu. A čím déle řízení zůstává v dokumentační formě, tím horší se tato mezera stává.

Správa, která funguje

Koncept je zdánlivě jednoduchý: pokud požadavek na správu nedokáže způsobit selhání buildu, nemůže chránit produkční prostředí.

Skutečná správa má vstupy, výstupy, body pro vynucení a pozorovatelné výsledky. Probíhá neustále — ne čtvrtletně. A co je zásadní, vytváří důkazy jako vedlejší produkt práce, ne jako samostatný compliance rituál připojený později.

Operační model vypadá takto:

Politika → Kontroly → Důkazy → Metriky

Politiky definují záměr. Kontroly vynucují chování. Důkazy prokazují provedení. Metriky ověřují výsledky. Toto není nová myšlenka — je to přesně tak, jak již fungují zavedené bezpečnostní a compliance systémy. Posun spočívá v aplikaci stejné logiky na umělou inteligenci.

Kontroly nejsou návrhy. Důkazy nejsou dokumentací. A pokud kontrola vyžaduje manuální úsilí pro produkci důkazů, není to kontrola. Je to naděje.

Rizikové úrovně, ne rizikové divadlo

Ne každý systém umělé inteligence si zaslouží stejnou pozornost. Pokud organizace posuzují nízkorizikový interní nástroj stejně přísně jako model pro podporu klinického rozhodování, buď ochromí vlastní činnost, nebo se zbytečně vystaví rizikům.

NIST AI Risk Management Framework z roku 2023 poskytuje základní strukturu pro myšlení o tomto — mapování rizik umělé inteligence napříč čtyřmi funkcemi: Správa, Mapování, Měření a Řízení. Funkční podnikový model správy staví na této logice s praktickými rizikovými úrovněmi:

Úroveň Rozsah Kontroly
Minimální Interní nástroje, žádná citlivá data Registrace, lehké kontroly
Omezená Uživatelsky orientované, střední riziko Dokumentace, přezkum promptů, bezpečnostní testování
Vysoká Regulovaná rozhodnutí nebo rozhodnutí s vysokým dopadem Formální hodnocení rizika, auditní protokoly, přísná kontrola změn
Zakázaná Případy použití, které nejsou akceptovatelné Blokováno při návrhu a nasazení

Co toto dává inženýrským týmům, je něco, co zřídka dostávají od procesů správy: jasnost. Ne “co bychom měli dělat?”, ale “jaká je tato úroveň a co to spustí?”

Dobrá správa odstraňuje nejasnost. Vynikající správa odstraňuje potřebu debaty.

Politika jako kód: Od poradního k vykonatelnému

Politiky zapsané v dokumentech mají poradní charakter. Politiky zakódované do pipeline jsou vynutitelné.

Stejně jako je infrastruktura ověřena před nasazením, postup systémů umělé inteligence může být podmíněn automatickými kontrolami, které ověřují, zda je případ použití zaregistrován, zda existuje požadovaná dokumentace, zda výsledky hodnocení splňují definované prahové hodnoty a zda přístup k citlivým datům dodržuje princip nejnižších práv. Tyto kontroly běží v CI/CD. Nečekají na výbor. Nezávisí na paměti nebo dobré vůli někoho.

Open Policy Agent — projekt se statusem Graduated v Cloud Native Computing Foundation — demonstruje přesně, jak pravidla mohou být verzována, přezkoumána a konzistentně vynucena napříč inženýrskými ekosystémy. Vzorec je pochopen. Mezera spočívá v tom, že týmy umělé inteligence tento vzorec neaplikují.

Nejbezpečnější systém umělé inteligence není ten s nejlepšími politikami. Je to ten, který je technicky neschopný je porušit.

Kontroly specifické pro LLM: Kde to začíná být zajímavé

Generativní umělá inteligence zavádí kategorii rizika, pro kterou tradiční rámce správy nebyly navrženy — injekce promptu, manipulace výstupu, zneužití nástrojů. Tyto nejsou okrajové případy. Jsou strukturální vlastnosti toho, jak LLM fungují, a jak Unite.AI uvedl ve svém zpravodajství o správě agentní AI, mezera ve správě se stává ještě více zřetelnou, jak systémy umělé inteligence přecházejí z odpovědí na otázky k provádění akcí.

Účinná správa pro systémy GenAI vyžaduje kontroly speciálně navržené pro chování LLM: přísné oddělení systémových instrukcí a uživatelského vstupu, kontrolovaný přístup k nástrojům a allowlisty, validace výstupu před provedením, ochrana proti exfiltraci dat a bezpečné výchozí hodnoty pro šetrné selhání.

Tyto kontroly přímo odpovídají třídám zranitelností popsaným v OWASP Top 10 pro aplikace LLM – komunitně vedený rámec, který nyní pokrývá více než 600 přispívajících odborníků z 18 zemí. Správa LLM je méně o tom, co model ví, a více o tom, co systém dovolí udělat.

Důkazy jsou infrastrukturou, ne papírováním

Auditoři nedůvěřují záměru. Důvěřují záznamům.

V systému, kde správa funguje, důkazy jsou generovány automaticky: karty modelů popisující zamýšlené použití a omezení, dokumentace dat pokrývající původ, zprávy o hodnocení ukazující výkon a známá rizika, protokoly zachycující rozhodnutí a změny. Tyto artefakty neexistují pro audity. Existují proto, že je systém potřebuje ke svému fungování.

Nejsilnější pozice pro audit je, když důkazy již existují, než někdo o ně požádá. Toto není teoretické — regulátoři již přecházejí tímto směrem. Jak nedávná analýza obhajitelné správy umělé inteligence uvádí, otázky, které regulátoři brzy položí, již nejsou jen “zachovali jste to?” ale “můžete prokázat, co se stalo, pod kterou politikou, pomocí kterých dat a z čího pověření?”

Skutečný argument: Správa jako akcelerátor

Trvalý mýtus je, že správa a rychlost jsou v opozici. V praxi špatně navržená správa zpomaluje týmy. Dobře navržená správa odstraňuje tření.

Když jsou kontroly standardizovány, kontroly jsou automatizovány a očekávání jsou kodifikována, týmy přestávají vyjednávat a začínají vytvářet řešení. Vydání se stávají předvídatelnějšími. Rozhodnutí přestávají vyžadovat hrdinské úsilí malé skupiny specialistů, kteří se naučili dokumenty s politikami nazpaměť.

Správa škáluje, když je infrastrukturou. Neškáluje, když stojí jen na neurčitých pocitech.

Cílem nikdy nebyla kontrola pro kontrolu samotnou. Je to hybnost bez chaosu – a organizace, které to dělají správně, nejsou ty s nejpečlivějším PDF. Jsou to ty, které učinily správné chování nejlehčím způsobem.

Sitaram Srivatsavai je myšlenkovým lídrem v oblasti inženýrství CRM s 18+ lety zkušeností napříč platformami CRM, iOS a web. Vede globální týmy, které dodávají podnikový software ve velkém měřítku, se zaměřením na architektonické recenze, modernizaci automatizace a zajišťování spolehlivosti, souladu s předpisy a škálovatelného výkonu.