Lidé se drží za život, když AI urychluje dodávku softwaru

Většinu historie vývoje softwaru lidé představovali kontrolu. Vývojář provede změnu, další osoba ji zkontroluje, někdo ji schválí a nakonec je nasazena.

AI tento celý systém urychluje, zatímco se stále snažíme udržet lidi uprostřed. Vývojáři nyní mohou vytvářet kód a změny během několika sekund. Agenti mohou pracovat napříč repozitáři, nástroji, infrastrukturou a dalšími systémy s menším zapojením lidí.

Naším instinktem je vrátit lidi zpět do procesu. Kontrolujeme pull request, schvalujeme volání nástroje, kontrolujeme změnu a potvrzujeme nasazení, protože chceme mít jistotu, že AI neudělala něco, co neměla. Držíme se za život.

Ten instinkt dává smysl. Lidská revize nám poskytla způsob, jak udržet kontrolu, když se software posouvá k produkci. Ale AI začíná fungovat tak rychle a v takovém objemu, že lidé nemohou zůstat jednotkou měřítka pro správu.

AI se již pohybuje rychleji než lidská revize

První vlna generativní AI ve vývoji softwaru se zaměřila převážně na pomoc vývojářům psát kód rychleji. To samo o sobě mění dodávku softwaru. Více kódu znamená více změn aplikací, infrastruktury a databází, které procházejí testováním, bezpečností, revizí, nasazením a produkcí.

Problém není nutně v tom, že AI vytváří horší změny. Vytváří více změn, rychleji. Pokud je kontrolou veškerého nového výstupu další osoba, která kontroluje každou změnu, nakonec to matematicky nevyjde.

Již vidíme první známky. Anthropic nedávno oznámil, že uživatelé Claude Code schvalují přibližně 93 % požadavků na oprávnění. Společnost zjistila, že opakované výzvy mohou vést k únavě schvalování, přičemž lidé věnují méně pozornosti, jak počet schválení roste. Anthropic nyní používá automatický klasifikátor k vyhodnocení akcí a zastavení potenciálně nebezpečných, místo aby požádal člověka o schválení všeho.

Zamyslete se, co to říká o lidském dohledu. Pokud někdo schvaluje 93 % případů, přidání dalšího schválení nutně neznamená větší kontrolu. V určitém okamžiku se člověk stane dalším krokem v pracovním postupu.

Můžeme využít AI k tvorbě více softwaru. Nemůžeme reagovat vytvořením stejně velké lidské revizní operace za tím.

AI přechází od tvorby kódu k vykonávání akcí

Asistenti při kódování poskytli AI roli ve vývoji. Agenti dávají AI schopnost podílet se na mnohem širším rozsahu životního cyklu vývoje softwaru (SDLC). Agent může přijmout cíl, rozhodnout, jak jej dosáhnout, použít nástroje, pozorovat výsledky a upravit své další kroky.

V softwarovém inženýrství to může znamenat úpravu souborů, spouštění příkazů, interakci s repozitáři, volání API, testování kódu nebo práci s infrastrukturou. Lidé se také stále více cítí pohodlně, když nechávají agenty pracovat samostatně. Ve studii zahrnující miliony interakcí mezi lidmi a agenty Anthropic zjistila, že zkušení uživatelé Claude Code využívali plné automatické schvalování ve více než 40 % relací, což je zhruba dvojnásobek míry nových uživatelů.

To neznamená, že autonomní agenti dnes provozují produkční prostředí všude. To neplatí. Ale vývoj softwaru nám poskytuje předběžný pohled na to, kam se tato oblast ubírá.

Dnes AI vytváří více změn a lidská revize začíná být přetížená. Dále se AI zapojí do širšího rozsahu SDLC. Nakonec agenti budou vytvářet, ověřovat, nasazovat, sledovat a opravovat změny s mnohem menším zapojením lidí.

V každém kroku odstraňujeme další místo, kde člověk dříve poskytoval kontrolu. Otázka se posouvá od toho, zda AI může práci vykonávat, k tomu, co by AI měla smět dělat samostatně.

Oprávnění není pravomoc

Agenti potřebují přístup, aby mohli vykonávat užitečnou práci. Agent pomáhající s nasazením softwaru může potřebovat přístup k repozitáři, systému CI/CD, cloudovému prostředí nebo databázi. Pokud tento přístup odeberete, odeberete také velkou část toho, co činí agenta užitečným.

Avšak přístup a pravomoc nejsou totéž. Poskytnutí agentovi oprávnění k přístupu do systému neznamená, že by měl mít pravomoc provádět každou akci, která v systému je dostupná.

Tradiční řízení přístupu nám může říci, zda má agent oprávnění k přístupu k něčemu. Potřebujeme také způsob, jak určit, zda by se měla konkrétní akce, kterou chce provést, skutečně uskutečnit. To se stává důležitějším, když systém rozhodující může úkol interpretovat odlišně než osoba, která jej zadala, narazí na překážku a zvolí jinou cestu, nebo použije legitimní nástroj způsobem, který nikdo nepředvídal.

OWASP popisuje verzi tohoto problému jako Nadměrná agentura. Uvádí nadměrnou funkčnost, oprávnění a autonomii jako příčiny škodlivých akcí a doporučuje nezávislé schválení pro akce s vysokým dopadem.

NVIDIA řeší stejný problém na úrovni architektury. Její Open Agent Safety Platform umisťuje vymáhání politiky mimo agenta a dává jednoduchý závěr: od agenta se nemůže očekávat, že bude plně řídit své vlastní chování.

To by mělo formovat, jak budeme stavět AI SDLC. Agent může potřebovat oprávnění k přístupu k databázi, infrastrukturnímu prostředí nebo systému nasazení. To neznamená, že by měl agent sám rozhodnout, že každá změna, kterou chce provést, je bezpečná.

AI rozhoduje na základě pravděpodobností. Neměli bychom nechat, aby se každé takové rozhodnutí automaticky proměnilo v akci proti kritickému systému.

Člověk v cyklu nemůže být celou odpovědí

Zřejmá reakce je mít člověka před rozhodnutími, která mají důsledky. U některých rozhodnutí je to přesně to, co bychom měli dělat. Chyba je proměnit „člověka v cyklu“ v odpověď na každé rozhodnutí.

Pokud každou akci agenta musí někdo zkontrolovat a kliknout „schválit“, znovu vytvoříme úzké hrdlo, které AI měla odstranit. Navíc dostatek schválení může dohled proměnit v rutinu. Osoba, která celý den kliká „schválit“, nutně nevyužívá svůj úsudek.

Musíme být záměrnější, kde se rozhodnutí odehrávají. AI může činit rozhodnutí v rámci úkolu, který jí zadáme. Politika může řešit rozhodnutí, kde jsou pravidla již známa. Lidé mohou řešit výjimky a rozhodnutí, která skutečně vyžadují úsudek.

Nízkoriziková změna, která splňuje zavedenou politiku, by neměla vyžadovat, aby na ni někdo zíral. Změna, která politiku porušuje, by měla být automaticky zastavena. Výjimka s významnými obchodními, bezpečnostními nebo provozními důsledky může vyžadovat, aby rozhodnutí učinila osoba.

Jedná se o zcela odlišný model než jen umisťovat člověka do každého cyklu. Cílem není odstranit lidi. Cílem je přestat dělat lidskou pozornost podmínkou každé akce a učinit řízenou cestu nejjednodušší cestou.

Umístěte kontrolu tam, kde se akce odehrává

Podniky nebudou standardizovat na jeden AI model nebo jednoho agenta. Vývojáři budou používat různé copiloty. Týmy budou experimentovat s různými modely. AI se objeví v nástrojích pro vývojáře, bezpečnostních produktech, datových platformách i interních aplikacích.

Snažit se vytvořit odlišný proces řízení kolem každého AI nástroje nebude škálovatelné. Kontrola musí být blíže akci, kterou AI chce provést.

Pokud AI‑generovaná změna vstoupí do nasazovacího pipeline, měla by podléhat stejným politikám jako změna vytvořená člověkem. Pokud agent chce upravit infrastrukturu, data nebo produkční databázi, kontroly kolem tohoto systému by neměly zmizet jen proto, že se změnil aktér.

Zdroj změny neurčuje riziko. Riziko představuje samotná změna. Vývojář, asistent při kódování, automatizovaný proces nebo autonomní agent mohou dosáhnout stejné akce různými cestami, ale tato akce může stále podléhat stejné politice, než se stane důslednou.

To také umožňuje, aby se technologie měnila, aniž by společnosti musely pokaždé přestavovat řízení. Modely se budou měnit. Agenti budou schopnější. Kontroly kolem kritických systémů mohou zůstat konzistentní.

NIST používá podobný rizikově orientovaný přístup ve svém Rámci pro řízení rizik AI, který považuje řízení za něco, co musí fungovat napříč životním cyklem AI, a ne jen za jediné schválení na konci. Pro dodávku softwaru to znamená umístit kontroly do cesty, kterou AI už používá, místo aby se na ni přidával další manuální proces.

Když člověk odejde, důkaz nemůže odejít s ním

V modelu lidské revize se skrývá další problém. Když člověka z procesu odstraníte, neztratíte jen revizi. Můžete také ztratit osobu, která pomáhala prokázat, že revize proběhla.

To se stává vážným problémem pro společnosti s požadavky na bezpečnost, soulad a audit. Stále potřebují vědět, co se změnilo, kdo nebo co to iniciovalo, která politika se použila, zda prošla, kdo schválil výjimku, kde se změna spustila a co se následně stalo.

Nemůžete automatizovat změnu a nechat důkaz manuální. V procesu řízeném lidmi mohou týmy později rekonstruovat důkazy z tiketů, schválení, logů pipeline, snímků obrazovky a konverzací. Tento přístup se stává obtížnějším s rostoucím objemem změn a nereálným, když stroje vytvářejí a provádějí změny kontinuálně.

Důkaz se musí stát součástí procesu dodávky. Rozhodnutí politiky, schválení, výjimky, nasazení a výsledky by měly vytvářet záznamy během samotné práce. Důkazy auditu se tak stanou vedlejším produktem dodávky softwaru místo toho, aby je týmy sestavovaly až po dokončení.

To vytváří dvě odlišné úlohy pro řízení v AI‑řízeném SDLC. Před akcí určit, zda by se měla provést. Po akci prokázat, co se stalo.

Lidé neodcházejí. Naše role se mění.

Existuje pochopitelný instinkt měřit kontrolu podle toho, kolikrát se člověk zapojí. Více revizí se zdá bezpečnější. Více schválení se zdá bezpečnější. Mít člověka v každém cyklu se zdá bezpečnější.

AI tuto předpoklad otestuje. Pokud AI bude nadále zvyšovat množství softwaru, který můžeme vytvořit, lidé nebudou schopni zkontrolovat každou změnu, schválit každou akci, sledovat každé nasazení a později rekonstruovat každé rozhodnutí. Pokusit se to udělat buď zpomalí AI, nebo promění lidský dohled v pouhý razítko.

AI SDLC potřebuje jiný rozdělení práce. AI může zvládnout více práce, zatímco politika řídí opakovatelné rozhodnutí a lidé zasáhnou, když něco skutečně vyžaduje úsudek. Důkazy by měly být během procesu vytvářeny automaticky.

Budeme AI poskytovat více přístupu, protože tak se stává užitečnou. Budeme agentům dávat větší autonomii, protože tak od nich získáme větší přínos. Výzvou je zajistit, aby větší přístup a autonomie tiše nevedly k neomezené pravomoci.

Lidé nemusí držet pevněji. Cílem není méně kontroly. Jedná se o model kontroly, který nezávisí na tom, že bychom si každé rozhodnutí drželi sami. Musíme vytvořit kontrolní mechanismy, které nám umožní uvolnit sevření, aniž bychom ztratili kontrolu.