Myslitelé
Proč je třeba začlenit testování do výrobní linky AI hned od začátku

Klíčové bodyAI zrychluje programování, ale odhaluje slabé navazující testování a snižuje stabilitu…
Zobrazit více
- AI zrychluje programování, ale odhaluje slabé navazující testování a snižuje stabilitu dodávek.
- Agenti, kteří hodnotí své vlastní testy, mohou podvádět tím, že upravují neúspěšné testy místo opravy kódu.
- Testování musí být samostatnou stanicí mimo CI, aby každá změna čelila stejnému verdiktu.
Nástroje pro testování vyvíjím už více než dvacet let a po většinu té doby zněly mé rozhovory s vývojovými týmy podobně. Testeři se v životním cyklu softwaru cítili jako občané druhé kategorie. Testování přicházelo na řadu pozdě, často se na něj vyhradilo jen to, co zbylo před vydáním, a začleňovalo se do CI pipeline vytvořené pro něco jiného. AI nyní proměnila způsob, jakým píšeme kód – a dopad na testování je rozhodně znát, v dobrém i ve zlém. V mnoha ohledech AI tento problém ještě zviditelnila.
V posledních několika měsících jsem se zúčastnil několika konferencí o testování a cloud-native technologiích (LeadDev, CloudX, StarWest) a téměř každý tým, se kterým jsem mluvil, pracuje na nějaké podobě stejného projektu: na životním cyklu vývoje softwaru řízeném AI, v němž agenti přebírají práci od specifikace až po spuštění v produkčním prostředí a lidé do procesu zasahují v potřebné míře. Představuji si to jako výrobní linku. Agenti píší kód, další agenti ho kontrolují a pipeline ho sestavují a nasazují. Lidé na všechno dohlížejí. O tom, kde na této lince probíhá testování, ale slýchám mnohem méně.
Zatím na to nikdo nepřišel
Momentálně je to tak trochu Divoký západ. Nové schopnosti agentů přibývají každých pár týdnů, velké AI laboratoře neustále vydávají nové modely a týmy i dodavatelé zkoušejí všechno možné, aby zjistili, co se ujme.
Některé údaje naznačují, že se už začínají projevovat nedostatky. Nejnovější zpráva DORA o vývoji softwaru s podporou AI od Googlu, která vycházela z průzkumu mezi téměř 5 000 odborníky na technologie, zjistila, že zavádění AI souvisí s vyšší průchodností vývoje, což je dobrá zpráva. Nadále však souvisí také s nižší stabilitou dodávek. Výzkumníci to vysvětlují tím, že AI urychluje vývoj a odhaluje slabá místa v pozdějších fázích procesu. Jako jedno z opatření, která brání tomu, aby větší množství změn vedlo k větší nestabilitě, uvádějí důkladné automatizované testování.
To mě nepřekvapuje. Pokud procesem navrženým pro mnohem menší objem protlačíte podstatně více kódu, někde se zpomalí, nebo někde selže.
Vývojáři jsou rychlejší, většina vydání nikoli
Když si lidé představují, co se může pokazit u kódu vygenerovaného AI, obvykle si představí agenta, který nasadí do produkce něco příšerného. Jsem si jistý, že se to stává – a když k tomu dojde, následky nejsou příjemné: chyby, nespokojení zákazníci, možná i bezpečnostní incident. Ale upřímně řečeno, s tím se většinou nesetkávám.
Průzkum mezi vývojáři Stack Overflow pro rok 2026 ukazuje, na co se dnes používání AI nejvíce soustředí. Vývojáři ji využívají hlavně k vytváření kódu v oblastech, které už znají (67 %), a k ladění (61 %), zatímco jen 20 % ji používá k nasazování, provozu nebo řešení problémů produkčních systémů. AI zatím především urychlila psaní kódu. Ověřování tohoto kódu a jeho nasazování do produkce stále probíhá z velké části stejně jako dřív.
Odpovídá to i tomu, co pozoruji já: týmy vytvářejí mnohem více kódu, ale nevydávají ho rychleji. Jednotlivý vývojář nebo tým může mít pocit, že vytváří dvakrát více funkcí, jenže tyto funkce uváznou v dalších fázích procesu a čekají na kontrolu, na testy nebo na prostředí, ve kterém by se daly otestovat. Všechen ten kód navíc ucpává pipeline a v mnoha případech dokonce zpomaluje celkové dodávky týmů.
Otázky týkající se ochranných opatření kladou manažeři
Obavy z úzkých míst při dodávání způsobených AI jsou velmi konkrétní, ale nejsou jediným tématem, na které se nás týmy ptají. Vývojáři chtějí hlavně vědět, jak rychleji psát lepší kód. Otázky o ochranných opatřeních kladou vedoucí vývoje a lidé, kteří nastavují pracovní postupy řízené agenty. Jak zajistíme, aby se agenti nevymkli kontrole? Jak poznáme, že nezavádějí regresní chyby nebo potichu nevynechávají práci, kterou měli udělat? Jak zajistíme, aby testy, které píší, skutečně (a poctivě!) ověřovaly to, co mají?
Myslím, že je to tím, že každý z nich sleduje něco jiného. Vývojář se dívá vždy na jeden pull request. Vedoucí vývoje odpovídá za vše, co se vydává napříč mnoha agenty a lidmi, a když se v produkci něco pokazí, musí to také vysvětlit.
A důvodů k opatrnosti mají dost. Výzkumníci vytvořili testovací sadu nazvanou ImpossibleBench, která obsahuje programovací úlohy, v nichž jsou jednotkové testy v rozporu se specifikací, takže jediným způsobem, jak uspět, je podvádět. Přední modely to často skutečně dělaly, například upravovaly nebo mazaly neúspěšné testy místo toho, aby opravily kód (!!). Samostatná studie pull requestů vytvořených agenty odhalila nedostatky v tom, jak dobře agenti testují vlastní změny, a odkazuje na dřívější výzkum, podle nějž téměř třetina sloučených pull requestů vytvořených agenty vyžadovala následné opravy nebo refaktoring.
Z toho vyvozuji, že ochranná opatření nemohou být jen součástí vlastního prostředí agenta a nemohou přicházet až po vydání kódu. Pokud agent, který kód napsal, také rozhoduje o tom, zda prošel testy, mnoho vám to neřekne. To neznamená, že by agenti neměli psát testy. Znamená to, že verdikt musí pocházet odjinud – z místa, které agent nemůže upravit. Testování musí mít na výrobní lince vlastní stanoviště, kterým projde každá změna bez ohledu na to, zda ji napsal člověk, nebo agent.
Co toto stanoviště potřebuje
Řešením není úplně nový druh testování. Většina toho, co je potřeba, je to, o co dobré týmy zajišťující kvalitu žádají už dlouho. Teď na tom jen záleží víc.
Testy je třeba kontrolovat, zda správně odpovídají požadavkům – stejně jako kód, který testují. Testy se také musí spouštět v prostředí, ve kterém běží software. Test, který projde v izolovaném prostředí agenta, vám toho o testovacím nebo produkčním prostředí moc neřekne a může zakrýt, které závislosti byly simulovány – a jak. Nedávná studie téměř 180 000 testovacích souborů vytvořených agenty zjistila, že agenti pokryli více okrajových případů než testy napsané lidmi, jejich testy však vykazovaly více známek nestability, především proto, že agenti neměli dostatek informací o prostředí, ve kterém se měly testy spouštět. Včasné spouštění testů na skutečné infrastruktuře tento problém odhalí.
Testy a jejich výsledky je třeba uchovávat. Když agent napíše test, měl by mít jako kontext k dispozici stávající testy a jejich výsledky, aby se mohl učit jak z rozsahu pokrytí, tak z případné nestability. Testy je třeba kontrolovat a verzovat stejně jako jakýkoli jiný kód, aby se znovu spustily při příští změně, místo aby zmizely po skončení relace.
Úspěšný výsledek by měl znamenat totéž bez ohledu na to, kdo o něj požádal – ať už jde o automatizovanou pipeline, vývojáře, nebo agenta. To znamená stejné testy spouštěné na stejné infrastruktuře a výsledky uložené na jednom místě.
Lidé by si také měli zachovat vlastní úsudek. Rád přenechám agentům rutinní práci a propojování jednotlivých částí. Rozhodovat o tom, co stojí za testování a co znamená neúspěch, je stále úkolem člověka (alespoň prozatím…).
To také znamená, že testování nemůže probíhat jen v rámci CI/CD (pokud si z tohoto článku zapamatujete jedinou věc, ať je to právě tato!). CI pipeline byly navrženy k sestavování a nasazování kódu; nikdy nebyly určeny ke spouštění automatizovaných testů ve velkém měřítku. S tím, jak přecházíme k agentnímu SDLC a množství kódu stále roste, se CI pro spouštění testů hodí ještě méně. Testování musí být nedílnou součástí procesu dodávání softwaru, nikoli jen krokem na konci pipeline. To znamená koordinovat testování jako samostatný systém napříč všemi nástroji a prostředími, které tým používá, bez ohledu na to, kdo práci řídí – agent, nebo člověk.
Kde začít
Většina týmů už má testy, kterým důvěřuje v nástrojích Playwright, Cypress, k6, Postman nebo v jiném standardizovaném nástroji, a to je skvělé místo, kde začít. Doporučil bych několik věcí:
- Zmapujte, jak se dnes změna dostává od zadání až do produkce, a vyznačte všechna místa, kde se spouštějí testy. Pokud je takové místo jen jedno a nachází se až na konci, začal bych právě tam.
- Dávejte pozor, abyste agentům nedovolili potichu měnit stávající testy. Výzkumníci z ImpossibleBench zjistili, že omezení přístupu agentů k testům omezilo podvádění. Když agent přece jen potřebuje test změnit, měl by změnu předložit jako pull request, který zkontroluje člověk, stejně jako jakýkoli jiný kód.
- Spouštějte testy co nejdříve v testovacích prostředích, nejlépe skutečných, nikoli v izolovaných prostředích agentů, i kdyby šlo jen o malou sadu základních testů spouštěnou při každé změně vytvořené agentem v testovacím prostředí. Pokud k psaní testů používáte AI, žádný nepřijímejte, dokud v něm nebyl spuštěn.
- Soustřeďte výsledky testů na jednom řídicím místě – ať už jde o nástroj pro vytváření reportů, vaše řešení APM, nebo specializovanou testovací platformu. Zajistěte, aby k těmto výsledkům měli přístup lidé i agenti.
- Měřte výsledky dodávání, ne aktivitu. Počet pull requestů toho říká jen velmi málo. Metriky dodávání DORA, například doba od zahájení změny do jejího nasazení a míra neúspěšných změn, vám mnohem lépe napoví, zda AI pomáhá.
- Umožněte agentům používat stejnou testovací infrastrukturu jako vašim lidem, aby se jejich práce ověřovala podle stejných měřítek.
Optimistický přístup s určitými podmínkami
Když jde o AI, patřím k optimistům a myslím si, že díky ní budou softwarové týmy mnohem schopnější a nakonec i produktivnější. Abychom toho ale dosáhli, musí týmy dostatečně důvěřovat výstupům svých agentů na to, aby je nasadily, a musí v agentním SDLC uplatňovat komplexní přístup k testování – právě tam se totiž důvěra buď buduje, nebo ztrácí.
Pokud směřujete k agentnímu SDLC, jakou roli v něm dnes hraje testování?












