Proč má AI potíže převzít rozpracovaný úkol

Přestože agenti AI dokážou řešit složité úkoly, nová studie naznačuje, že mají potíže navázat na práci, kterou začal někdo jiný. Výsledkem je zdvojování práce, pomalejší postup a vyšší náklady.

Jednou z nejúnavnějších, ale nezbytných součástí práce s agenty a rozhraními AI je nutnost téměř na začátku každého rozhovoru seznámit systém s dosavadní situací.

Oblíbené jazykové modely, například ChatGPT, sice nabízejí určitý přístup k „trvalým“ uživatelským vzpomínkám, ale jejich využití není spolehlivé. Nakonec bývá bezpečnější přijmout námahu spojenou s vysvětlením kontextu úkolu* umělé inteligenci, alespoň aby si neodvozovala nesprávný kontext ze svého natrénovaného latentního prostoru.

Přebírání rozpracované práce v praxi

Tento problém je samozřejmě starší než AI. Mnoho firem už po zaměstnancích vyžaduje dokumentaci procesů, které vyvíjejí nebo zlepšují. Částečně tím usnadňují zaškolení nováčků, ale lze v tom vidět i snahu zabránit zaměstnancům v získání vyjednávací převahy.

V praxi se však tvorbě, aktualizaci a údržbě dokumentace soustavně věnují často jen větší a lépe financované organizace. Zaměstnanec, který má převzít práci po někom jiném, místo toho velmi často dostane téměř detektivní úkol: musí pečlivě rekonstruovat sled událostí, který vedl k rozpracované práci, jež mu nyní připadla.

Bezchybná dokumentace by pochopitelně ušetřila dny, týdny, či dokonce měsíce práce, pokud by ovšem bylo její vytvoření finančně rozumné.

Pokud práci vykonávají agenti AI, může však existovat větší prostor pro vyřešení tohoto problému.

Předání práce

Nová americká výzkumná práce tuto zátěž způsobenou chybějící dokumentací vyčísluje a označuje ji jako dluh při předávání.

Pokud technický dluh popisuje situaci, kdy dnešní rychlá, provizorní a levná technická řešení vedou k budoucím křehkým či obtížně udržovatelným systémům, potom dluh při předávání vyjadřuje náklady na opětovné zjišťování souvislostí – rekonstrukci kroků předchozího pracovníka či jiného aktéra ze zanechaných stop, když není dostupný pro radu, například po konfliktním propuštění, kvůli vytížení nebo úmrtí. Může také být neschopen poradit, jako jazykový model, který už dávno ztratil kontext vedoucí k současnému stavu práce.

Nová práce^† je výsledkem spolupráce nezávislých badatelů a výzkumníků spojených s Georgia State University. Zabývá se dluhem při předávání v případě programovacích agentů, kteří mají v kódové základně pokračovat tam, kde skončila jiná relace, člověk nebo jiný aktér.

Jedním z cílů je přesně určit, kolik dokumentace je zapotřebí ke snížení dluhu při předávání a jaké postupy a protokoly by bylo možné doporučit jako budoucí běžnou praxi pro omezení problému.

Rozpočtové otázky

V ideálním světě by bylo možné nastavit protokolování na verbose, tedy podrobný výpis a novému agentovi, který úkol přebírá, jednoduše předat záznamy týkající se nedokončené práce.

Získat z tak velkého objemu dat užitečné informace však zabere čas a spotřebovává rozpočet na tokeny. Do hry navíc vstupují omezení úložného prostoru.

Toto je rozpočtový problém: nezpracované datové výpisy jsou náročné na zpracování, zatímco vybrané a uspořádané záznamy jsou přehlednější, ale vyžadují předchozí investici prostředků.

Pečlivé poznámky připravené právě pro předání by nového agenta účinně uvedly do situace. Jejich příprava však vyžaduje ještě více úsilí, které nakonec nemusí být potřebné, pokud bude logika práce zřejmá sama o sobě, práce se opustí nebo se už nikdy nebude upravovat.

Autoři nové práce s názvem Handoff Debt: The Rediscovery Cost When Coding Agents Take Over Interrupted Tasks všechny tyto situace zvážili a přizpůsobili existující modely úloh novým způsobům měření a řešení dluhu při předávání. Ačkoli se výzkum zaměřuje na programovací agenty, může ukázat užitečné směry i pro širší využití AI a organizaci dokumentačních pravidel.

Autoři uvádějí:

„Dluh při předávání vzniká, když agent dosáhne viditelného pokroku, ale zanechá stav, na který nástupce nemůže snadno navázat: například nevysvětlené úpravy, dočasné pracovní soubory, skryté předpoklady nebo chybějící doklady o ověření.

„Metrika založená pouze na konečném vyřešení úkolu nedokáže rozlišit nákladné opětovné zjišťování souvislostí od efektivního pokračování.

„Dva předchozí agenti mohou zanechat stejný repozitář uložený v kontrolním bodě, přesto mohou jejich nástupci čelit velmi odlišným nákladům na pokračování. Jeden může navázat okamžitě, zatímco druhý musí mnohokrát použít nástroje, aby z dočasných pracovních souborů a neúplné historie příkazů znovu zjistil původní záměr.“

Metoda

Autoři definují předchůdce jako dřívějšího agenta, který práci zahájil nebo ji naposledy vykonával, a nástupce jako současného agenta, jehož úkolem je práci převzít.

Pro vytvoření benchmarku měřícího náklady na předávání nedokončených úloh vývoje softwaru mezi agenty bylo 75 úkolů ze SWE-bench Verified převedeno na 181 scénářů předání. Každý představoval místo, kde byla práce přerušena a předána nástupnickému agentovi. Tři různé modely nástupců byly následně testovány ve 2 172 pokusech o převzetí.

V testech se v různých kombinacích používaly modelové řady Qwen, Gemma a Devstral.

Experimenty zkoumaly čtyři úrovně předávaných informací. V nejomezenější variantě dostal nástupce pouze stav repozitáře, jako by vstoupil do nezdokumentované oblasti katastrofy. Ostatní varianty přidávaly stále podrobnější kontext, od záznamů činnosti a historie příkazů až po stručné souhrny toho, co už bylo vyzkoušeno a zjištěno:

Studie se nezaměřovala pouze na konečné vyřešení úkolu, ale měřila náklady na samotné pokračování, se zřetelem k používání nástrojů, spotřebě tokenů a úsilí nutnému k rekonstrukci důvodů předchozí práce.

Pro experimenty byly stanoveny tři definice pro určení bodu předání a tři stavy při předání.

Data a testy

Pro vytvoření realistických situací předání vycházeli výzkumníci ze 75 úloh vývoje softwaru ze SWE-bench Verified. Zaměřili se na problémy, jejichž vyřešení obvykle trvá od 15 minut do čtyř hodin.

Nevyhodnocovali jen dokončené úlohy, ale během práce zachytili několik průběžných kontrolních bodů. Vznikly tak situace, kdy jeden agent AI musel převzít práci jiného:

Vytvoření benchmarku převzetí práce. Ze 75 úkolů SWE-bench Verified vzniklo 181 bodů předání ve třech fázích práce. Byly označeny podle stavu repozitáře v okamžiku převzetí a hodnoceny za čtyř podmínek sdílení informací. Výsledkem bylo celkem 2 172 běhů nástupnických agentů. Zdroj

Každý úkol mohl vytvořit více bodů předání a každé předání bylo testováno se čtyřmi podobami přenesených informací. Benchmark se proto rychle rozrostl. Konečný soubor zahrnoval 181 různých úkolů předání a 724 hodnocení převzetí pro každý model nástupce, tedy celkem 2 172 běhů tří testovaných systémů AI.

Pro testy bylo použito prostředí programovacího agenta ve stylu OpenHands, s příkazy v terminálu, zmrazením repozitáře v bodech předání, úpravami souborů a oficiálním ověřením podle benchmarku SWE-bench.

V hlavní studii pocházely všechny body předání z běhů předchozích agentů založených na Qwen. To poskytlo pevný výchozí bod pro porovnání různých kombinací agentů a situací.

Testované páry převzetí byly Qwen-Qwen; Qwen-Gemma; a Qwen-Devstral.

Surový záznam nejvíce snížil práci nástupce: počet událostí agenta klesl o 57–59 %, zatímco Souhrnné poznámky a Strukturované poznámky snížily počet událostí o 20–46 %. Spotřeba tokenů ve vstupních promptech také klesla ve všech třech přístupech, o 42–63 %:

Při předání za podmínky pouze repozitář museli nástupničtí agenti věnovat další interakce rekonstrukci záměru předchůdce, dřívějších dokladů a neúspěšných postupů. Surový záznam, Souhrnné poznámky a Strukturované poznámky přenesly některé informace přímo a snížily potřebu znovu zjišťovat souvislosti, ovšem za cenu větších počátečních promptů.

Pro ověření, zda jsou přínosy skutečné, bylo každé předání s bohatším kontextem porovnáno s odpovídajícím předáním pouze repozitáře ze stejného výchozího bodu. Ve všech dvojicích modelů předání více informací soustavně snižovalo práci potřebnou na straně nástupnických agentů.

Úplné záznamy událostí přinesly největší snížení práce. Souhrnné i strukturované poznámky však také vedly k výrazným úsporám. Účinek se projevoval v celém benchmarku a nebyl způsoben jen několika odlehlými případy:

Aby výzkumníci ověřili, že účinek nezpůsobila hrstka neobvyklých případů, porovnali každé předání s odpovídajícím předáním pouze repozitáře ze stejného bodu. Snížení zůstalo konzistentní ve všech dvojicích modelů a svědčí o skutečném vzorci, nikoli jen několika výjimečných příkladech.

Co z toho plyne?

Stručně řečeno^†, autoři zjistili, že když jedna AI předá úkol jiné, i jednoduché poznámky jí pomohou pokračovat efektivněji.

Úplné záznamy fungují nejlépe, ale jakékoli informace k předání jsou lepší než nutit nástupce rekonstruovat vše jen z kódu. Výše uvedené výsledky také ukazují, že přístup využívající úplné surové záznamy nevyhnutelně znamená vyšší náklady na tokeny.

Závěr

Ačkoli je práce určena výhradně kolegům výzkumníkům a běžného čtenáře osloví jen omezeně, zabývá se jedním z nejzajímavějších a nejnaléhavějších problémů současných rozhraní a protokolů mezi lidmi a AI.

Lze doufat, že přístupy a poznatky získané tímto výzkumem se časem uplatní v širším využití AI než jen při programování pomocí agentů.

Další výzkum by mohl zkoumat, jak na základě vlastností projektu a jeho použití určit minimální potřebnou úroveň dokumentace. I taková funkce, která by pomohla účelněji vynakládat čas a peníze, však sama stojí čas a peníze. Rozpočtovému dilematu dokumentace proto stále není snadné uniknout.

* Osobně jsem v poslední době u relací ChatGPT zatížených pomalou odezvou a příliš velkým kontextem začal s jistými obtížemi exportovat přehledné PDF konverzace. Používám je jako výchozí bod nové relace, která se stává „částí 2“.

^† Tato práce bohužel nepatří k nejsrozumitelnějším, které jsem letos četl. Proto čtenáři nemohu doporučit původní studii, přestože její zpracované výsledky zůstávají zajímavé.

Poprvé zveřejněno ve středu, 3. června 2026