Jak hodnotit agenta umělé inteligence? Úkoly, průběh, spolehlivost a náklady

Hodnocení agenta umělé inteligence znamená ověřovat, zda spolehlivě plní reprezentativní úkoly, postupuje přijatelným způsobem, respektuje své hranice a přináší dostatečnou hodnotu vzhledem ke svým nákladům. Samotná závěrečná odpověď nestačí, protože agent může dospět k věrohodnému výsledku prostřednictvím nebezpečných akcí, nepodložených tvrzení, příliš mnoha opakovaných pokusů nebo pouhou náhodou.

Hodnocení agentů je obtížné, protože systém jedná v čase. Model vybírá nástroje, sleduje měnící se prostředí a při každém spuštění se může vydat jinou cestou. Účinné evaluace proto měří výsledky i průběh při opakovaných testech.

Základní pojmy při hodnocení agentů

Užitečný soubor pojmů nabízí příručka společnosti Anthropic, která objasňuje hodnocení agentů:

• Úkol: jeden testovací případ s cílem, prostředím, vstupy a kritérii úspěchu.
• Pokus: jeden pokus agenta o splnění úkolu.
• Transkript nebo průběh: posloupnost zpráv, rozhodnutí, volání nástrojů, pozorování a akcí během pokusu.
• Hodnotitel: pravidlo, program, model nebo člověk, který bodově hodnotí část výkonu.
• Hodnoticí prostředí: systém, který připravuje prostředí, spouští pokusy, shromažďuje záznamy, spouští hodnotitele a vykazuje výsledky.

Rozlišování těchto pojmů předchází časté chybě: považovat jednu úspěšnou ukázku za důkaz, že agent bude podávat spolehlivý výkon.

Začněte jasným popisem úkolu

Užitečný hodnoticí úkol popisuje počáteční stav, dostupné nástroje, omezení, očekávaný výsledek a důležité zakázané chování. Test by měl odpovídat skutečné práci, aniž by prozrazoval jediný předem napsaný postup.

U agenta zákaznické podpory je pokyn „vyřešte požadavek“ příliš vágní. Přesnější zadání určuje záznam zákazníka, příslušné zásady, povolené způsoby nápravy, požadovanou komunikaci a změny, které se musí projevit v primárním informačním systému. Výsledek pak lze objektivně vyhodnotit.

Čtyři vrstvy hodnocení agentů

Tyto vrstvy by měly při vykazování zůstat oddělené. Jejich sloučení do jediného průměru může zakrýt nepřijatelné chování – například vysokou úspěšnost při plnění úkolů, která zastírá časté neoprávněné pokusy o použití nástrojů. Týmy mohou nejprve stanovit nepřekročitelné bezpečnostní podmínky a poté porovnávat kvalitu výsledků a efektivitu běhů, které těmito podmínkami prošly.

1. Kvalita výsledku

Dosáhl agent cíle? Hodnotitelé výsledku mohou kontrolovat přesné změny stavu, povinná pole, výsledky testů, faktickou správnost, oporu pro citace nebo kvalitu podle hodnoticí rubriky.

Pokud je to možné, vycházejte z konečného stavu prostředí, nikoli z vlastního tvrzení agenta. Programovací agent neuspěl jen proto, že tvrdí, že chybu opravil; musí to potvrdit příslušné testy a chování.

2. Kvalita průběhu

Zvolil agent správný postup? Hodnocení průběhu může odhalit zbytečný přístup k datům, zakázané nástroje, opakovaná selhání, vynechané ověřování, smyšlená pozorování nebo porušení pravidel schvalování.

Ne každá odchylka od referenčního postupu je chybou. Agenti mohou najít platná řešení, která hodnotitelé nepředvídali. Hodnoticí pravidla by měla vynucovat skutečné požadavky a zároveň umožňovat alternativní, efektivní přístupy.

3. Bezpečnost a dodržování zásad

Zůstal agent v mezích svého oprávnění? Testy by měly zahrnovat podvržení pokynů, rozporné instrukce, citlivá data, nejednoznačný záměr uživatele a požadavky, které vyžadují odmítnutí nebo předání člověku.

Bezpečnostní evaluace potřebují realistické důsledky v izolovaném testovacím prostředí. Věta v souladu se zásadami nestačí, pokud agent už odeslal zprávu, změnil záznam nebo zpřístupnil data.

4. Provozní efektivita

Kolik času a peněz si úspěch vyžádal? Sledujte tokeny modelu, volání nástrojů, dobu odezvy, opakované pokusy, zásahy člověka a náklady na externí služby. Agent, který uspěje až po 100 zbytečných akcích, může být méně užitečný než jednodušší pracovní postup.

Používejte více typů hodnotitelů

Determinističtí hodnotitelé kontrolují přesně definované vlastnosti: zda test prošel, zda byl soubor správně změněn, zda má pole v databázi požadovanou hodnotu nebo zda bylo zavoláno zakázané koncové rozhraní. Jsou rychlí a konzistentní, ale pokrývají jen to, co do nich vývojáři zakódují.

Hodnotitelé založení na modelech posuzují vlastnosti, jako jsou srozumitelnost, úplnost, relevance a dodržení jemně odstupňovaných kritérií. Jejich použití lze rozšířit snáze než lidské hodnocení, je však nutné je samostatně ověřovat, protože mohou být zaujatí nebo nekonzistentní.

Lidští hodnotitelé jsou důležití při odborném posuzování, řešení nejednoznačných případů a ověřování automatizovaných hodnotitelů. Jejich práce je pomalejší a nákladnější, proto je týmy často zapojují při hodnocení vzorků, neshod a oblastí s významnými dopady.

Nejlepší evaluační sady kombinují tyto přístupy. Platforma Evals společnosti OpenAI podobně chápe evaluaci jako strukturovaný proces definování testů, hodnotitelů a opakovaných experimentů, nikoli jako neformální kontrolu.

Spolehlivost vyžaduje opakované testování

Každou úlohu spusťte tolikrát, abyste zaznamenali proměnlivost způsobenou vzorkováním, změnami používaných nástrojů a stavem prostředí. Uvádějte průměrnou výkonnost i četnost závažných selhání. U pracovních postupů složených z několika navazujících kroků může být přesnost jednotlivých kroků vysoká, zatímco spolehlivost celého procesu zůstává nízká, protože k narušení celé úlohy stačí jediné selhání.

Chování agenta je pravděpodobnostní. Stejná úloha může vést k různým plánům, voláním nástrojů i výsledkům. Každou důležitou úlohu spusťte několikrát a uvádějte míru úspěšnosti nebo rozdělení skóre, nejen nejlepší příklad.

Dvě metriky spolehlivosti odpovídají na různé otázky:

• Pass@k: pravděpodobnost, že uspěje alespoň jeden z k pokusů. Tato metrika je užitečná, pokud jsou přijatelné opakované pokusy.
• Pass^k: pravděpodobnost, že uspěje všech k pokusů. Vyjadřuje konzistentnost v situaci, kdy musí fungovat každý běh.

Systém může mít příznivou hodnotu Pass@k, a přesto se nehodit pro automatický provoz, protože jednotlivé běhy jsou nespolehlivé.

Vytvořte reprezentativní soubor úloh

Začněte skutečnými případy selhání a běžnými požadavky z produkčního prostředí. Zahrňte jednoduché úlohy, obtížné okrajové případy, nejednoznačné vstupy, chyby nástrojů, zastaralá data, chybějící informace a obsah vytvořený s cílem systém oklamat.

Výsledky rozdělte podle typu úlohy a míry rizika. Celkový průměr může zakrýt závažnou slabinu při finančních operacích, úlohách s dlouhým horizontem nebo v konkrétní aplikaci. Vyhraďte si sadu dat, která se při ladění nepoužívá, aby se opakovaným upravováním promptů evaluační sada nezměnila v trénovací sadu.

Hodnoťte prostředí, nejen model

Výkonnost agenta závisí na definicích nástrojů, oprávněních, paměti, správě kontextu, uživatelském rozhraní, chování sítě a orchestrace. Aktualizace modelu může omezit jednu chybu, ale zároveň odhalit jinou.

U každého běhu verzujte celý použitý technologický stack. Zaznamenávejte model, prompty, nástroje, snímek dat, prostředí, rozpočty a verze hodnotitelů. Jinak nelze změnu skóre spojit s konkrétní smysluplnou příčinou.

Časté chyby při evaluaci

Dalším rizikem je únik dat. Pokud se úlohy benchmarku, očekávané odpovědi nebo vzorce hodnocení objeví v trénovacích datech modelu nebo v kontextu promptu, může skóre měřit spíše rozpoznávání než schopnost zobecňovat. Uchovávejte neveřejné úlohy pro závěrečné ověření, aktualizujte testovací případy podle toho, jak se systémy mění, a u každého běhu zaznamenávejte přesnou verzi modelu, promptu a nástrojů i použité prostředí.

• Hodnocení řízené demem: výběr úloh až poté, co vidíme, v čem si agent vede dobře.
• Hodnocení pouze závěrečné odpovědi: přehlížení nebezpečných nebo neúčelných průběhů řešení.
• Závěry na základě jediného běhu: považování náhodně úspěšného pokusu za stabilní schopnost.
• Testy s únikem informací: vložení odpovědi nebo referenčního průběhu řešení do kontextu agenta.
• Neověření hodnotitelé založení na modelech: předpoklad, že automatizovaný hodnotitel je správný, aniž by se ověřila jeho shoda s odborníky.
• Neměnná prostředí: testování jediného rozhraní, stavu účtu nebo uspořádání dat.
• Chybějící negativní testy: měření dokončení úkolu bez ověření, zda agent úkol vhodně odmítne nebo předá dál.
• Přehlížení ekonomické stránky: optimalizace úspěšnosti, zatímco náklady a latence se stávají neúnosnými.

Od offline hodnocení k monitorování v produkci

Offline hodnocení probíhá v kontrolovaných a opakovatelných podmínkách. Je ideální pro porovnávání promptů, modelů, nástrojů a zásad před jejich nasazením. Monitorování v produkci odhaluje širokou škálu skutečného chování uživatelů a změn prostředí.

Vyspělý program obě oblasti propojuje. Incidenty a produkční záznamy s nízkou mírou jistoty se mění v nové offline úlohy. Kandidátní změny musí projít regresní sadou testů. Po nasazení týmy sledují úspěšnost plnění úloh, míru zásahů, události související se zásadami, chyby nástrojů, náklady, latenci a zpětnou vazbu od uživatelů.

Praktická hodnoticí karta agenta

Hodnoticí karta by měla rozlišovat mezi pevnými podmínkami a metrikami optimalizace. Soulad se zásadami, oprávnění a požadované důkazy mohou být podmínkami typu splněno/nesplněno; přesnost, latenci, náklady a úsilí hodnotitelů pak lze porovnávat mezi přijatelnými běhy. Díky tomu týmy nevymění malé zvýšení efektivity za zhoršení bezpečnosti, které by souhrnné skóre skrylo.

Užitečná hodnoticí karta může zahrnovat:

• míru úspěšného splnění úloh a skóre kvality;
• konzistentnost při opakovaných pokusech;
• míru kritických porušení zásad;
• přesnost výběru nástrojů a zadávání argumentů;
• míru zotavení po selhání nástroje nebo prostředí;
• míru předání úkolu člověku a míru lidských zásahů;
• mediánovou latenci a latenci v krajních případech;
• náklady na model, nástroje a lidskou práci na jeden úspěšně dokončený úkol;
• efektivitu průběhu řešení ve srovnání s přiměřeným výchozím postupem.

Uvádějte náklady na jeden úspěšně dokončený úkol, nejen náklady na jeden běh. Levný agent, který opakovaně selhává, může vyjít dráž než výkonnější model, který uspěje napoprvé.

Co si zapamatovat o hodnocení agenta AI

Hodnocení agentů je systematické testování kompletního systému zaměřeného na plnění cílů v realistických podmínkách. Sleduje, zda je práce správná, zda je přijatelný postup, zda se chování opakuje a zda dávají ekonomické náklady smysl.

Začněte malou sadou důležitých úloh, několika pokusy, víceúrovňovým hodnocením a úplnými záznamy průběhu řešení. Každé významné selhání v produkci pak převeďte na regresní test. Schopnosti agentů se rychle mění; trvalý systém hodnocení týmům umožňuje rozlišit skutečný pokrok od přesvědčivého dema.