Google Research přináší lidské deliberování do subjektivních klasifikátorů AI

Google Research 4. listopadu 2026 představil Agile Deliberation, interaktivní rámec pro tvorbu obrazových klasifikátorů pro subjektivně vymezené kategorie, který doprovází open-source kód a ukázkový notebook. Ve studii s uživateli, jež zahrnovala 18 sezení, výzkumníci zaznamenali lepší výsledky klasifikátorů a nižší náročnost práce než při ručním dolaďování promptů.

Rámec se zaměřuje na kategorie, jejichž hranice závisí na osobním úsudku, kulturním kontextu nebo provozních pravidlech: zdravé jídlo, inspirativní umělecká díla a obrázky typu clickbait slibující zavádějící odměny. Vychází z předpokladu, že uživatelé často sami objevují hranice svého rozhodování při posuzování obtížných příkladů. Běžný postup označování předpokládá, že tyto hranice jsou pevně dané ještě před zahájením anotace; změny záměru se pak projevují nekonzistentními štítky nebo svévolnými rozhodnutími modelu.

Agile Deliberation převádí průběžně se vyvíjející definici na specifikaci srozumitelnou lidem a zároveň na prompt, který řídí klasifikátor založený na modelu vidění a jazyka. Návrh vychází z rozhovorů s pěti odborníky na moderování obsahu a z kvalitativní analýzy 20 definic používaných v jejich pracovních postupech. Ta ukázala, že odborníci nejprve vymezují pojmy a následně je zpřesňují pomocí hraničních obrázků.

Dvě fáze vymezování pojmů

Vymezování pojmů rozděluje počáteční myšlenku na kandidátní pozitivní a negativní podpojmy. Uživatel vytvářející například klasifikátor zdravého jídla může zahrnout saláty a misky s obilovinami a zároveň vyloučit průmyslově zpracované potraviny nebo syrové, neupravené suroviny. Každou volbu dokládají reprezentativní obrázky a podpojmy, které nepopisují smysluplné vizuální vzorce, lze vyřadit ještě před vytvořením prvního klasifikátoru.

Při dalším zpřesňování pojmu systém vyhledává sémanticky hraniční obrázky namísto pouhého výběru případů, u nichž se jistota modelu blíží hodnotě 0,5. Výzkumníci upozorňují, že jistota modelu vidění a jazyka nemusí dobře odpovídat lidské nejednoznačnosti: model si může být jistý u obrázku, který člověk považuje za obtížný. Vyhledané příklady se deduplikují a seskupují; pravidlo bandity s více rameny upřednostňuje skupiny, které v minulosti pomohly opravit chyby nebo přinesly užitečnou zpětnou vazbu.

Krok zaměřený na hledání nejednoznačnosti uspořádá dávku obrázků podle jednoho srozumitelného problému, například krémových omáček, obsahu cukru nebo velikosti porce, a ke každému obrázku vytvoří stručné vysvětlení jeho nejednoznačnosti. Uživatelé označí, zda obrázky do vymezené kategorie patří, nebo ne, a mohou doplnit zdůvodnění v běžném jazyce. Systém vytvoří alternativní definice, ověří je vůči všem dosud shromážděným štítkům, vybere kandidáta s nejlepším skóre F1 a umožní ruční úpravy.

Prototyp používá Gemini 2.5 Pro k rozkladu pojmů a Gemini 2.5 Flash ke klasifikaci, generování dotazů na hraniční případy a vyhledávání nejednoznačností. Tyto modely byly použity bez dalšího trénování či dolaďování a rozhraní funguje prostřednictvím interaktivního notebooku Colab.

Co ukázala studie s uživateli

Devět účastníků bez odborných zkušeností s moderováním obsahu absolvovalo dva přibližně 90minutové bloky, jeden s Agile Deliberation a druhý s ručním vymezováním pojmů, přičemž pořadí systémů bylo náhodně určeno. Testovaly se dva pojmy: zdravé jídlo a moderování clickbaitu typu pay-to-play. Každý blok zahrnoval přibližně 45 minut práce na definici, anotaci 200 testovacích obrázků vyčleněných stranou, dotazník a 15minutový rozhovor. Srovnání zahrnovalo také klasifikaci zero-shot a Modeling Collaborator, automatizovaný výchozí systém pro rozklad pojmů; účastníci pracující ručně mohli nahlížet do jeho podrobných promptů.

Studie uvádí, že Agile Deliberation zvýšil skóre F1 u pay-to-play o 11 % oproti vlastnímu výchozímu výsledku při klasifikaci zero-shot, zatímco ruční vymezování pojmů dosáhlo oproti svému výchozímu výsledku zlepšení o 8 %. U zdravého jídla se skóre změnilo o 10 % k lepšímu u Agile Deliberation a o 3 % k horšímu při ručním vymezování pojmů. Zlepšení se projevilo především ve vyšší přesnosti, doprovázené menším poklesem úplnosti. Přesnost nebyla použita, protože personalizované definice účastníků vedly k nevyváženému rozložení štítků v testovacích datech.

Všichni účastníci upřednostnili Agile Deliberation před ručním vymezováním pojmů. Průměrná hodnota uváděné náročnosti byla u Agile Deliberation 3,11, zatímco při ruční práci činila 4,67; průměrné hodnocení pocitu nejistoty, stresu nebo podráždění bylo 1,67, respektive 3,00. Oba rozdíly byly označeny za statisticky významné při p<.05. Rozhovory nabídly praktické vysvětlení: účastníci pracující ručně museli sami vymýšlet, jak hledat protipříklady, a někteří se obávali, že úprava promptu, která opraví jednu chybu, zhorší chování systému jinde.

Omezení studie a dostupnost kódu

Vyhodnocení má také jasná omezení. Autoři upozorňují, že devět účastníků omezuje statistickou sílu i možnost zobecnění výsledků. Každý člověk navíc používal oba systémy pro různé pojmy, aby si do druhého sezení nepřenášel již ustálenou definici. Subjektivní zkušenost tak bylo možné porovnat u jednotlivých účastníků, výkon klasifikátorů však pouze mezi skupinami účastníků. Studie nezkoumala jednotlivé komponenty samostatně ani nehodnotila celý postup s jinými generativními modely.

Repozitář s otevřeným zdrojovým kódem obsahuje související kódovou základnu a datovou sadu i podrobný notebook Demo.ipynb s postupem krok za krokem pro Jupyter nebo Google Colab. Ukázková aplikace v něm vytváří index pro vyhledávání nejbližších sousedů nad datovou sadou LAION400M. Výchozí nastavení stáhne dva datové bloky o celkové velikosti přibližně 260 MB, aby bylo možné ověřit celý postup; nastavení popsané v dokumentaci se 100 bloky zabere přibližně 13 GB. Vyhledávání, stahování externích obrázků a volání modelu mohou trvat několik sekund až minut, na jediný klíč API se mohou vztahovat limity počtu požadavků a několik fází podporuje ukládání do mezipaměti na disk. Upozornění v repozitáři uvádí, že nejde o produkt společnosti Google, který by tato společnost oficiálně podporovala.

Praktickým přínosem Agile Deliberation je, že při vývoji klasifikátoru výslovně zohledňuje subjektivní záměr a umožňuje jej průběžně upravovat. Uživatelé mohou procházet pravidla pro pozitivní i negativní případy, zkoumat hraniční případy, které odhalily nedostatky, a uvádět důvody navrhovaných úprav. Týmy zajišťující moderaci a kurátorský výběr tak mohou v rámci kontrolovatelného procesu vývoje klasifikátoru sledovat jak definici kategorie, tak lidské úsudky, které ji utvářejí.