Učení AI poskytovat lepší video kritiky

Zatímco velké modely jazyka a vidění (LVLMs) mohou být užitečnými pomocníky při interpretaci některých méně běžných nebo náročných příspěvků v literatuře počítačového vidění, existuje jedna oblast, ve které jsou omezeny: určování zásluh a subjektivních kvalit libovolných video ukázek, které doprovázejí nové články*.

To je kritický aspekt příspěvku, protože vědecké články často cílí na generování vzrušení prostřednictvím přesvědčivého textu nebo vizuálů – nebo obojího.

Ale v případě projektů, které zahrnují video syntézu, autoři musí ukázat skutečný video výstup nebo riskují, že jejich práce bude odmítnuta; a je v těchto demonstracích, že se nejčastěji projevuje mezera mezi velkými tvrzeními a skutečnou výkonností.

Přečetl jsem knihu, neviděl jsem film

V současné době většina populárních API-založených velkých jazykových modelů (LLM) a velkých modelů jazyka a vidění (LVLMs) se nezabývá přímo analýzou video obsahu žádným způsobem, kvalitativním nebo jinak. Místo toho mohou analyzovat pouze související přepisy – a perhaps, komentářové vlákna a další striktně textové materiály.

Různé námitky GPT-4o, Google Gemini a Perplexity, když byli požádáni o přímou analýzu videa, bez použití přepisů nebo jiných textových zdrojů.

Jednak LLM může skrýt nebo popřít svou neschopnost skutečně sledovat videa, pokud je na to přímo upozorněn:

Požádán o poskytnutí subjektivního hodnocení nového výzkumného článku spojeného s videy a po fingování skutečného názoru, ChatGPT-4o nakonec přiznává, že nemůže skutečně sledovat videa přímo.

Přestože modely, jako je ChatGPT-4o, jsou multimodální a mohou alespoň analyzovat jednotlivé fotografie (jako extrahovaný rám z videa, viz obrázek výše), existují některé problémy i s tím: především, není žádný skutečný důvod, proč by se mělo přikládat význam LLMovým kvalitativním názorům, alespoň ne proto, že LLM jsou skloněny k “lidem-líbivosti” spíše než upřímné diskusi.

Zadruhé, mnoho problémů generovaného videa má pravděpodobně času aspekt, který je zcela ztracen v rámci snímku – a tak zkoumání jednotlivých snímků nemá žádný účel.

Nakonec, LLM může poskytnout pouze domnělý “hodnotový soud” založený (opět) na znalostech získaných z textových zdrojů, například v případě hlubokých padělků obrázků nebo umělecké historie. V takovém případě umožňuje tréninková doménová znalost LLM korelovat analyzované vizuální kvality obrazu s naučenými vložkami založenými na lidském vhledu:

Projekt FakeVLM nabízí cílenou detekci hlubokých padělků prostřednictvím specializovaného multimodálního modelu jazyka a vidění. Zdroj: https://arxiv.org/pdf/2503.14905

To není říci, že LLM nemůže získat informace přímo z videa; například, s použitím pomocných AI systémů, jako je YOLO, LLM by mohl identifikovat objekty ve videu – nebo by to mohl udělat přímo, pokud by byl trénován pro nadprůměrný počet multimodálních funkcí.

Ale jediným způsobem, jak by LLM mohl subjektivně vyhodnotit video (tj. “To nevypadá reálně pro mě”), je aplikováním loss function-založené metriky, která buď dobře odráží lidské mínění, nebo je přímo informována lidským míněním.

Loss funkce jsou matematické nástroje používané během tréninku k měření, jak daleko jsou předpovědi modelu od správných odpovědí. Poskytují zpětnou vazbu, která řídí učení modelu: čím větší je chyba, tím vyšší loss. Jakmile trénink postupuje, model upravuje své parametry, aby snížil tuto ztrátu, postupně zlepšuje svou schopnost dělat přesné předpovědi.

Loss funkce se používají jak pro regulaci tréninku modelů, tak pro kalibraci algoritmů, které jsou navrženy pro hodnocení výstupu AI modelů (jako je hodnocení simulovaných fotorealistických obsahů z generativního video modelu).

Podmíněné vidění

Jedním z nejoblíbenějších metrik/loss funkcí je Fréchet Inception Distance (FID), který hodnotí kvalitu generovaných obrázků měřením podobnosti mezi jejich distribucí (což zde znamená ‘jak jsou obrázky rozloženy nebo seskupeny podle vizuálních funkcí‘) a distribucí skutečných obrázků.

Konkrétně, FID počítá statistický rozdíl, pomocí průměrů a kovariancí, mezi funkcemi extrahovanými z obou sad obrázků pomocí (často kritizovaného) Inception v3 klasifikačního sítě. Nižší skóre FID naznačuje, že generované obrázky jsou podobnější skutečným obrázkům, což znamená lepší vizuální kvalitu a rozmanitost.

Jednak FID je esenciálně komparativní a lze jej považovat za samo-referenční. Aby se tomuto problému vyřešilo, pozdější Conditional Fréchet Distance (CFD, 2021) se liší od FID tím, že srovnává generované obrázky se skutečnými obrázky a hodnotí skóre na základě toho, jak dobře obě sady odpovídají dodatečnému stavu, jako je subjektivní třída nebo vstupní obrázek.

Tímto způsobem CFD zohledňuje, jak přesně obrázky splňují zamýšlené podmínky, nejen jejich celkovou realističnost nebo rozmanitost mezi sebou.

Příklady z roku 2021 CFD. Zdroj: https://github.com/Michael-Soloveitchik/CFID/

CFD následuje nedávnou tendenci začlenit kvalitativní lidskou interpretaci do loss funkcí a metrik. Přestože takový lidský přístup zajišťuje, že výsledný algoritmus nebude “bezduchý” nebo pouze mechanický, představuje současně řadu problémů: možnost zkreslení; břemeno aktualizace algoritmu v souladu s novými postupy a skutečnost, že to odstraní možnost konzistentních komparativních standardů po několik let napříč projekty; a rozpočtová omezení (méně lidských přispěvatelů by učinilo rozhodnutí více spekulativními, zatímco vyšší počet by mohl zabránit užitečným aktualizacím kvůli nákladům).

cFreD

To nás přivádí k novému článku z USA, který nabízí Conditional Fréchet Distance (cFreD), novou verzi CFD, která je navržena tak, aby lépe odrážela lidské preference, hodnotící jak vizuální kvalitu, tak zarovnání textu a obrazu

Částečné výsledky z nového článku: hodnocení obrázků (1–9) podle různých metrik pro prompt “Obývací pokoj s gaučem a laptopem ležícím na gauči.” Zelené zvýraznění označuje nejlepší model ohodnocený lidmi (FLUX.1-dev), fialové zvýraznění označuje nejhorší (SDv1.5). Pouze cFreD odpovídá hodnocení lidmi. Prosím, odkážete se na zdroj článku pro kompletní výsledky, které zde nemáme prostor reprodukovat. Zdroj: https://arxiv.org/pdf/2503.21721

Autoři argumentují, že stávající metody hodnocení pro text-to-image syntézu, jako je Inception Score (IS) a FID, nesouladně odpovídají lidskému mínění, protože měří pouze kvalitu obrazu, aniž by zohledňovaly, jak dobře obrázky odpovídají svým promptům:

‘Například, zvažte dataset se dvěma obrázky: jedním psa a jedním kočky, každý spárován se svým odpovídajícím promptem. Dokonalý text-to-image model, který omylem prohodí tyto mapování (tj. generuje kočku pro prompt psa a naopak), by dosáhl téměř nulového FID, protože celková distribuce psů a koček je zachována, navzdory nesouladu s původními prompty.

‘Ukazujeme, že cFreD lépe zachycuje hodnocení kvality obrazu a zarovnání textu a obrazu a vede k lepší korelaci s lidskými preferencemi.’

Testy článku ukazují, že navrhovaná metrika autorů, cFreD, dosahuje konzistentně vyšší korelace s lidskými preferencemi než FID, FDDINOv2, CLIPScore a CMMD na třech referenčních datech (PartiPrompts, HPDv2 a COCO).

Koncept a metoda

Autoři uvádějí, že současný zlatý standard pro hodnocení text-to-image modelů zahrnuje shromažďování lidských preferenčních dat prostřednictvím crowd-sourced srovnání, podobně jako metody používané pro velké jazykové modely (jako LMSys Arena).

Například PartiPrompts Arena používá 1 600 anglických promptů, prezentuje účastníkům páry obrázků z různých modelů a žádá je, aby vybrali svůj preferovaný obrázek.

Podobně Text-to-Image Arena Leaderboard používá uživatelská srovnání modelových výstupů pro generování žebříčků prostřednictvím ELO skóre. Nicméně, shromažďování tohoto typu lidských hodnocení je nákladné a pomalé, což vedlo některé platformy – jako PartiPrompts Arena – k ukončení aktualizací.

Umělecká analýza Image Arena Leaderboard, který řadí současné lídry v generativní vizuální AI. Zdroj: https://artificialanalysis.ai/text-to-image/arena?tab=Leaderboard

Ačkoli existují alternativní metody trénované na historických lidských preferenčních datech, jejich účinnost pro hodnocení budoucích modelů zůstává nejistá, protože lidské preference neustále evoluční. V důsledku toho se automatické metriky, jako je FID, CLIPScore a navrhovaná cFreD, zdají být pravděpodobně důležitými hodnotícími nástroji.

Autoři předpokládají, že jak reálné, tak generované obrázky podmíněné promptem následují Gaussovy distribuce, každá definovaná podmíněnými průměry a kovariancemi. cFreD měří očekávanou Fréchetovu vzdálenost napříč prompty mezi těmito podmíněnými distribucemi. To lze formulovat buď přímo v podmíněných statistikách nebo kombinací nezávislých statistik s křížovými kovariancemi zahrnujícími prompt.

Tímto způsobem, že cFreD zahrnuje prompt, je schopen hodnotit jak realističnost obrázků, tak jejich soulad s daným textem.

Data a testy

Aby vyhodnotili, jak dobře cFreD koreluje s lidskými preferencemi, autoři použili hodnocení obrázků z více modelů s tím samým textovým promptem. Jejich hodnocení vycházelo ze dvou zdrojů: Human Preference Score v2 (HPDv2) testovací sada, která zahrnuje devět generovaných obrázků a jeden COCO ground truth obrázek na prompt; a výše zmíněná PartiPrompts Arena, která obsahuje výstupy ze čtyř modelů napříč 1 600 prompty.

Autoři shromáždili rozptýlená data z Areny do jediné datové sady; v případech, kdy reálný obrázek nezaujal nejvyšší místo v lidských hodnocení, použili nejlepší ohodnocený obrázek jako referenci.

Pro testování novějších modelů vzorkovali 1 000 promptů z trénovací a validační sad COCO, zajišťující, aby se nepřekrývaly s HPDv2, a generovali obrázky pomocí devíti modelů z Areny Leaderboard. Původní COCO obrázky sloužily jako referenční body v této části hodnocení.

Metoda cFreD byla vyhodnocena prostřednictvím čtyř statistických metrik: FID; FDDINOv2; CLIPScore; a CMMD. Byla také vyhodnocena proti čtyřem naučeným metrikám trénovaným na lidských preferenčních datech: Aesthetic Score; ImageReward; HPSv2; a MPS.

Autoři vyhodnotili korelaci s lidským míněním z hlediska hodnocení i pořadí: pro každou metriku byly hlášeny modelové skóre a vypočteny pořadí pro zarovnání s lidskými hodnoceními, přičemž cFreD používal DINOv2-G/14 pro image vložky a OpenCLIP ConvNext-B Text Encoder pro textové vložky†.

Předchozí práce o učení lidských preferencí měřila výkon pomocí položky rank přesnosti, která počítá pořadí přesnost pro každou obraz-text pár před průměrováním výsledků.

Autoři místo toho vyhodnotili cFreD pomocí globální rank přesnosti, která hodnotí celkové pořadí výkonu napříč celou datovou sadou; pro statistické metriky byly pořadí odvozeny přímo ze surových skóre; a pro metriky trénované na lidských preferencích nejprve průměrovaly pořadí přiřazená každému modelu napříč všemi vzorky, poté určily konečná pořadí z těchto průměrů.

Počáteční testy použily deset rámců: GLIDE; COCO; FuseDream; DALLE 2; VQGAN+CLIP; CogView2; Stable Diffusion V1.4; VQ-Diffusion; Stable Diffusion V2.0; a LAFITE.

Modelová pořadí a skóre na HPDv2 testovací sadě pomocí statistických metrik (FID, FDDINOv2, CLIPScore, CMMD a cFreD) a metrik trénovaných na lidských preferencích (Aesthetic Score, ImageReward, HPSv2 a MPS). Nejlepší výsledky jsou uvedeny tučně, druhé nejlepší jsou podtrženy.

Z počátečních výsledků autoři komentují:

‘cFreD dosahuje nejvyššího zarovnání s lidskými preferencemi, dosahující korelace 0,97. Mezi statistickými metrikami cFreD dosahuje nejvyšší korelace a je srovnatelná s HPSv2 (0,94), modelem, který byl explicitně trénován na lidských preferencích. Vzhledem k tomu, že HPSv2 byl trénován na HPSv2 trénovací sadě, která zahrnuje čtyři modely z testovací sady, a využíval stejné anotátory, implicitně kóduje specifické lidské preference偏见 stejné nastavení.

‘Naopak, cFreD dosahuje srovnatelné nebo lepší korelace s lidským hodnocením bez jakéhokoli trénování na lidských preferencích.

‘Tyto výsledky ukazují, že cFreD poskytuje spolehlivější pořadí napříč různými modely ve srovnání se standardními automatickými metrikami a metrikami trénovanými explicitně na lidských preferenčních datech.’

Mezi všemi vyhodnocenými metrikami cFreD dosáhl nejvyššího rank přesnosti (91,1%), což – podle autorů – demonstruje silné zarovnání s lidskými úsudky.

HPSv2 následoval s 88,9%, zatímco FID a FDDINOv2 produkovaly konkurenční skóre 86,7%. Ačkoli metriky trénované na lidských preferencích obecně dobře korelovaly s lidskými hodnoceními, cFreD se ukázal jako nejrobustnější a nejvíce spolehlivý celkově.

Níže vidíme výsledky druhého kola testování, tentokrát na PartiPrompts Arena, pomocí SDXL; Kandinsky 2; Würstchen; a Karlo V1.0.

Modelová pořadí a skóre na PartiPrompt pomocí statistických metrik (FID, FDDINOv2, CLIPScore, CMMD a cFreD) a metrik trénovaných na lidských preferencích (Aesthetic Score, ImageReward a MPS). Nejlepší výsledky jsou tučně, druhé nejlepší jsou podtrženy.

Zde článek uvádí:

‘Mezi statistickými metrikami cFreD dosahuje nejvyšší korelace s lidskými hodnoceními (0,73), zatímco FID a FDDINOv2 obě dosahují korelace 0,70. Naopak, CLIP skóre ukazuje velmi nízkou korelaci (0,12) s lidskými úsudky.

‘V kategorii metrik trénovaných na lidských preferencích HPSv2 dosahuje nejvyšší korelace (0,83), následovaný ImageReward (0,81) a MPS (0,65). Tyto výsledky zdůrazňují, že zatímco cFreD je robustní automatická metrika, HPSv2 vyniká jako nejúčinnější v zachycení trendů lidských hodnocení v PartiPrompts Arena.’

Nakonec autoři provedli hodnocení na COCO datové sadě pomocí devíti moderních text-to-image modelů: FLUX.1[dev]; Playgroundv2.5; Janus Pro; a Stable Diffusion varianty SDv3.5-L Turbo, 3.5-L, 3-M, SDXL, 2.1 a 1.5.

Lidská pořadí byla získána z Text-to-Image Leaderboard a byla vyjádřena jako ELO skóre:

Modelová pořadí na náhodně vybraných COCO promtech pomocí automatických metrik (FID, FDDINOv2, CLIPScore, CMMD a cFreD) a metrik trénovaných na lidských preferencích (Aesthetic Score, ImageReward, HPSv2 a MPS). Pořadí přesnost pod 0,5 naznačuje více nesouhlasných než souhlasných párů a nejlepší výsledky jsou tučně, druhé nejlepší jsou podtrženy.

Ohledně tohoto kola výzkumníci uvádějí:

‘Mezi statistickými metrikami (FID, FDDINOv2, CLIP, CMMD a naší navrhované cFreD) pouze cFreD vykazuje silnou korelaci s lidskými preferencemi, dosahující korelace 0,33 a nezanedbatelné pořadí přesnosti 66,67%. ‘Tento výsledek řadí cFreD jako třetí nejvíce zarovnanou metriku celkově, překonanou pouze metrikami trénovanými na lidských preferencích ImageReward, HPSv2 a MPS.

‘Notně, všechny ostatní statistické metriky ukazují podstatně slabší zarovnání s ELO pořadími a jako výsledek invertují pořadí, vedoucí k pořadí přesnosti pod 0,5.

‘Tyto výsledky zdůrazňují, že cFreD je citlivý na vizuální věrnost i zarovnání promptu, posilující jeho hodnotu jako praktické, beztréninkové alternativy pro benchmarking text-to-image generace.’

Autoři také testovali Inception V3 jako základní model, upozorňují na jeho všudypřítomnost v literatuře, a zjistili, že InceptionV3 fungoval rozumně, ale byl překonán transformátorovými základními modely, jako je DINOv2-L/14 a ViT-L/16, které se více konzistentně shodovaly s lidskými pořadími – a tvrdí, že to podporuje nahrazení InceptionV3 v moderních hodnotících nastaveních.

Vítězné sazby ukazující, jak často pořadí každého obrazového základního modelu odpovídalo skutečným lidským pořadím na COCO datové sadě.

Závěr

Je zřejmé, že zatímco lidské řešení v smyčce jsou optimálním přístupem k vývoji metrik a loss funkcí, rozsah a frekvence aktualizací nezbytných pro tyto schéma budou i nadále dělat je nepraktickými – možná až do té doby, než bude obecně incentivizována veřejná účast na hodnocení; nebo, jako je tomu u CAPTCHAs, vynucena.

Důvěryhodnost nového systému autorů stále závisí na jeho zarovnání s lidským míněním, byť o jeden stupeň dále než mnoho nedávných lidských účastnických přístupů; a legitimita cFreD proto zůstává stále v lidských preferenčních datech (samozřejmě, protože bez takové referenční hodnoty by tvrzení, že cFreD odráží lidské hodnocení, bylo neprokazatelné).

Argumentovatelně, zvěčnění našich současných kritérií pro “realismus” v generativním výstupu do metrické funkce by mohlo být chybou v dlouhodobém horizontu, protože naše definice tohoto konceptu je v současné době pod útokem nové vlny generativních AI systémů a je určena pro časté a významné revize.

* V tomto okamžiku bych obvykle zahrnul ilustrativní video příklad, možná z nedávného akademického příspěvku; ale to by bylo zlomyslné – kdokoli, kdo strávil více než 10-15 minut procházením Arxivova generativního AI výstupu, již narazil na doplňková videa, jejichž subjektivně špatná kvalita naznačuje, že související příspěvek nebude oslavován jako milník.

† Celkem 46 obrazových základních modelů bylo použito v experimentech, z nichž ne všechny jsou zahrnuty v grafických výsledcích. Prosím, odkážete se na přílohu článku pro kompletní seznam; ty, které jsou uvedeny v tabulkách a obrázcích, byly vyjmenovány.

Poprvé publikováno úterý, 1. dubna 2025