At lære AI til at give bedre video-kritik

Mens Large Vision-Language Models (LVLMs) kan være nyttige hjælpere til at fortolke nogle af de mere arcane eller udfordrende indsendelser i computer vision-litteraturen, er der et område, hvor de er begrænsede: til at bestemme kvaliteten og den subjektive kvalitet af enhver videoeksempler, der ledsager nye artikler*.

Dette er et kritisk aspekt af en indsendelse, da videnskabelige artikler ofte søger at generere begejstring gennem overbevisende tekst eller billeder – eller begge.

Men i tilfælde af projekter, der involverer video-syntese, må forfatterne vise rigtige video-output eller risikere, at deres arbejde bliver afvist; og det er i disse demonstrationer, at gapet mellem dristige påstande og virkelige resultater oftest bliver tydeligt.

Jeg læste bogen, men så ikke filmen

For nuværende er de fleste af de populære API-baserede Large Language Models (LLMs) og Large Vision-Language Models (LVLMs) ikke i stand til at analysere videoindhold på nogen måde, kvalitativ eller kvantitativ. I stedet kan de kun analysere relaterede transkriptioner – og måske kommentartråde og andre strengt tekst-baserede hjælpematerialer.

De forskellige indvendinger fra GPT-4o, Google Gemini og Perplexity, når de blev bedt om at analysere video direkte, uden omgang med transkriptioner eller andre tekst-baserede kilder.

Men en LLM kan skjule eller benægte sin udygtighed til at se videoer, medmindre du konfronterer dem med det:

Da ChatGPT-4o blev bedt om at give en subjektiv vurdering af en ny forskningsartikels associerede videoer og havde fabrikeret en ægte mening, indrømmede den til sidst, at den ikke rigtigt kan se video direkte.

Selvom modeller som ChatGPT-4o er multimodale og kan i hvert fald analysere enkelte billeder (såsom et udtrukket billede fra en video, se billedet ovenfor), er der nogle problemer selv med dette: først og fremmest, er der lidt grund til at give tillid til en LLM’s kvalitative mening, ikke mindst fordi LLM’er er prone til ‘at være tilfredsstillende’ snarere end ægte diskurs.

Anden, mange, hvis ikke de fleste af en genereret videos problemer, er sandsynligvis at have en temporal aspekt, der helt går tabt i et billedudtræk – og således tjener undersøgelsen af enkeltbilleder ingen formål.

Til sidst kan LLM kun give en påstået ‘værdi-dømmekraft’ baseret (igen) på at have absorberet tekst-baseret viden, for eksempel i forhold til deepfake-billeder eller kunsthistorie. I sådanne tilfælde giver trænet domæne-viden LLM mulighed for at korrelerer analyserede visuelle kvaliteter af et billede med lært indlejring baseret på menneskelig indsigt:

FakeVLM-projektet tilbyder målrettet deepfake-afsløring via en specialiseret multi-modal vision-language model. Kilde: https://arxiv.org/pdf/2503.14905

Dette betyder ikke, at en LLM ikke kan få information direkte fra en video; for eksempel, med brug af hjælpe-AI-systemer som YOLO, kunne en LLM identificere objekter i en video – eller kunne gøre dette direkte, hvis den var trænet for et over-gennemsnitligt antal multimodale funktioner.

Men den eneste måde, hvorpå en LLM kunne muligvis evaluere en video subjektivt (dvs. ‘Det ser ikke ægte ud for mig’) er gennem at anvende en loss function-baseret metode, der enten er kendt for at reflektere menneskelig mening godt eller også er direkte informeret af menneskelig mening.

Loss functions er matematiske værktøjer, der bruges under træning til at måle, hvor langt en models forudsigelser er fra de korrekte svar. De giver feedback, der guider modellens læring: jo større fejlen, desto højere taben. Da træningen skrider frem, tilpasser modellen sine parametre for at reducere denne tab, og forbedrer langsomt sin evne til at give præcise forudsigelser.

Loss functions bruges både til at regulere træningen af modeller og også til at kalibrere algoritmer, der er designet til at evaluere outputtet af AI-modeller (såsom evaluering af simuleret fotorealistisk indhold fra en generativ video-model).

Betinget vision

En af de mest populære metoder/loss functions er Fréchet Inception Distance (FID), som evaluerer kvaliteten af genererede billeder ved at måle ligheden mellem deres distribution (hvor dette betyder ‘hvordan billeder er fordelt eller grupperet efter visuelle funktioner’) og den af virkelige billeder.

Specifikt beregner FID den statistiske forskel, ved hjælp af midler og kovarianser, mellem funktioner, der er udtrukket fra både sæt af billeder ved hjælp af (den ofte kritiserede) Inception v3-klassificeringsnetværk. En lavere FID-score indikerer, at de genererede billeder er mere lignende virkelige billeder, hvilket antyder bedre visuel kvalitet og diversitet.

Men FID er i væsentlig grad komparativ og kan siges at være selv-referentiel i naturen. For at afhjælpe dette adskiller den senere Conditional Fréchet Distance (CFD, 2021) sig fra FID ved at sammenligne genererede billeder med virkelige billeder og evaluere en score baseret på, hvor godt begge sæt opfylder en yderligere betingelse, såsom en (uundgåeligt subjektiv) klasse-etiket eller input-billede.

På denne måde tager CFID hensyn til, hvor nøjagtigt billeder opfylder de ønskede betingelser, og ikke kun deres overordnede realisme eller diversitet iblandt sig selv.

Eksempler fra 2021 CFD-udgaven. Kilde: https://github.com/Michael-Soloveitchik/CFID/

CFD følger en ny trend mod at indlejre kvalitativ menneskelig fortolkning i loss functions og metrik-algoritmer. Selvom en sådan menneske-centreret tilgang garanterer, at den resulterende algoritme ikke vil være ‘sjælløs’ eller kun mekanisk, stiller den samtidig en række problemer: muligheden for bias; byrden ved at opdatere algoritmen i overensstemmelse med nye praksisser, og det faktum, at dette vil fjerne muligheden for konsistente sammenligningsstandarder over en periode på år tværs over projekter; og budgetmæssige begrænsninger (færre menneskelige bidrag vil gøre bestemmelsen mere tvivlsom, mens et højere antal kunne forhindre nyttige opdateringer på grund af omkostninger).

cFreD

Dette bringer os til en ny artikel fra USA, der tilsyneladende tilbyder Conditional Fréchet Distance (cFreD), en ny tilgang til CFD, der er designet til bedre at reflektere menneskelige præferencer ved at evaluere både visuel kvalitet og tekst-billede-alignment

Delvise resultater fra den nye artikel: billed-rangordninger (1–9) efter forskellige metrikker for prompten “En stue med en sofa og en laptop-computer, der hviler på sofaen.” Grønne markeringer viser den øverste menneske-vurderede model (FLUX.1-dev), lilla den laveste (SDv1.5). Kun cFreD matcher menneskelige rangordninger. Se venligst kilde-artiklen for komplette resultater, som vi ikke har plads til at gengive her. Kilde: https://arxiv.org/pdf/2503.21721

Forfatterne argumenterer for, at eksisterende evalueringmetoder for tekst-til-billede-syntese, såsom Inception Score (IS) og FID, dårligt sammenligner med menneskelig vurdering, da de kun måler billedkvalitet uden at tage hensyn til, hvordan billeder matcher deres prompts:

‘For eksempel, overvej en dataset med to billeder: et af en hund og et af en kat, hver parret med deres respektive prompt. En perfekt tekst-til-billede-model, der fejlagtigt byttede disse par sammen (dvs. genererer en kat for en hund-prompt og omvendt), ville opnå en næsten nul FID, da den samlede distribution af hunde og katte opretholdes, på trods af misalignment med de ønskede prompts.

‘Vi viser, at cFreD bedre fanger billedkvalitetsvurdering og betingelse på input-tekst og resulterer i forbedret korrelation med menneskelige præferencer.’

Artiklens tests viser, at forfatternes foreslåede metrik, cFreD, konsekvent opnår højere korrelation med menneskelige præferencer end FID, FDDINOv2, CLIPScore og CMMD på tre benchmark-datasets (PartiPrompts, HPDv2 og COCO).

Koncept og metode

Forfatterne bemærker, at den nuværende guldstandard for at evaluere tekst-til-billede-modeller indebærer indsamling af menneskelige præferencedata gennem crowdsourced sammenligninger, lignende metoder, der bruges til store sprogmodeller (såsom LMSys Arena).

For eksempel bruger PartiPrompts Arena 1.600 engelske prompts, der præsenterer deltagere for par af billeder fra forskellige modeller og beder dem om at vælge deres foretrukne billede.

Lignende Text-to-Image Arena Leaderboard anvender bruger-sammenligninger af model-output til at generere rangordninger via ELO-scores. Men at indsamle denne type menneskelig evalueringdata er dyrt og langsomt, hvilket har ført til, at nogle platforme – som PartiPrompts Arena – har stoppet opdateringerne helt.

Den kunstificielle analyse-billed-til-billede-arena-leaderboard, der rangerer de nuværende anslåede ledere i generativ visuel AI. Kilde: https://artificialanalysis.ai/text-to-image/arena?tab=Leaderboard

Selvom alternative metoder, der er trænet på historisk menneskelig præferencedata, findes, er deres effektivitet for at evaluere fremtidige modeller usikker, da menneskelige præferencer kontinuerligt udvikler sig. Derfor synes automatiske metrikker som FID, CLIPScore og forfatternes foreslåede cFreD sandsynligvis at forblive vigtige evalueringværktøjer.

Forfatterne antager, at både virkelige og genererede billeder, der er betinget af en prompt, følger Gaussian distributions, hver defineret af betingede midler og kovarianser. cFreD måler den forventede Fréchet-afstand på tværs af prompts mellem disse betingede distributioner. Dette kan formuleres enten direkte i forhold til betingede statistikker eller ved at kombinere ubetingede statistikker med krydskovarianser, der involverer prompten.

Ved at inkorporere prompten på denne måde kan cFreD evaluere både billedernes realisme og deres konsistens med den givne tekst.

Data og tests

For at evaluere, hvor godt cFreD korrelerer med menneskelige præferencer, brugte forfatterne billed-rangordninger fra flere modeller, der blev promptet med samme tekst. Deres evaluering byggede på to kilder: Human Preference Score v2 (HPDv2) test-sæt, der indeholder ni genererede billeder og ét COCO grund-sandhedsbillede per prompt; og den ovenfor nævnte PartiPrompts Arena, der indeholder output fra fire modeller på tværs af 1.600 prompts.

Forfatterne samlede de spredte Arena-datapunkter i ét dataset; i tilfælde, hvor det virkelige billede ikke rangerede højest i menneskelige evalueringer, brugte de det øverste vurderede billede som reference.

For at teste nyere modeller sampled de 1.000 prompts fra COCO’s trænings- og validerings sæt, sikrer, at der ikke var overlap med HPDv2, og genererede billeder ved hjælp af ni modeller fra Arena Leaderboard. De originale COCO-billeder fungerede som referencer i denne del af evalueringen.

cFreD-tilgangen blev evaluering gennem fire statistiske metrikker: FID; FDDINOv2; CLIPScore; og CMMD. Det blev også evaluering mod fire lærende metrikker, der er trænet på menneskelig præferencedata: Aesthetic Score; ImageReward; HPSv2; og MPS.

Forfatterne evaluerede korrelation med menneskelig vurdering fra både en rangordnings- og en score-perspektiv: for hver metrik blev model-scores rapporteret, og rangordninger beregnet for deres alignment med menneskelig evaluering-resultater, med cFreD, der brugte DINOv2-G/14 til billed-indlejring og OpenCLIP ConvNext-B Text Encoder til tekst-indlejring†.

Tidligere arbejde med at lære menneskelige præferencer målte præstation ved hjælp af per-item-rang-nøjagtighed, der beregnede rang-nøjagtighed for hvert billede-tekst-par før gjennemsnittet af resultaterne.

Forfatterne evaluerede i stedet cFreD ved hjælp af en global rang-nøjagtighed, der vurderer den samlede rang-nøjagtighed på tværs af det fulde dataset; for statistiske metrikker blev rangordninger direkte afledt fra rå-scores; og for metrikker, der er trænet på menneskelig præferencedata, blev rangordningerne først gennemsnittet over alle prøver, og derefter bestemtes den endelige rangordning fra disse gennemsnit.

Initielle tests brugte ti rammer: GLIDE; COCO; FuseDream; DALLE 2; VQGAN+CLIP; CogView2; Stable Diffusion V1.4; VQ-Diffusion; Stable Diffusion V2.0; og LAFITE.

Model-rangordninger og -scores på HPDv2-test-sættet ved hjælp af statistiske metrikker (FID, FDDINOv2, CLIPScore, CMMD og cFreD) og menneskelig præferencetrænet metrikker (Aesthetic Score, ImageReward, HPSv2 og MPS). Bedste resultater vises i fed, andenbedst er understreget.

Af de initielle resultater kommenterer forfatterne:

‘cFreD opnår den højeste alignment med menneskelig præferencer, når den når en korrelation på 0,97. Blandt statistiske metrikker opnår cFreD den højeste korrelation og er sammenlignelig med HPSv2 (0,94), en model, der er ekslicit trænet på menneskelig præferencedata. Da HPSv2 blev trænet på HPSv2-træningssættet, der indeholder fire modeller fra test-sættet, og anvendte de samme annotatorer, indkoderer den specifikke menneskelige præferencemæssige bias for den samme indstilling.

‘I modsætning hertil opnår cFreD en sammenlignelig eller overlegen korrelation med menneskelig vurdering uden nogen menneskelig præferencetræning.

‘Disse resultater demonstrerer, at cFreD giver mere pålidelige rangordninger på tværs af diverse modeller i forhold til standard automatisk metrikker og metrikker, der er trænet ekslicit på menneskelig præferencedata.’

Blandt alle evaluerede metrikker opnåede cFreD den højeste rang-nøjagtighed (91,1%), hvilket – ifølge forfatterne – demonstrerer en stærk alignment med menneskelig vurdering.

HPSv2 fulgte med 88,9%, mens FID og FDDINOv2 producerede konkurrencedygtige scores på 86,7%. Selvom metrikker, der er trænet på menneskelig præferencedata, generelt sammenligner godt med menneskelig vurdering, beviste cFreD sig at være den mest robuste og pålidelige overall.

Nedenfor ser vi resultaterne af den anden test-runde, denne gang på PartiPrompts Arena, ved hjælp af SDXL; Kandinsky 2; Würstchen; og Karlo V1.0.

Model-rangordninger og -scores på PartiPrompt ved hjælp af statistiske metrikker (FID, FDDINOv2, CLIPScore, CMMD og cFreD) og menneskelig præferencetrænet metrikker (Aesthetic Score, ImageReward og MPS). Bedste resultater er i fed, andenbedst er understreget.

Her siger artiklen:

‘Blandt statistiske metrikker opnår cFreD den højeste korrelation med menneskelig vurdering (0,73), med FID og FDDINOv2, der begge når en korrelation på 0,70. I modsætning hertil viser CLIP-scoren en meget lav korrelation (0,12) med menneskelig vurdering.

‘I kategorien menneskelig præferencetrænet er HPSv2 den mest effektive til at fange menneskelig vurderingstendenser, når den opnår den højeste korrelation (0,83), efterfulgt af ImageReward (0,81) og MPS (0,65). Disse resultater fremhæver, at selvom cFreD er en robust automatisk metrik, står HPSv2 som den mest effektive til at fange menneskelig vurderingstendenser i PartiPrompts Arena.’

Til sidst gennemførte forfatterne en evaluering på COCO-datasettet ved hjælp af ni moderne tekst-til-billede-modeller: FLUX.1[dev]; Playgroundv2.5; Janus Pro; og Stable Diffusion-variationer SDv3.5-L Turbo, 3.5-L, 3-M, SDXL, 2.1 og 1.5.

Menneskelig præferencerangordninger blev hentet fra Text-to-Image Leaderboard og givet som ELO-scores:

Model-rangordninger på tilfældigt udvalgte COCO-prompts ved hjælp af automatiske metrikker (FID, FDDINOv2, CLIPScore, CMMD og cFreD) og menneskelig præferencetrænet metrikker (Aesthetic Score, ImageReward, HPSv2 og MPS). En rang-nøjagtighed under 0,5 indikerer mere diskordant end koncordant par, og bedste resultater er i fed, andenbedst er understreget.

Med hensyn til denne runde siger forskerne:

‘Blandt statistiske metrikker (FID, FDDINOv2, CLIP, CMMD og vores foreslåede cFreD) er det kun cFreD, der opnår en stærk korrelation med menneskelig præferencer, når den opnår en korrelation på 0,33 og en ikke-trivial rang-nøjagtighed på 66,67%. ‘Dette resultat placerer cFreD som den tredje mest alignerede metrik overall, overgået kun af menneskelig præferencetrænet metrikker ImageReward, HPSv2 og MPS.

‘Bemærkelsesværdigt er det, at alle andre statistiske metrikker viser en betydeligt svagere alignment med ELO-rangordninger og, som følge heraf, inverterer rangordningerne, hvilket resulterer i en Rang Acc. Under 0,5.

‘Disse resultater fremhæver, at cFreD er følsom over for både visuel troværdighed og prompt-konsistens, og styrker dets værdi som en praktisk, træningsfri alternativ metode til benchmarking af tekst-til-billede-generering.’

Forfatterne testede også Inception V3 som en backbone, og fremhævede dets almindelige brug i litteraturen, og fandt, at InceptionV3 opførte sig rimeligt, men blev overgået af transformer-baserede backbones som DINOv2-L/14 og ViT-L/16, der mere konsekvent sammenligner med menneskelige rangordninger – og de hævder, at dette støtter erstattelse af InceptionV3 i moderne evalueringssæt.

Sejrsfrekvenser, der viser, hvor ofte hver billed-backbone-rangordning matcher de sande menneske-afledte rangordninger på COCO-datasettet.

Konklusion

Det er tydeligt, at mens menneske-i-løkken-løsninger er den optimale tilgang til udviklingen af metrik- og tab-funktioner, vil skalaen og hyppigheden af opdateringer, der er nødvendige for sådanne løsninger, fortsat gøre dem upraktiske – måske indtil sådanne tid, hvor bred offentlig deltagelse i evalueringer generelt er motiveret; eller, som det har været tilfældet med CAPTCHAs, påtvunget.

Trovværdigheden af forfatternes nye system afhænger stadig af dets alignment med menneskelig vurdering, om end på en mere afstand end mange nyere menneske-deltagende tilgange; og cFreD’s legitimitet forbliver derfor stadig i menneskelig præferencedata (naturligvis, da uden en sådan benchmark ville påstanden om, at cFreD reflekterer menneske-lignende vurdering, være ubevist).

Man kan argumentere for, at at indkodning af vores nuværende kriterier for ‘realisme’ i genereret output i en metrik-funktion kan være en fejl på længere sigt, da vores definition af dette begreb i øjeblikket er under angreb fra den nye bølge af generative AI-systemer og er sat til at undergå hyppige og betydelige revisioner.

* På dette punkt ville jeg normalt inkludere et eksemplarisk illustrativt videoeksempel, måske fra en ny akademisk indsendelse; men det ville være ondskabsfuldt – enhver, der har brugt mere end 10-15 minutter på at gennemse Arxivs generative AI-output, er allerede stødt på supplerende videoer, hvis subjektivt dårlige kvalitet indikerer, at den relaterede indsendelse ikke vil blive hyldet som en milepæl-artikel.

† I alt blev 46 billed-backbone-modeller brugt i eksperimenterne, ikke alle af dem er medtaget i de grafiske resultater. Se venligst artiklens appendix for en komplet liste; de, der er medtaget i tabellerne og figurerne, er blevet nævnt.

Offentliggjort første gang tirsdag, 1. april 2025