Het lesgeven van AI om betere videokritieken te geven

Terwijl Large Vision-Language Models (LVLMs) nuttige hulpmiddelen kunnen zijn bij het interpreteren van enkele van de meer arcane of uitdagende inzendingen in de computerzienliteratuur, is er één gebied waarin ze gehandicapt zijn: het bepalen van de verdiensten en subjectieve kwaliteit van eventuele videovoorbeelden die nieuwe papers* vergezellen.

Dit is een kritisch aspect van een inzending, aangezien wetenschappelijke papers vaak proberen om opwinding te genereren door overtuigende tekst of visuals – of beide.

Maar in het geval van projecten die video-synthese betreffen, moeten auteurs daadwerkelijke video-uitvoer laten zien of riskeren hun werk te laten afwijzen; en het is in deze demonstraties dat de kloof tussen stoutmoedige claims en werkelijke prestaties het meest zichtbaar wordt.

Ik heb het boek gelezen, maar niet de film

Momenteel zullen de meeste populaire API-gebaseerde Large Language Models (LLM’s) en Large Vision-Language Models (LVLM’s) niet direct video-inhoud analyseren op enige wijze, kwalitatief of anderszins. In plaats daarvan kunnen ze alleen gerelateerde transcripten analyseren – en, misschien, commentaardraden en andere strikt tekst-gebaseerde adjunctmateriaal.

De diverse bezwaren van GPT-4o, Google Gemini en Perplexity, wanneer hen gevraagd wordt om video rechtstreeks te analyseren, zonder terug te vallen op transcripten of andere tekst-gebaseerde bronnen.

Hoewel een LLM zijn onvermogen om daadwerkelijk video’s te bekijken, kan verbergen of ontkennen, tenzij je hen daarop aanspreekt:

Naar aanleiding van een verzoek om een subjectieve evaluatie van de bij een nieuw onderzoeksrapport gevoegde video’s, en na een nep-peil te hebben gefingeerd, geeft ChatGPT-4o uiteindelijk toe dat het video’s niet rechtstreeks kan bekijken.

Hoewel modellen zoals ChatGPT-4o multimodaal zijn en ten minste individuele foto’s (zoals een uit een video geëxtraheerde frame, zie afbeelding hierboven) kunnen analyseren, zijn er enkele problemen hiermee: ten eerste is er weinig basis om geloof te hechten aan een LLM’s kwalitatieve mening, niet in de laatste plaats omdat LLM’s gevoelig zijn voor ‘mensen-plezier’ in plaats van oprechte discussie.

Ten tweede zijn veel, zo niet de meeste problemen van een gegenereerde video waarschijnlijk temporeel van aard die volledig verloren gaat in een frame-grab – en dus dient de examinatie van individuele frames geen doel.

Tenslotte kan de LLM alleen een vermeende ‘waarde-oordeel’ geven op basis van (opnieuw) tekst-gebaseerde kennis, bijvoorbeeld met betrekking tot deepfake-beelden of kunstgeschiedenis. In een dergelijk geval stelt getrainde domeinkennis de LLM in staat om geanalyseerde visuele kwaliteiten van een beeld te correleren met geleerde embeddings op basis van mensen inzicht:

Het FakeVLM-project biedt gerichte deepfake-detectie via een gespecialiseerd multimodaal vision-language-model. Bron: https://arxiv.org/pdf/2503.14905

Dit wil niet zeggen dat een LLM geen informatie rechtstreeks uit een video kan verkrijgen; bijvoorbeeld, met het gebruik van adjunct-AI-systemen zoals YOLO, kan een LLM objecten in een video identificeren – of kan dit rechtstreeks doen, als het getraind is voor een bovengemiddeld aantal multimodale functionaliteiten.

Maar de enige manier waarop een LLM een video subjectief (d.w.z. ‘Dat ziet er niet echt uit voor mij’) kan evalueren, is door een loss-functie-gebaseerde meting toe te passen die bekend staat als een goede weerspiegeling van de menselijke mening, of die rechtstreeks wordt geïnformeerd door de menselijke mening.

Loss-functies zijn wiskundige hulpmiddelen die tijdens de training worden gebruikt om te meten hoe ver een models voorspellingen afwijken van de correcte antwoorden. Ze bieden feedback die de leercurve van het model begeleidt: hoe groter de fout, hoe hoger de verlies. Naarmate de training vordert, past het model zijn parameters aan om deze verlies te verminderen, waardoor het geleidelijk aan zijn vermogen om nauwkeurige voorspellingen te doen verbetert.

Loss-functies worden gebruikt om zowel de training van modellen te reguleren als om algoritmes te kalibreren die zijn ontworpen om de output van AI-modellen te evalueren (zoals de evaluatie van gesimuleerde fotorealistische inhoud van een generatief videomodel).

Conditionele visie

Een van de meest populaire metrics/loss-functies is Fréchet Inception Distance (FID), die de kwaliteit van gegenereerde beelden evalueert door de gelijkenis tussen hun distributie (wat hier ‘hoe beelden zijn verspreid of gegroepeerd door visuele kenmerken‘ betekent) en die van echte beelden te meten.

Bepaalde FID berekent het statistische verschil, met behulp van gemiddelden en covarianties, tussen kenmerken die zijn geëxtraheerd uit zowel gegenereerde als echte beelden met behulp van het (vaak bekritiseerde) Inception v3-classificatienetwerk. Een lagere FID-score geeft aan dat de gegenereerde beelden meer lijken op echte beelden, wat een betere visuele kwaliteit en diversiteit impliceert.

Hoewel FID in wezen comparatief is en zelfs zelfreferentieel van aard, probeert de latere Conditionele Fréchet Distance (CFD, 2021) benadering FID te differentiëren door gegenereerde beelden te vergelijken met echte beelden en een score te evalueren op basis van hoe goed beide sets een aanvullende voorwaarde vervullen, zoals een (onvermijdelijk subjectieve) klasse-label of invoerbeeld.

Op deze manier houdt CFID rekening met hoe nauwkeurig beelden aan de bedoelde voorwaarden voldoen, niet alleen met hun algehele realisme of diversiteit onderling.

Voorbeelden uit de CFD-uitgave van 2021. Bron: https://github.com/Michael-Soloveitchik/CFID/

CFD volgt een recente trend om kwalitatieve menselijke interpretatie in loss-functies en metrische algoritmes te integreren. Hoewel een dergelijke mensgerichte benadering garandeert dat het resulterende algoritme niet ‘ziellos’ of mechanisch zal zijn, stelt het tegelijkertijd een aantal problemen: de mogelijkheid van vooroordelen; de last van het bijwerken van het algoritme in overeenstemming met nieuwe praktijken, en het feit dat dit de mogelijkheid van consistente vergelijkingsnormen over een periode van jaren en projecten zal verwijderen; en budgettaire beperkingen (minder menselijke bijdragers zullen de determinaties specieuzer maken, terwijl een groter aantal nuttige updates kan voorkomen vanwege de kosten).

cFreD

Dit brengt ons bij een nieuw artikel uit de VS dat schijnbaar Conditionele Fréchet Distance (cFreD) aanbiedt, een noviteit in CFD die is ontworpen om beter de menselijke voorkeuren te weerspiegelen door zowel de visuele kwaliteit als de tekst-beeldalignering te evalueren

Gedeeltelijke resultaten uit het nieuwe artikel: beeldrankingen (1–9) door verschillende metrics voor de prompt “Een woonkamer met een bank en een laptopcomputer die op de bank rust.” Groene highlights geven de top-mensgerateerde model (FLUX.1-dev) aan, paarse highlights geven de laagste (SDv1.5) aan. Alleen cFreD komt overeen met menselijke rangschikkingen. Raadpleeg het bronartikel voor complete resultaten, die we hier niet kunnen reproduceren. Bron: https://arxiv.org/pdf/2503.21721

De auteurs betogen dat bestaande evaluatiemethoden voor tekst-naar-beeldsynthese, zoals Inception Score (IS) en FID, slecht overeenkomen met de menselijke beoordeling omdat ze alleen de beeldkwaliteit meten zonder rekening te houden met hoe beelden overeenkomen met hun prompts:

‘Bijvoorbeeld, overweeg een dataset met twee beelden: een van een hond en een van een kat, elk gekoppeld aan hun respectievelijke prompt. Een perfect tekst-naar-beeldmodel dat per ongeluk deze koppelingen verwisselt (d.w.z. een kat genereren voor een hondprompt en vice versa) zou een FID van bijna nul bereiken, omdat de algehele distributie van honden en katten wordt gehandhaafd, ondanks de mismatch met de bedoelde prompts.

‘We laten zien dat cFreD een betere beeldkwaliteitsevaluatie en conditionering op invoertekst biedt en resulteert in een verbeterde overeenstemming met menselijke voorkeuren.’

De tests van het artikel geven aan dat de voorgestelde metriek van de auteurs, cFreD, consistent een hogere overeenstemming met menselijke voorkeuren bereikt dan FID, FDDINOv2, CLIPScore en CMMD op drie benchmarkdatasets (PartiPrompts, HPDv2 en COCO).

Concept en methode

De auteurs merken op dat de huidige gouden standaard voor het evalueren van tekst-naar-beeldmodellen het verzamelen van menselijke voorkeursgegevens via crowdsourced vergelijkingen omvat, vergelijkbaar met methoden die worden gebruikt voor grote taalmodellen (zoals de LMSys Arena).

Als voorbeeld gebruikt de PartiPrompts Arena 1.600 Engelse prompts, waarbij deelnemers worden gevraagd om hun voorkeursbeeld te selecteren uit paren van beelden van verschillende modellen.

Op soortgelijke wijze gebruikt de Text-to-Image Arena Leaderboard gebruikersvergelijkingen van modeluitvoer om rangschikkingen via ELO-scores te genereren. Het verzamelen van dit type menselijke evaluatiegegevens is echter kostbaar en langzaam, waardoor sommige platforms – zoals de PartiPrompts Arena – de updates hebben stopgezet.

De Artificial Analysis Image Arena Leaderboard, die de huidige leiders in generatieve visuele AI rangschikt. Bron: https://artificialanalysis.ai/text-to-image/arena?tab=Leaderboard

Hoewel alternatieve methoden bestaan die zijn getraind op historische menselijke voorkeursgegevens, blijft hun effectiviteit voor het evalueren van toekomstige modellen onzeker, omdat menselijke voorkeuren voortdurend evolueren. Als gevolg daarvan lijken geautomatiseerde metrics zoals FID, CLIPScore en de voorgestelde cFreD van de auteurs waarschijnlijk te blijven als cruciale evaluatiehulpmiddelen.

De auteurs gaan ervan uit dat zowel echte als gegenereerde beelden, voorwaardelijk tot een prompt, Gaussische distributies volgen, elk gedefinieerd door voorwaardelijke gemiddelden en covarianties. cFreD meet de verwachte Fréchet-afstand over prompts tussen deze voorwaardelijke distributies. Dit kan worden geformuleerd in termen van voorwaardelijke statistieken of door onvoorwaardelijke statistieken te combineren met cross-covarianties die de prompt betreffen.

Door de prompt op deze manier te integreren, kan cFreD zowel de realiteit van de beelden als hun consistentie met de gegeven tekst evalueren.

Gegevens en tests

Om te beoordelen hoe goed cFreD overeenkomt met menselijke voorkeuren, gebruikten de auteurs beeldrankingen van meerdere modellen die werden geprompt met dezelfde tekst. Hun evaluatie putte uit twee bronnen: de Human Preference Score v2 (HPDv2) testset, die negen gegenereerde beelden en één COCO grondwaarheidsbeeld per prompt bevat; en de eerder genoemde PartiPrompts Arena, die uitvoer van vier modellen over 1.600 prompts bevat.

De auteurs verzamelden de verspreide Arena-gegevenspunten in een enkele dataset; in gevallen waarin het echte beeld niet de hoogste rang had in menselijke evaluaties, gebruikten ze het hoogst gerateerde beeld als referentie.

Om nieuwe modellen te testen, selecteerden ze 1.000 prompts uit de train- en validatiesets van COCO, waarbij ze ervoor zorgden dat er geen overlap was met HPDv2, en genereerden ze beelden met behulp van negen modellen van de Arena Leaderboard. De oorspronkelijke COCO-afbeeldingen dienden als referenties in dit deel van de evaluatie.

De cFreD-benadering werd geëvalueerd met behulp van vier statistische metrics: FID; FDDINOv2; CLIPScore; en CMMD. Het werd ook geëvalueerd tegen vier geleerde metrics die waren getraind op menselijke voorkeursgegevens: Aesthetic Score; ImageReward; HPSv2; en MPS.

De auteurs evalueerden de overeenstemming met menselijke beoordeling vanuit zowel een rangorde- als een scoresperspectief: voor elke metriek werden modelScores gerapporteerd en rangschikkingen berekend voor hun overeenstemming met menselijke evaluatieresultaten, waarbij cFreD DINOv2-G/14 voor beeldembeddings en de OpenCLIP ConvNext-B Tekstencoder voor tekstembeddings gebruikte†.

Eerder onderzoek naar het leren van menselijke voorkeuren mat de prestatie met behulp van per-item rangaccuurate, die rangaccuurate berekent voor elk beeld-tekstpaar voordat het resultaat wordt gemiddeld.

De auteurs evalueerden cFreD daarentegen met behulp van een globale rangaccuurate, die de algehele rangprestatie over de hele dataset beoordeelt; voor statistische metrics werden rangschikkingen rechtstreeks afgeleid van ruwe scores; en voor metrics getraind op menselijke voorkeuren werden de rangschikkingen die aan elk model waren toegewezen over alle monsters gemiddeld, waarna de definitieve rangschikking uit deze gemiddelden werd bepaald.

Initiële tests gebruikten tien kaders: GLIDE; COCO; FuseDream; DALLE 2; VQGAN+CLIP; CogView2; Stable Diffusion V1.4; VQ-Diffusion; Stable Diffusion V2.0; en LAFITE.

Modelrangschikkingen en -scores op de HPDv2-testset met behulp van statistische metrics (FID, FDDINOv2, CLIPScore, CMMD en cFreD) en metrics getraind op menselijke voorkeuren (Aesthetic Score, ImageReward, HPSv2 en MPS). De beste resultaten worden in het vet gedrukt, de tweede beste worden onderstreept.

Van de initiële resultaten merken de auteurs op:

‘cFreD bereikt de hoogste overeenstemming met menselijke voorkeuren, met een correlatie van 0,97. Onder de statistische metrics bereikt cFreD de hoogste correlatie en is vergelijkbaar met HPSv2 (0,94), een model dat expliciet is getraind op menselijke voorkeuren. Gezien het feit dat HPSv2 is getraind op de HPSv2-trainingsset, die vier modellen uit de testset bevat, en dezelfde annotators heeft gebruikt, codeert het inherent specifieke menselijke voorkeursvoorkeuren van dezelfde instelling.

‘In contrast, bereikt cFreD een vergelijkbare of betere correlatie met menselijke evaluatie zonder enige menselijke voorkeurstraining.

‘Deze resultaten laten zien dat cFreD betrouwbaardere rangschikkingen biedt over diverse modellen in vergelijking met standaardautomatische metrics en metrics getraind op menselijke voorkeursgegevens.’

Onder alle geëvalueerde metrics bereikte cFreD de hoogste rangaccuurate (91,1%), wat – volgens de auteurs – een sterke overeenstemming met menselijke oordelen aantoont.

HPSv2 volgde met 88,9%, terwijl FID en FDDINOv2 concurrerende scores van 86,7% produceerden. Hoewel metrics getraind op menselijke voorkeuren over het algemeen goed overeenkwamen met menselijke evaluaties, bleek cFreD de meest robuuste en betrouwbare overall.

Onderaan zien we de resultaten van de tweede testronde, deze keer op PartiPrompts Arena, met behulp van SDXL; Kandinsky 2; Würstchen; en Karlo V1.0.

Modelrangschikkingen en -scores op PartiPrompt met behulp van statistische metrics (FID, FDDINOv2, CLIPScore, CMMD en cFreD) en metrics getraind op menselijke voorkeuren (Aesthetic Score, ImageReward en MPS). De beste resultaten zijn in het vet gedrukt, de tweede beste zijn onderstreept.

Hierover merkt het artikel op:

‘Onder de statistische metrics bereikt cFreD de hoogste correlatie met menselijke evaluaties (0,73), met FID en FDDINOv2 die beiden een correlatie van 0,70 bereiken. In contrast, toont de CLIP-score een zeer lage correlatie (0,12) met menselijke oordelen.

‘In de categorie met metrics getraind op menselijke voorkeuren, bereikt HPSv2 de sterkste overeenstemming, met de hoogste correlatie (0,83), gevolgd door ImageReward (0,81) en MPS (0,65). Deze resultaten benadrukken dat, hoewel cFreD een robuuste automatische metriek is, HPSv2 uitblinkt in het vastleggen van trends in menselijke evaluaties in de PartiPrompts Arena.’

Ten slotte voerden de auteurs een evaluatie uit op de COCO-dataset met behulp van negen moderne tekst-naar-beeldmodellen: FLUX.1[dev]; Playgroundv2.5; Janus Pro; en Stable Diffusion-varianten SDv3.5-L Turbo, 3.5-L, 3-M, SDXL, 2.1 en 1.5.

Menselijke voorkeursrangschikkingen werden ontleend aan de Text-to-Image Leaderboard en werden weergegeven als ELO-scores:

Modelrangschikkingen op willekeurig geselecteerde COCO-prompts met behulp van automatische metrics (FID, FDDINOv2, CLIPScore, CMMD en cFreD) en metrics getraind op menselijke voorkeuren (Aesthetic Score, ImageReward, HPSv2 en MPS). Een rangaccuurate onder 0,5 geeft aan dat meer discordante dan concordante paren zijn, en de beste resultaten zijn in het vet gedrukt, de tweede beste zijn onderstreept.

Met betrekking tot deze ronde merken de onderzoekers op:

‘Onder de statistische metrics (FID, FDDINOv2, CLIP, CMMD en onze voorgestelde cFreD) is alleen cFreD een sterke correlatie met menselijke voorkeuren, met een correlatie van 0,33 en een niet-triviale rangaccuurate van 66,67%. ‘Dit resultaat plaatst cFreD als de derde meest gealigneerde metriek overall, alleen overtroffen door de metrics getraind op menselijke voorkeuren, ImageReward, HPSv2 en MPS.

‘Notabel is dat alle andere statistische metrics een aanzienlijk zwakkere overeenstemming met ELO-rangschikkingen vertonen en, als gevolg daarvan, de rangschikkingen omkeren, waardoor een Rangacc. onder 0,5 ontstaat.

‘Deze bevindingen benadrukken dat cFreD gevoelig is voor zowel visuele geloofwaardigheid als promptconsistentie, waardoor het een praktische, trainingsvrije alternatief wordt voor het benchmarken van tekst-naar-beeldgeneratie.’

De auteurs testten ook Inception V3 als backbone, waarbij ze de aandacht vestigden op zijn alomtegenwoordigheid in de literatuur, en ontdekten dat InceptionV3 redelijk presteerde, maar werd overtroffen door transformer-gebaseerde backbones zoals DINOv2-L/14 en ViT-L/16, die meer consistent overeenkwamen met menselijke rangschikkingen – en zij beweren dat dit ondersteunt het vervangen van InceptionV3 in moderne evaluatie-opstellingen.

Win-rates die aangeven hoe vaak elke beeld-backbone-rangschikking overeenkwam met de ware menselijke afgeleide rangschikking op de COCO-dataset.

Conclusie

Het is duidelijk dat, hoewel mens-in-de-lus-oplossingen de optimale benadering zijn voor de ontwikkeling van metrics en loss-functies, de schaal en frequentie van updates die nodig zijn voor dergelijke schema’s, deze nog steeds onpraktisch zullen maken – misschien totdat een brede openbare deelname aan evaluaties algemeen wordt gestimuleerd; of, zoals het geval is met CAPTCHAs, afgedwongen.

De geloofwaardigheid van het nieuwe systeem van de auteurs hangt nog steeds af van de overeenstemming met menselijke oordelen, hoewel op een afstand van één niveau meer dan veel recente benaderingen met menselijke deelname; en de legitimiteit van cFreD blijft nog steeds afhankelijk van menselijke voorkeursgegevens (natuurlijk, omdat zonder een dergelijke benchmark, de claim dat cFreD een menselijke evaluatie weerspiegelt, onbewijsbaar zou zijn).

Betwistbaar is of het vastleggen van onze huidige criteria voor ‘realisme’ in generatieve output in een metriekfunctie een fout kan zijn op lange termijn, aangezien onze definitie van dit concept momenteel wordt aangevallen door de nieuwe golf van generatieve AI-systemen en vatbaar is voor frequente en significante herziening.

* Op dit punt zou ik normaal gesproken een voorbeeldbeeldvoorbeeld opnemen, misschien van een recent academisch artikel; maar dat zou gemeneerd zijn – iedereen die meer dan 10-15 minuten heeft doorgebracht met het doorzoeken van Arxiv’s generatieve AI-uitvoer, is al eerder gestuit op aanvullende video’s waarvan de subjectief slechte kwaliteit aangeeft dat de bijbehorende inzending niet zal worden gehuldigd als een baanbrekend artikel.

† Er werden in totaal 46 beeld-backbonemodellen gebruikt in de experimenten, niet allemaal worden in de grafische resultaten beschouwd. Raadpleeg het appendix van het artikel voor een volledige lijst; degenen die in de tabellen en figuren worden vermeld, zijn opgenomen.

Publicatie op dinsdag 1 april 2025