Opettaminen AI:lle antamaan parempia videoarvosteluita

Vaikka suuret visuaalis-verkkomallit (LVLM) voivat olla hyödyllisiä apuvälineitä tulkittaessa jotkut tietokonegrafiikan kirjallisuuden haasteellisista julkaisuista, on yksi alue, jossa ne ovat rajoittuneita: määrittämään videoesimerkkien ansioita ja subjektiivista laatua, jotka liittyvät uusiin julkaisuihin*.

Tämä on kriittinen julkaisun osa, sillä tieteelliset artikkelit usein pyrkivät herättämään innostusta viehättävällä tekstillä tai visuaalisuudella – tai molemmilla.

Mutta video-synteesiprojekteissa kirjoittajien on näytettävä todellista video-ulosottoa tai heidän työnsä voidaan hylätä; ja näissä esityksissä ero rohkeiden väittämien ja todellisen suorituskyvyn välillä ilmenee usein selkeimmin.

Lukin kirjan, en nähnyt elokuvaa

Tällä hetkellä useimmat suositut API-pohjaiset suuret kielen mallit (LLM) ja suuret visuaalis-verkkomallit (LVLM) eivät osallistu suoraan video-sisällön analysointiin millään tavalla, laadullisesti tai muulla tavoin. Sen sijaan ne voivat vain analysoida liittyviä transkriptejä – ja ehkä kommentti- ja muita tekstipohjaisia materiaaleja.

GPT-4o:n, Google Gemini:n ja Perplexity:n moninaiset vastalauseet, kun heiltä pyydettiin analysoimaan video suoraan, ilman transkriptejä tai muita tekstipohjaisia lähteitä.

Kuitenkin LLM voi piilottaa tai kieltää kyvyttömyytensä todella katsella videoita, ellette haasta sitä:

Kun ChatGPT-4o:sta pyydettiin antamaan subjektiivinen arvio uuden tutkimusartikkelin liittyvistä videoista ja kun se lopulta myönsi, ettei se voi todella katsella videoita suoraan.

Vaikka mallit kuten ChatGPT-4o ovat monimodalisia ja voivat analysoida yksittäisiä valokuvia (kuten videosta poistettua kehystä, ks. yllä oleva kuva), on joitakin ongelmia myös tässä:

Ensinnäkin LLM:n laadulliseen arvioon ei ole juuri perusteita luottaa, etenkin koska LLM:t ovat alttiita miellyttämään ihmisiä vilpittömän keskustelun sijaan.

Toiseksi, useimmat, ellei useimmat, generoidun videon ongelmista ovat todennäköisesti aikaperspektiivissä olevia, jotka häviävät täysin kehyskaappauksessa – ja siten yksittäisten kehysten tarkastelu ei palvele mitään tarkoitusta.

Lopulta, LLM voi antaa vain oletetun “arvon” tuomion perustuen (taas kerran) tekstipohjaiseen tietämykseen, esimerkiksi syvänvalheen kuvissa tai taidehistoriassa. Tällaisessa tapauksessa koulutettu alueen tietämys sallii LLM:lle korreloida analysoidun kuvan visuaalisia laatuja oppimista ihmisen näkemykseen perustuvilla upotuksilla:

FakeVLM-projekti tarjoaa kohdennettua syvänvalheen havaitsemista erikoistuneella monimodaalisella visuaalis-verkkomallilla. Lähde: https://arxiv.org/pdf/2503.14905

Tämä ei tarkoita, ettei LLM voi hankkia tietoa suoraan videosta; esimerkiksi käyttämällä apu-AI-järjestelmiä, kuten YOLO, LLM voi tunnistaa objekteja videossa – tai tehdä sen suoraan, jos se on koulutettu keskimääräistä monimodaalista toimintoa varten.

Mutta ainoa tapa, jolla LLM voi arvioida videota subjektiivisesti (ts. “Tämä ei näytä minulle aidolta”), on soveltamalla häviöfunktiota, joka perustuu ihmisen mielipiteeseen.

Häviöfunktiot ovat matemaattisia työkaluja, joita käytetään koulutuksen aikana mallin ennusteiden ja oikeiden vastausten välisen etäisyyden mittaamiseen. Ne tarjoavat palautetta, joka ohjaa mallin oppimista: mitä suurempi virhe, sitä suurempi häviö. Koulutuksen edetessä malli säätää parametrejaan vähentääkseen tätä häviötä ja parantaakseen kykyään tehdä tarkkoja ennusteita.

Häviöfunktiot käytetään sekä mallien koulutuksen säätelemiseen että algoritmien kalibrointiin, jotka on suunniteltu arvioimaan tekoälymallien tuloksia (kuten simuloitujen fotorealististen sisältöjen arviointi generatiivisesta videomallista).

Ehdollinen visio

Yksi suosituimmista mittareista/häviöfunktiosta on Fréchet Inception Distance (FID), joka arvioi generoityjen kuvien laatua mittaamalla niiden jakautumisen ja todellisten kuvien jakautumisen välisen tilastollisen eron.

Erityisesti FID laskee tilastollisen eron, käyttäen keskiarvoja ja kovariansseja, piirteistä, jotka on poimittu molemmista kuvista (usein kritisoitu) Inception v3 -luokittelumalli. Alempi FID-arvo osoittaa, että generoidut kuvat ovat enemmän samanlaisia kuin todelliset kuvat, mikä viittaa parempaan visuaaliseen laatuun ja monimuotoisuuteen.

Kuitenkin FID on perustaltaan vertailukelpoinen ja itseensä viittaava. Tätä varten myöhempi Ehdollinen Fréchet-etäisyys (CFD, 2021) -lähestymistapa eroaa FID:stä siten, että se vertaa generoituja kuvia todellisiin kuviin ja arvioi tuloksen perustuen siihen, miten hyvin molemmat kuvat vastaavat lisäehtoa, kuten (välttämättä subjektiivista) luokan nimeä tai syötteen kuvaa.

Tällä tavoin CFD ottaa huomioon, miten kuvat täyttävät aiotut ehdot, eikä ainoastaan niiden realismin tai monimuotoisuuden itsessään.

Esimerkkejä vuoden 2021 CFD:stä. Lähde: https://github.com/Michael-Soloveitchik/CFID/

CFD seuraa viimeaikaisen trendin jälkeen, jossa pyritään sisällyttämään laadullinen ihmisen tulkinta häviöfunktioiden ja mittausalgoritmien kehittämiseen. Vaikka tällainen ihmiskeskeinen lähestymistapa takaa, että tuloksesta tulee “sielullinen” eikä ainoastaan mekaaninen, se aiheuttaa samalla useita ongelmia: mahdollisuus harhaanjohtavuuteen; tarve päivittää algoritmia uusien käytännön mukaisesti, ja se, että se poistaa mahdollisuuden johdonmukaisiin vertailustandardeihin useiden vuosien ajan eri projekteissa; ja taloudelliset rajoitukset (vähemmän ihmisten osallistuminen tekee päätökset epäilyttäviksi, kun taas suurempi määrä voisi estää hyödylliset päivitykset kustannusten vuoksi).

cFreD

Tästä johtuu uusi tutkimus Yhdysvalloista, joka tarjoaa Ehdollisen Fréchet-etäisyyden (cFreD), uuden CFD:n, joka on suunniteltu heijastamaan paremmin ihmisten preferenssejä arvioimalla sekä visuaalista laatua että teksti-kuvan vastaavuutta

Osa tuloksista uudesta tutkimuksesta: kuvien arviointi (1-9) eri mittareilla “Olohuone, jossa on sohva ja kannettava tietokone sohvan päällä” -aiheesta. Lähde: https://arxiv.org/pdf/2503.21721

Tutkijat väittävät, että olemassa olevat teksti-kuvan synteesin arviointimenetelmät, kuten Inception Score (IS) ja FID, eivät vastaa ihmisten mielipidettä, koska ne mittavat ainoastaan kuvan laatua ilman huomioon ottamista, miten kuvat vastaavat aiheita:

‘Esimerkiksi tarkastellaan tietokokoelmaa, jossa on kaksi kuvaa: yksi koirasta ja yksi kissasta, kumpikin pariutettu vastaavaan aiheeseen. Täydellinen teksti-kuvan malli, joka väärin yhdistää nämä pariutukset (ts. kissan kuvan koira-aiheeseen ja päinvastoin), saavuttaa lähes nollan FID:in, koska koirien ja kissojen kokonaisjakauma säilyy, vaikka aiheiden kanssa ei ole vastaavuutta.’

‘Osoitamme, että cFreD havaitsee kuvan laadun arvioinnin ja ehdotukseen perustuvan ehdotuksen paremmin ja johtaa parannettuun yhteyteen ihmisten preferenssien kanssa.’

Tutkimuksen testit osoittavat, että tutkijoiden ehdottama mittari, cFreD, saavuttaa jatkuvasti korkeamman yhteyden ihmisten preferenssien kanssa kuin FID, FDDINOv2, CLIPScore ja CMMD kolmella vertailukohderyhmällä (PartiPrompts, HPDv2 ja COCO).

Käsite ja menetelmä

Tutkijat toteavat, että teksti-kuvan mallien arvioinnin nykyinen kultainen standardi perustuu ihmisten preferenssien keräämiseen joukkoarvioinnin kautta, samalla tavalla kuin suurten kielen mallien (kuten LMSys Arena) menetelmissä.

Esimerkiksi PartiPrompts Arena käyttää 1 600 englanninkielistä aihetta, joissa osallistujat saavat kaksi kuvaa eri malleista ja pyydetään valitsemaan mieluisin kuva.

Samoin Teksti-kuvan Arena Leaderboard käyttää käyttäjien vertailuja mallien tuloksista ELO-lukujen kautta. Kuitenkin tällaisen ihmisten arviointidatakeräilyn kokoaminen on kallista ja hidasta, mikä on johtanut joitakin alustoja – kuten PartiPrompts Arena – lopettamaan päivitykset kokonaan.

Artificial Analysis Image Arena Leaderboard, joka listaa generatiivisen visuaalisen AI:n johtavat arviot. Lähde: https://artificialanalysis.ai/text-to-image/arena?tab=Leaderboard

Vaikka vaihtoehtoiset menetelmät, jotka perustuvat historiallisiin ihmisten preferenssien tietoihin, ovat olemassa, niiden tehokkuus tulevien mallien arvioinnissa on epävarmaa, koska ihmisten preferenssit jatkuvasti kehittyvät. Tämän vuoksi automaattiset mittarit, kuten FID, CLIPScore ja tutkijoiden ehdottama cFreD, ovat todennäköisesti jäävät tärkeiksi arviointityökaluiksi.

Tutkijat olettavat, että sekä todelliset että generoidut kuvat, jotka perustuvat aiheeseen, seuraavat Gaussin jakautumista, joita määritellään ehdollisten keskiarvojen ja kovarianssien avulla. cFreD mittaa odotetun Fréchet-etäisyyden aiheiden välillä näiden ehdollisten jakautumisten välillä. Tämä voidaan muodostaa joko suoraan ehdollisten tilastojen avulla tai yhdistämällä ehdottomat tilastot aiheen kanssa.

Sisällyttämällä aiheen tähän, cFreD pystyy arvioimaan sekä kuvien realismin että niiden yhdenmukaisuuden annetun tekstin kanssa.

Data ja testit

Arvioidakseen, miten hyvin cFreD vastaa ihmisten preferenssejä, tutkijat käyttivät kuvien arviointeja useista malleista, joissa käytettiin samaa aihetta. Heidän arviointinsa perustui kahteen lähteeseen: Human Preference Score v2 (HPDv2) -testiryhmään, joka sisälsi yhdeksän generoituja kuvaa ja yhden COCO -peruskuvan kullekin aiheelle; ja edellä mainittuun PartiPrompts Arenaan, joka sisälsi neljän mallin tuloksia 1 600 aiheesta.

Tutkijat keräsivät hajanaiset Arena-tiedot yhteen tietokantaan; tapauksissa, joissa todellinen kuva ei ollut korkein ihmisten arvioissa, he käyttivät korkeimmin arvioitua kuvaa vertailukohtana.

Uusimpien mallien testaamiseksi he otin 1 000 aihetta COCO:n koulutus- ja validointiryhmistä, varmistamalla, ettei niitä ollut HPDv2:ssa, ja generoivat kuvia yhdeksällä mallilla Arena Leaderboardista. Alkuperäiset COCO-kuvat toimivat vertailukohdina tässä arvioinnin osassa.

cFreD-lähestymistapaa arvioitiin neljällä tilastollisella mittarilla: FID; FDDINOv2; CLIPScore; ja CMMD. Se arvioitiin myös neljällä oppimismittarilla, jotka perustuivat ihmisten preferenssien tietoihin: Aesthetic Score; ImageReward; HPSv2; ja MPS.

Tutkijat arvioivat yhteyttä ihmisten arvioihin sekä arviointi- että pisteytysnäkökulmasta: kunkin mittarin osalla mallin pisteytys laskettiin ja arviointijärjestys laskettiin sen mukaisesti, miten se sopi ihmisten arviointituloksiin, cFreD käytti DINOv2-G/14:ää kuvan upotuksina ja OpenCLIP ConvNext-B Teksti-encoderia teksti-upotuksina†.

Aiemmat tutkimukset ihmisten preferenssien oppimisesta mittasivat suorituskyvyn kunkin kohteen arviointitarkkuuden avulla, joka laskee arviointitarkkuuden kullekin kuvateksti-parille ennen keskiarvon laskemista.

Tutkijat arvioivat cFreD:ää globaalilla arviointitarkkuudella; tilastollisille mittareille he johtivat arviointijärjestyksen suoraan raakapisteistä; ja mittareille, jotka perustuivat ihmisten preferensseihin, he ensin keskiarvoivat arviointijärjestykset, jotka oli annettu kullekin mallille kaikissa näytteissä, ja määrittivät lopullisen järjestyksen näistä keskiarvoista.

Alkuvaiheen testit käyttivät kymmentä kehyksistä: GLIDE; COCO; FuseDream; DALLE 2; VQGAN+CLIP; CogView2; Stable Diffusion V1.4; VQ-Diffusion; Stable Diffusion V2.0; ja LAFITE.