Învățarea inteligenței artificiale să ofere critici video mai bune

În timp ce modelele mari de limbaj și viziune (LVLM) pot fi ajutoare utile în interpretarea unor submisii mai arcane sau provocatoare din literatura de viziune computerizată, există o zonă în care sunt limitate: determinarea meritelor și calității subiective a oricărui exemplu de videoclip care însoțește noile lucrări*.

Acesta este un aspect critic al unei submisii, deoarece lucrările științifice își propun adesea să genereze entuziasm prin texte sau imagini convingătoare – sau ambele.

Dar în cazul proiectelor care implică sinteza video, autorii trebuie să prezinte ieșiri video reale sau riscă să-și vadă lucrarea respinsă; și în aceste demonstrații, golul dintre afirmații îndrăznețe și performanța din lumea reală devine adesea evidentă.

Am citit cartea, nu am văzut filmul

În prezent, majoritatea modelelor populare de limbaj mare (LLM) și de viziune și limbaj (LVLM) bazate pe API nu vor analiza conținutul video în mod direct în niciun fel, calitativ sau altfel. În schimb, ele pot analiza doar transcrierile asociate – și, poate, firele de discuții și alte materiale auxiliare strict text.

Diversele obiecții ale GPT-4o, Google Gemini și Perplexity, atunci când li s-a cerut să analizeze direct videoclipul, fără a recurge la transcrieri sau alte surse textuale.

Însă, un model LLM poate ascunde sau nega incapacitatea sa de a analiza în realitate videoclipuri, dacă nu îl confruntați cu această problemă:

După ce i s-a cerut să ofere o evaluare subiectivă a unui videoclip asociat unei lucrări de cercetare și după ce a simulat o părere reală, ChatGPT-4o în cele din urmă recunoaște că nu poate analiza în realitate videoclipuri.

Deși modele precum ChatGPT-4o sunt multimodale și pot analiza cel puțin imagini individuale (cum ar fi un cadru extras dintr-un videoclip, vezi imaginea de mai sus), există unele probleme și aici: în primul rând, nu există o bază solidă pentru a acorda credibilitate unei opinii calitative a unui LLM, nu în ultimul rând pentru că LLM-urile sunt înclinate spre “a fi plăcute oamenilor” în loc de discurs sincer.

În al doilea rând, multe, dacă nu majoritatea problemelor unui videoclip generat sunt probabil de natură temporală și sunt complet pierdute într-o imagine fixă – astfel încât examinarea unor imagini individuale nu are niciun scop.

În cele din urmă, LLM-ul poate oferi doar o presupusă “evaluare a valorii” bazată (din nou) pe cunoștințe textuale absorbite, de exemplu în ceea ce privește imagini deepfake sau istoria artei. Într-un astfel de caz, cunoștințele de domeniu antrenate permit LLM-ului să coreleze calitățile vizuale ale unei imagini cu încorporări învățate pe baza percepției umane:

Proiectul FakeVLM oferă detectare de deepfake țintită prin intermediul unui model de viziune și limbaj multimodal specializat. Sursă: https://arxiv.org/pdf/2503.14905

Acest lucru nu înseamnă că un LLM nu poate obține informații direct dintr-un videoclip; de exemplu, cu ajutorul unor sisteme AI auxiliare, cum ar fi YOLO, un LLM ar putea identifica obiecte într-un videoclip – sau ar putea face acest lucru direct, dacă a fost antrenat pentru un număr mai mare decât mediu de funcționalități multimodale.

Însă singurul mod în care un LLM ar putea evalua subiectiv un videoclip (adică, “Acesta nu pare real pentru mine”) este prin aplicarea unei metrice bazate pe o funcție de pierdere care reflectă bine opinia umană sau care este direct informată de opinia umană.

Funcțiile de pierdere sunt unelte matematice utilizate în timpul antrenamentului pentru a măsura cât de departe sunt previziunile modelului de la răspunsurile corecte. Ele oferă feedback care călăuzește procesul de învățare a modelului: cu cât este mai mare eroarea, cu atât mai mare este pierderea. Pe măsură ce avansează antrenamentul, modelul ajustează parametrii săi pentru a reduce această pierdere, îmbunătățindu-și gradual capacitatea de a face previziuni precise.

Funcțiile de pierdere sunt utilizate atât pentru a regla antrenamentul modelelor, cât și pentru a calibra algoritmi proiectați pentru a evalua ieșirile modelelor AI (cum ar fi evaluarea conținutului fotorealistic simulat dintr-un model de videoclip generativ).

Viziune condiționată

Una dintre cele mai populare metrice/funcții de pierdere este Fréchet Inception Distance (FID), care evaluează calitatea imaginilor generate prin măsurarea asemănării dintre distribuția lor (care aici înseamnă ‘modul în care imagini sunt distribuite sau grupate după caracteristici vizuale‘) și cea a imaginilor reale.

În mod specific, FID calculează diferența statistică, utilizând medii și covarianțe, între caracteristicile extrase din ambele seturi de imagini utilizând rețeaua de clasificare Inception v3 (adesea criticată). Un scor FID mai mic indică faptul că imaginile generate sunt mai asemănătoare cu cele reale, ceea ce implică o calitate vizuală și o diversitate mai bună.

Însă FID este esențialmente comparativ și, în mod evident, auto-referențial. Pentru a remedia acest lucru, abordarea ulterioară Conditional Fréchet Distance (CFD, 2021) diferă de FID prin compararea imaginilor generate cu cele reale și evaluarea unui scor pe baza modului în care ambele seturi îndeplinesc o condiție suplimentară, cum ar fi o etichetă de clasă (inevitabil subiectivă) sau o imagine de intrare.

În acest fel, CFID ține cont de modul în care imaginile îndeplinesc condițiile intenționate, nu doar de realismul sau diversitatea lor generală.

Exemple din lansarea CFD din 2021. Sursă: https://github.com/Michael-Soloveitchik/CFID/

CFD urmează o tendință recentă de a încorpora interpretarea calitativă umană în funcții de pierdere și algoritmi de metrică. Deși o astfel de abordare centrată pe om garantează că algoritmul rezultat nu va fi “fără suflet” sau mecanic, aceasta ridică o serie de probleme: posibilitatea de a introduce bias; sarcina de a actualiza algoritmul în conformitate cu noile practici și faptul că acesta va elimina posibilitatea unor standarde comparative consistente de-a lungul anilor și proiectelor; și limitările bugetare (un număr mai mic de contribuitori umani va face determinările mai speculative, în timp ce un număr mai mare ar putea preveni actualizări utile din cauza costurilor).

cFreD

Acest lucru ne aduce la o lucrare nouă din Statele Unite, care pare să ofere Conditional Fréchet Distance (cFreD), o abordare nouă a CFD, proiectată pentru a reflecta mai bine preferințele umane, evaluând atât calitatea vizuală, cât și alinierea imagine-text

Rezultate parțiale din lucrarea nouă: clasamente de imagini (1–9) pentru diferite metrice pentru promptul “O cameră de zi cu un canapea și un laptop pe canapea.” Verdele evidențiază modelul cel mai bine evaluat de oameni (FLUX.1-dev), movul cel mai slab (SDv1.5). Doar cFreD se aliniază cu evaluările umane. Sursă: https://arxiv.org/pdf/2503.21721

Autorii susțin că metodele actuale de evaluare a sintezei text-imagină, cum ar fi Inception Score (IS) și FID, nu se aliniază bine cu judecata umană, deoarece măsoară doar calitatea imaginii, fără a lua în considerare modul în care imaginile se potrivesc cu prompturile lor:

‘De exemplu, considerați un set de date cu două imagini: una cu un câine și una cu o pisică, fiecare asociată cu promptul corespunzător. Un model de sinteză text-imagină perfect, care greșește însă mapping-ul (adică generează o pisică pentru un prompt de câine și viceversa) ar obține un scor FID aproape de zero, deoarece distribuția generală a câinilor și pisicilor este menținută, în ciuda nealinierea cu prompturile intenționate. ‘

‘Arătăm că cFreD capturează mai bine evaluarea calității imaginilor și condiționarea de textul de intrare și duce la o corelație îmbunătățită cu preferințele umane.’

Testele lucrării indică faptul că metrica propusă de autori, cFreD, obține în mod constant o corelație mai mare cu preferințele umane decât FID, FDDINOv2, CLIPScore și CMMD pe trei seturi de date de referință (PartiPrompts, HPDv2 și COCO).

Concept și metodă

Autorii menționează că standardul actual de aur pentru evaluarea modelelor text-imagină implică colectarea datelor de preferință umană prin comparații realizate de oameni, asemănătoare cu metodele utilizate pentru modelele de limbaj mare (cum ar fi LMSys Arena).

De exemplu, PartiPrompts Arena utilizează 1.600 de prompturi în limba engleză, prezentând participanților perechi de imagini din diferite modele și solicitându-le să selecteze imaginea preferată.

Similar, Text-to-Image Arena Leaderboard utilizează comparații ale ieșirilor modelului pentru a genera clasamente prin scoruri ELO. Cu toate acestea, colectarea acestor date de evaluare umană este costisitoare și lentă, determinând unele platforme – cum ar fi PartiPrompts Arena – să înceteze actualizările.

Artificial Analysis Image Arena Leaderboard, care clasifică liderii actuali estimați în inteligența artificială generativă vizuală. Sursă: https://artificialanalysis.ai/text-to-image/arena?tab=Leaderboard

Deși există metode alternative antrenate pe date istorice de preferință umană, eficacitatea lor pentru evaluarea modelelor viitoare rămâne incertă, deoarece preferințele umane evoluează continuu. Prin urmare, metrice automate precum FID, CLIPScore și metrica propusă de autori, cFreD, par a fi instrumente de evaluare esențiale.

Autorii presupun că atât imaginile reale, cât și cele generate, condiționate de un prompt, urmează distribuții Gaussiane, definite de medii și covarianțe condiționale. cFreD măsoară distanța Fréchet anticipată între aceste distribuții condiționale peste prompturi. Acest lucru poate fi formulat direct în termeni de statistici condiționale sau prin combinarea statisticilor necondiționale cu covarianțe care implică promptul.

Prin încorporarea promptului în acest fel, cFreD poate evalua atât realismul imaginilor, cât și consistența lor cu textul dat.

Date și teste

Pentru a evalua cât de bine cFreD se corelează cu preferințele umane, autorii au utilizat clasamente de imagini de la multiple modele promptate cu același text. Evaluarea lor s-a bazat pe două surse: setul de teste Human Preference Score v2 (HPDv2), care include nouă imagini generate și o imagine COCO de referință pe prompt; și PartiPrompts Arena, care conține ieșiri de la patru modele peste 1.600 de prompturi.

Autorii au colectat punctele de date dispersate din Arena într-un singur set de date; în cazurile în care imaginea reală nu s-a clasat pe primul loc în evaluările umane, au utilizat imaginea cel mai bine evaluată ca referință.

Pentru a testa modele mai noi, au eșantionat 1.000 de prompturi din seturile de antrenament și validare COCO, asigurându-se că nu există suprapuneri cu HPDv2, și au generat imagini utilizând nouă modele din Leaderboard-ul Arena. Imaginile COCO originale au servit ca referințe în această parte a evaluării.

Abordarea cFreD a fost evaluată prin patru metrice statistice: FID; FDDINOv2; CLIPScore; și CMMD. De asemenea, a fost evaluată împotriva a patru metrice învățate pe date de preferință umană: Aesthetic Score; ImageReward; HPSv2; și MPS.

Autorii au evaluat corelația cu judecata umană atât din perspectivă de clasament, cât și de scor: pentru fiecare metrică, s-au raportat scorurile modelului și s-au calculat clasamentele pentru alinierea cu rezultatele evaluării umane, cu cFreD utilizând DINOv2-G/14 pentru încorporări de imagine și encoder-ul de text ConvNext-B OpenCLIP pentru încorporări de text†.

Lucrările anterioare privind învățarea preferințelor umane au măsurat performanța utilizând acuratețea clasamentului pe item, care calculează acuratețea clasamentului pentru fiecare pereche imagine-text înainte de a media rezultatele.

Autorii, în schimb, au evaluat cFreD utilizând o acuratețe globală a clasamentului, care evaluează performanța generală a clasamentului pe întregul set de date; pentru metricele statistice, au derivat clasamentele direct din scorurile brute; și pentru metricele antrenate pe preferințe umane, au mediat mai întâi clasamentele atribuite fiecărui model pe toate exemplele, apoi au determinat clasamentul final din aceste medii.

Testele inițiale au utilizat zece cadre: GLIDE; COCO; FuseDream; DALLE 2; VQGAN+CLIP; CogView2; Stable Diffusion V1.4; VQ-Diffusion; Stable Diffusion V2.0; și LAFITE.

Clasamente și scoruri ale modelului pe setul de teste HPDv2 utilizând metrice statistice (FID, FDDINOv2, CLIPScore, CMMD și cFreD) și metrice antrenate pe preferințe umane (Aesthetic Score, ImageReward, HPSv2 și MPS). Cele mai bune rezultate sunt afișate cu caractere aldine, al doilea cel mai bun este subliniat.

Dintre rezultatele inițiale, autorii menționează:

‘cFreD obține cea mai mare aliniere cu preferințele umane, atingând o corelație de 0,97. Printre metricele statistice, cFreD obține cea mai mare corelație și este comparabilă cu HPSv2 (0,94), un model antrenat explicit pe preferințe umane. Având în vedere că HPSv2 a fost antrenat pe setul de antrenament HPSv2, care include patru modele din setul de test, și a utilizat aceiași annotatori, încorporează în mod inevitabil anumite bias-uri de preferință umană specifice acelui cadru.

‘În schimb, cFreD obține o corelație comparabilă sau superioară cu evaluarea umană fără niciun antrenament pe preferințe umane. ‘

‘Aceste rezultate demonstrează că cFreD oferă clasamente mai fiabile pe diverse modele în comparație cu metricele automate standard și metricele antrenate explicit pe date de preferință umană.’

Printre toate metricele evaluate, cFreD a obținut cea mai mare acuratețe a clasamentului (91,1%), demonstrând – conform autorilor – o aliniere puternică cu judecățile umane.

HPSv2 a urmat cu 88,9%, în timp ce FID și FDDINOv2 au produs scoruri competitive de 86,7%. Deși metricele antrenate pe preferințe umane s-au aliniat în general bine cu evaluările umane, cFreD s-a dovedit a fi cea mai robustă și fiabilă în general.

Mai jos vedem rezultatele celui de-al doilea tur de testare, de data aceasta pe PartiPrompts Arena, utilizând SDXL; Kandinsky 2; Würstchen; și Karlo V1.0.

Clasamente și scoruri ale modelului pe PartiPrompt utilizând metrice statistice (FID, FDDINOv2, CLIPScore, CMMD și cFreD) și metrice antrenate pe preferințe umane (Aesthetic Score, ImageReward și MPS). Cele mai bune rezultate sunt afișate cu caractere aldine, al doilea cel mai bun este subliniat.

Aici, lucrarea afirmă:

‘Dintre metricele statistice, cFreD obține cea mai mare corelație cu evaluările umane (0,73), în timp ce FID și FDDINOv2 ating o corelație de 0,70. În schimb, scorul CLIP arată o corelație foarte scăzută (0,12) cu judecățile umane. ‘

‘În categoria metricelor antrenate pe preferințe umane, HPSv2 are cea mai puternică aliniere, atingând cea mai mare corelație (0,83), urmată de ImageReward (0,81) și MPS (0,65). Aceste rezultate subliniază că, deși cFreD este o metrică automată robustă, HPSv2 se evidențiază ca fiind cea mai eficientă în capturarea tendințelor de evaluare umană în PartiPrompts Arena.’

În cele din urmă, autorii au efectuat o evaluare pe setul de date COCO, utilizând nouă modele de sinteză text-imagină moderne: FLUX.1[dev]; Playgroundv2.5; Janus Pro; și variantele Stable Diffusion SDv3.5-L Turbo, 3.5-L, 3-M, SDXL, 2.1 și 1.5.

Clasamentele de preferință umană au fost obținute de pe Leaderboard-ul Text-to-Image și au fost furnizate sub formă de scoruri ELO:

Clasamente ale modelului pe prompturi COCO eșantionate aleatoriu, utilizând metrice automate (FID, FDDINOv2, CLIPScore, CMMD și cFreD) și metrice antrenate pe preferințe umane (Aesthetic Score, ImageReward, HPSv2 și MPS). O acuratețe a clasamentului sub 0,5 indică mai multe perechi discordante decât concordante, iar cele mai bune rezultate sunt afișate cu caractere aldine, al doilea cel mai bun este subliniat.

În legătură cu acest tur, cercetătorii afirmă:

‘Dintre metricele statistice (FID, FDDINOv2, CLIP, CMMD și cFreD propus de noi), doar cFreD prezintă o corelație puternică cu preferințele umane, atingând o corelație de 0,33 și o acuratețe a clasamentului de 66,67%. ‘Acest rezultat plasează cFreD ca a treia cea mai aliniată metrică în general, fiind depășită doar de metricele antrenate pe preferințe umane, ImageReward, HPSv2 și MPS. ‘

‘În schimb, toate celelalte metrice statistice prezintă o aliniere semnificativ mai slabă cu clasamentele ELO și, ca urmare, inversează clasamentele, rezultând o acuratețe a clasamentului sub 0,5. ‘

‘Aceste constatări subliniază că cFreD este sensibil atât la fidelitatea vizuală, cât și la consistența promptului, consolidând valoarea sa ca alternativă practică și independentă de antrenament pentru evaluarea sintezei text-imagină.’

Autorii au testat, de asemenea, Inception V3 ca spate, subliniind omniprezența sa în literatura de specialitate, și au constatat că InceptionV3 a performant în mod rezonabil, dar a fost depășit de spatele bazat pe transformatori, cum ar fi DINOv2-L/14 și ViT-L/16, care s-au aliniat mai consistent cu clasamentele umane – și susțin că acest lucru sprijină înlocuirea InceptionV3 în setările moderne de evaluare.

Rată de câștig care arată cât de des clasamentele fiecărui spate de imagine au corespuns clasamentelor reale derivate de la oameni pe setul de date COCO.

Concluzie

Este clar că, deși soluțiile cu implicare umană sunt abordarea ideală pentru dezvoltarea metricilor și funcțiilor de pierdere, scala și frecvența actualizărilor necesare acestor scheme vor continua să le facă impracticabile – poate până când participarea publică largă la evaluări va fi în general încurajată; sau, așa cum s-a întâmplat cu CAPTCHAs, forțată.

Credibilitatea sistemului nou propus de autori depinde încă de alinierea sa cu judecata umană, deși la o distanță mai mare decât multe abordări recente care implică participarea umană; și legitimitatea cFreD rămâne încă legată de datele de preferință umană (în mod evident, deoarece fără o astfel de benchmark, afirmația că cFreD reflectă evaluări similare cu cele umane ar fi imposibil de dovedit).

Posibil, încorporarea criteriilor noastre actuale pentru “realism” în ieșirile generative într-o funcție de metrică ar putea fi o greșeală pe termen lung, deoarece definiția noastră pentru acest concept este în prezent supusă unor atacuri din partea noii valuri de sisteme de inteligență artificială generativă și este destinată să sufere revizuiri frecvente și semnificative.

* În acest punct, aș include de obicei un exemplu ilustrativ de videoclip, poate dintr-o lucrare academică recentă; dar ar fi răutăcios – oricine a petrecut mai mult de 10-15 minute navigând prin ieșirile de inteligență artificială generativă de pe Arxiv a întâlnit deja videoclipuri suplimentare a căror calitate subiectiv slabă indică faptul că lucrarea asociată nu va fi salutată ca o lucrare de referință.

† Au fost utilizate un total de 46 de modele de spate de imagine în experimente, nu toate fiind luate în considerare în rezultatele grafice. Vă rugăm să consultați apendicele lucrării pentru o listă completă; cele prezentate în tabele și figuri au fost enumerate.

Publicat pentru prima dată marți, 1 aprilie 2025