Nauczanie AI, aby lepiej oceniała filmy

Podczas gdy duże modele języka i wizji (LVLM) mogą być przydatne w interpretowaniu niektórych bardziej arcanych lub wymagających nagrań w literaturze komputerowej, jest jedna dziedzina, w której są one ograniczone: określanie zalet i subiektywnej jakości dowolnych przykładów wideo, które towarzyszą nowym pracom*.

Jest to krytyczny aspekt zgłoszenia, ponieważ artykuły naukowe często mają na celu wywołać entuzjazm za pomocą przekonywającego tekstu lub wizualizacji – lub obu.

Jednak w przypadku projektów, które obejmują syntezę wideo, autorzy muszą pokazać rzeczywiste wyjście wideo, lub ryzykują odrzuceniem swojej pracy; i to właśnie w tych demonstracjach różnica między śmiałymi twierdzeniami a rzeczywistymi wynikami najczęściej staje się widoczna.

Przeczytałem książkę, nie widziałem filmu

Obecnie większość popularnych modeli języka i wizji (LLM) i dużych modeli języka i wizji (LVLM) nie będzie bezpośrednio analizować zawartości wideo w żaden sposób, jakościowy lub inny. Zamiast tego mogą one tylko analizować powiązane transkrypcje – i perhaps, wątki komentarzy i inne ściśle tekstowe materiały pomocnicze.

Różne zastrzeżenia GPT-4o, Google Gemini i Perplexity, gdy poproszono je o bezpośrednią analizę wideo, bez odniesienia do transkrypcji lub innych tekstowych źródeł.

Jednak model LLM może ukryć lub zaprzeczyć swojej niezdolności do rzeczywistego obejrzenia wideo, chyba że wezwie je do tego:

Po tym, jak poproszono o podanie subiektywnej oceny nowego artykułu naukowego powiązanego z wideo, i po sfingowaniu prawdziwej opinii, ChatGPT-4o ostatecznie przyznaje, że nie może rzeczywiście obejrzeć wideo bezpośrednio.

Chociaż modele takie jak ChatGPT-4o są wielomodalne i mogą analizować indywidualne zdjęcia (takie jak wyodrębniony klatka z wideo, patrz powyżej), istnieją pewne problemy również z tym: po pierwsze, nie ma podstaw, aby dać wiarę subiektywnej opinii LLM, nie tylko dlatego, że LLM są skłonne do “ludzkiej przychylności” zamiast szczerej dyskusji.

Po drugie, wiele, jeśli nie większość problemów z wygenerowanym wideo ma czasowy aspekt, który jest całkowicie tracony w klatce – i tak badanie poszczególnych klatek nie służy żadnemu celowi.

Wreszcie, LLM może podać tylko domniemaną “ocenę wartości” opartą (ponownie) na wchłoniętej wiedzy tekstowej, na przykład w odniesieniu do głębokich fałszerstw obrazów lub historii sztuki. W takim przypadku wytrenowana wiedza domenowa pozwala LLM skorelować analizowane cechy wizualne obrazu z nauczanymi osadzeniami opartymi na ludzkiej wiedzy:

Projekt FakeVLM oferuje ukierunkowaną detekcję głębokich fałszerstw za pomocą specjalistycznego wielomodalnego modelu języka i wizji. Źródło: https://arxiv.org/pdf/2503.14905

To nie oznacza, że LLM nie może uzyskać informacji bezpośrednio z wideo; na przykład, z użyciem systemów AI, takich jak YOLO, LLM mogą identyfikować obiekty w wideo – lub mogą to robić bezpośrednio, jeśli są wytrenowane w ponadprzeciętnej liczbie funkcjonalności wielomodalnych.

Jednak jedynym sposobem, w jaki LLM mogłoby subiektywnie ocenić wideo (tj. “To nie wygląda prawdziwie na mnie”) jest przez zastosowanie funkcji straty opartej na metryce, która jest albo znana jako odbicie ludzkiej opinii, albo bezpośrednio poinformowana przez ludzką opinię.

Funkcje straty są matematycznymi narzędziami używanymi podczas szkolenia do pomiaru, jak daleko przewidywania modelu są od poprawnych odpowiedzi. Zapewniają one informacje zwrotne, które kierują uczeniem się modelu: im większy błąd, tym wyższa strata. Podczas postępu szkolenia model dostosowuje swoje parametry, aby zmniejszyć tę stratę, stopniowo poprawiając swoją zdolność do dokonywania dokładnych przewidywań.

Funkcje straty są używane zarówno do regulacji szkolenia modeli, jak i do kalibracji algorytmów zaprojektowanych do oceny wyjścia AI (takich jak ocena symulowanych fotorealistycznych treści z generatywnego modelu wideo).

Warunkowa wizja

Jedną z najpopularniejszych metryk / funkcji straty jest Fréchet Inception Distance (FID), który ocenia jakość generowanych obrazów, mierząc podobieństwo między ich dystrybucją (co tutaj oznacza ‘jak obrazy są rozłożone lub pogrupowane według cech wizualnych‘) a tymi rzeczywistymi obrazami.

Konkretnie FID oblicza różnicę statystyczną, używając średnich i kowariancji, między cechami wyodrębnionymi z obu zestawów obrazów przy użyciu (często krytykowanej) Inception v3 sieci klasyfikacyjnej. Niższy wynik FID wskazuje, że generowane obrazy są bardziej podobne do rzeczywistych obrazów, co oznacza lepszą jakość wizualną i różnorodność.

Jednak FID jest podstawowo porównawczy i można powiedzieć, że jest samoreferencyjny. Aby temu zaradzić, późniejsze Conditional Fréchet Distance (CFD, 2021) różni się od FID, porównując generowane obrazy z rzeczywistymi obrazami i oceniając wynik na podstawie tego, jak dobrze oba zestawy spełniają dodatkowy warunek, taki jak (nieunikniona subiektywna) etykieta klasy lub obraz wejściowy.

W ten sposób CFID uwzględnia, jak dokładnie obrazy spełniają zamierzone warunki, a nie tylko ich ogólną realność lub różnorodność wśród siebie.

Przykłady z wydania CFD z 2021 roku. Źródło: https://github.com/Michael-Soloveitchik/CFID/

CFD kontynuuje ostatni trend włączania jakościowej ludzkiej interpretacji do funkcji straty i algorytmów metryk. Chociaż taki ludzki podejście gwarantuje, że wynikowy algorytm nie będzie “bezdusznym” lub mechanicznym, jednocześnie przedstawia szereg problemów: możliwość uprzedzeń; ciężar aktualizacji algorytmu zgodnie z nowymi praktykami i fakt, że to usunie możliwość spójnych standardów porównawczych w czasie na przestrzeni lat i projektów; oraz ograniczenia budżetowe (mniejsza liczba ludzkich współpracowników sprawi, że decyzje będą bardziej wątpliwe, podczas gdy większa liczba mogłaby uniemożliwić przydatne aktualizacje ze względu na koszty).

cFreD

To prowadzi nas do nowego artykułu z USA, który wydaje się oferować Conditional Fréchet Distance (cFreD), nowe spojrzenie na CFD, które ma lepiej odzwierciedlać ludzkie preferencje, oceniając zarówno jakość wizualną, jak i wyrównanie obrazu i tekstu.

Częściowe wyniki z nowego artykułu: rankingi obrazów (1-9) według różnych metryk dla podpowiedzi “Pokój dzienny z kanapą i laptopem leżącym na kanapie.” Zielone podświetlenie wskazuje najlepszy model oceniony przez ludzi (FLUX.1-dev), fioletowy najgorszy (SDv1.5). Tylko cFreD odpowiada rankingom ludzkim. Proszę odnieść się do oryginalnego artykułu, aby uzyskać pełne wyniki, których tutaj nie możemy wyświetlić.

Autorzy twierdzą, że istniejące metody oceny syntezji obrazu-tekstu, takie jak Inception Score (IS) i FID, słabo odpowiadają ludzkiej ocenie, ponieważ mierzą tylko jakość obrazu, nie uwzględniając, jak dobrze obrazy odpowiadają podpowiedziom:

‘Na przykład, rozważmy zestaw danych z dwoma obrazami: jednym z psem i jednym z kotem, każdym sparowanym z odpowiednią podpowiedzią. Doskonały model obrazu-tekstu, który mylnie zamienia te powiązania (tj. generuje kota dla podpowiedzi psa i odwrotnie), osiągnie prawie zero FID, ponieważ ogólna dystrybucja psów i kotów jest utrzymana, pomimo niezgodności z zamierzonymi podpowiedziami.

‘Pokazujemy, że cFreD lepiej ujmuje ocenę jakości obrazu i warunkowanie na wejściowy tekst i prowadzi do poprawionej korelacji z ludzkimi preferencjami.’

Testy autorów wskazują, że proponowana metryka cFreD konsekwentnie osiąga wyższą korelację z ludzkimi preferencjami niż FID, FDDINOv2, CLIPScore i CMMD w trzech zestawach danych benchmarkowych (PartiPrompts, HPDv2 i COCO).

Pomysł i metoda

Autorzy zauważają, że obecny standard złota dla oceny modeli obrazu-tekstu obejmuje gromadzenie danych preferencji ludzkich za pomocą porównań crowdsourcingowych, podobnych do metod stosowanych w dużych modelach języka (takich jak LMSys Arena).

Na przykład PartiPrompts Arena używa 1600 angielskich podpowiedzi, prezentując uczestnikom pary obrazów z różnych modeli i prosząc ich o wybranie preferowanego obrazu.

Podobnie Text-to-Image Arena Leaderboard wykorzystuje porównania użytkowników wyjść modelu do generowania rankingów za pomocą punktów ELO. Jednak zbieranie tego rodzaju danych oceny ludzkiej jest kosztowne i powolne, co skłoniło niektóre platformy – takie jak PartiPrompts Arena – do zaprzestania aktualizacji.

Artificial Analysis Image Arena Leaderboard, który klasyfikuje obecnych liderów w generatywnej sztucznej inteligencji wizualnej. Źródło: https://artificialanalysis.ai/text-to-image/arena?tab=Leaderboard

Chociaż istnieją alternatywne metody szkoleniowe oparte na historycznych danych preferencji ludzkich, ich skuteczność w ocenie przyszłych modeli pozostaje niepewna, ponieważ preferencje ludzkie ciągle ewoluują. W związku z tym automatyczne metryki, takie jak FID, CLIPScore i proponowany cFreD, wydają się nadal kluczowymi narzędziami oceny.

Autorzy zakładają, że zarówno rzeczywiste, jak i generowane obrazy warunkowe na podpowiedzię, podążają za rozkładem normalnym, każdy zdefiniowany przez warunkowe średnie i kowariancje. cFreD mierzy oczekiwaną odległość Fréchet między tymi warunkowymi dystrybucjami. Może to być sformułowane bezpośrednio w kategoriach statystyk warunkowych lub poprzez połączenie statystyk niezwarunkowanych z kowariancją obejmującą podpowiedź.

Poprzez uwzględnienie podpowiedzi w ten sposób, cFreD jest w stanie ocenić zarówno realność obrazów, jak i ich spójność z danym tekstem.

Dane i testy

Aby ocenić, jak dobrze cFreD koreluje z ludzkimi preferencjami, autorzy użyli rankingów obrazów z wielu modeli zainspirowanych tymi samymi tekstami. Ich ocena opierała się na dwóch źródłach: Human Preference Score v2 (HPDv2) zestaw testowy, który zawiera dziewięć generowanych obrazów i jeden COCO obraz odniesienia na podpowiedź; oraz wspomnianą PartiPrompts Arena, która zawiera dane wyjściowe z czterech modeli w 1600 podpowiedziach.

Autorzy zebrali rozproszone dane z Areny w jeden zestaw danych; w przypadkach, w których rzeczywisty obraz nie zajmował najwyższej pozycji w ocenach ludzkich, użyli najwyżej ocenionego obrazu jako odniesienia.

Aby przetestować nowsze modele, wybrali 1000 podpowiedzi z zestawów szkoleniowych i walidacyjnych COCO, zapewniając brak nakładania się z HPDv2, i wygenerowali obrazy przy użyciu dziewięciu modeli z Areny Leaderboard. Oryginalne obrazy COCO służyły jako odniesienia w tej części oceny.

Podejście cFreD zostało ocenione za pomocą czterech statystycznych metryk: FID; FDDINOv2; CLIPScore; i CMMD. Zostało ono również ocenione w porównaniu z czterema nauczanymi metrykami wytrenowanymi na danych preferencji ludzkich: Aesthetic Score; ImageReward; HPSv2; i MPS.

Autorzy ocenili korelację z ludzką oceną z perspektywy rankingowej i oceny: dla każdej metryki raportowali wyniki modeli i obliczali rankingi dla ich wyrównania z wynikami oceny ludzkiej, przy użyciu DINOv2-G/14 do osadzeń obrazów i OpenCLIP ConvNext-B Text Encoder do osadzeń tekstowych†.

Poprzednie prace nad uczeniem preferencji ludzkich mierzyły wydajność przy użyciu dokładności rangi na element, która oblicza dokładność rangi dla każdej pary obraz-tekst, zanim średnia wyników.

Autorzy zamiast tego oceniali cFreD przy użyciu globalnej dokładności rangi, która ocenia ogólną wydajność rangi w całym zestawie danych; dla metryk statystycznych pochodzących bezpośrednio z surowych wyników; oraz dla metryk wytrenowanych na preferencjach ludzkich, najpierw średnich rankingów przypisanych do każdego modelu we wszystkich próbkach, a następnie określając ostateczny ranking z tych średnich.

Początkowe testy wykorzystywały dziesięć ram: GLIDE; COCO; FuseDream; DALLE 2; VQGAN+CLIP; CogView2; Stable Diffusion V1.4; VQ-Diffusion; Stable Diffusion V2.0; i LAFITE.

Rankingi modeli i wyniki w zestawie testowym HPDv2 przy użyciu metryk statystycznych (FID, FDDINOv2, CLIPScore, CMMD i cFreD) i metryk wytrenowanych na preferencjach ludzkich (Aesthetic Score, ImageReward, HPSv2 i MPS). Najlepsze wyniki są wyróżnione, drugie najlepsze są podkreślone.

Z początkowych wyników autorzy komentują:

‘cFreD osiąga najwyższą zgodność z ludzkimi preferencjami, sięgając korelacji 0,97. Wśród metryk statystycznych cFreD osiąga najwyższą korelację i jest porównywalna z HPSv2 (0,94), modelem, który został wyraźnie wytrenowany na preferencjach ludzkich. Biorąc pod uwagę, że HPSv2 został wytrenowany na zestawie szkoleniowym HPSv2, który zawiera cztery modele z zestawu testowego, i zatrudnił tych samych anotatorów, on nieuchronnie zakodował określone ludzkie preferencje uprzedzeń tego samego ustawienia.

‘W przeciwieństwie do tego, cFreD osiąga porównywalną lub lepszą korelację z ludzką oceną bez żadnego szkolenia preferencji ludzkich.

‘Te wyniki pokazują, że cFreD zapewnia bardziej niezawodne rankingi wśród różnych modeli w porównaniu z standardowymi automatycznymi metrykami i metrykami wytrenowanymi wyraźnie na danych preferencji ludzkich.’

Wśród wszystkich ocenianych metryk cFreD osiągnął najwyższą dokładność rangi (91,1%), demonstrując – zdaniem autorów – silną zgodność z ludzkimi osądami.

HPSv2 zajęło drugie miejsce z 88,9%, podczas gdy FID i FDDINOv2 uzyskały konkurencyjne wyniki 86,7%. Chociaż metryki wytrenowane na preferencjach ludzkich ogólnie dobrze odpowiadały ludzkiej ocenie, cFreD okazał się najbardziej solidnym i niezawodnym ogółem.

Poniżej widzimy wyniki drugiej rundy testów, tym razem na PartiPrompts Arena, z użyciem SDXL; Kandinsky 2; Würstchen; i Karlo V1.0.

Rankingi modeli i wyniki na PartiPrompt przy użyciu metryk statystycznych (FID, FDDINOv2, CLIPScore, CMMD i cFreD) i metryk wytrenowanych na preferencjach ludzkich (Aesthetic Score, ImageReward i MPS). Najlepsze wyniki są wyróżnione, drugie najlepsze są podkreślone.

Tutaj artykuł stwierdza:

‘Wśród metryk statystycznych cFreD osiąga najwyższą korelację z ludzkimi ocenami (0,73), z FID i FDDINOv2, które osiągają korelację 0,70. W przeciwieństwie do tego, CLIP score wykazuje bardzo niską korelację (0,12) z ludzkimi osądami.

‘W kategorii wytrenowanych preferencji ludzkich HPSv2 ma najmocniejszą zgodność, osiągając najwyższą korelację (0,83), po której następuje ImageReward (0,81) i MPS (0,65). Te wyniki podkreślają, że chociaż cFreD jest solidną automatyczną metryką, HPSv2 wyróżnia się jako najbardziej skuteczny w uchwyceniu trendów oceny ludzkiej w PartiPrompts Arena.’

Wreszcie autorzy przeprowadzili ocenę na zestawie danych COCO, korzystając z dziewięciu nowoczesnych modeli obrazu-tekstu: FLUX.1[dev]; Playgroundv2.5; Janus Pro; i warianty Stable Diffusion SDv3.5-L Turbo, 3.5-L, 3-M, SDXL, 2.1 i 1.5.

Rankingi preferencji ludzkich pochodziły z Text-to-Image Leaderboard i zostały podane jako punkty ELO:

Rankingi modeli na losowo wybranych podpowiedziach COCO przy użyciu automatycznych metryk (FID, FDDINOv2, CLIPScore, CMMD i cFreD) i metryk wytrenowanych na preferencjach ludzkich (Aesthetic Score, ImageReward, HPSv2 i MPS). Dokładność rangi poniżej 0,5 wskazuje więcej niezgodnych niż zgodnych par, a najlepsze wyniki są wyróżnione, a drugie najlepsze są podkreślone.

W odniesieniu do tej rundy badacze stwierdzają:

‘Wśród metryk statystycznych (FID, FDDINOv2, CLIP, CMMD i nasza proponowana cFreD) tylko cFreD wykazuje silną korelację z ludzkimi preferencjami, osiągając korelację 0,33 i nietrywialną dokładność rangi 66,67%. ‘To umiejscawia cFreD jako trzecią najbardziej zgodną metrykę ogółem, przewyższoną tylko przez metryki wytrenowane na preferencjach ludzkich, ImageReward, HPSv2 i MPS.

‘Godne uwagi jest to, że wszystkie inne metryki statystyczne wykazują znacznie słabszą zgodność z rankingami ELO i, w efekcie, odwróciły rankingi, co skutkuje dokładnością rangi poniżej 0,5.

‘Te wyniki podkreślają, że cFreD jest wrażliwy zarówno na wierność wizualną, jak i spójność podpowiedzi, wzmacniając jego wartość jako praktyczną, bezszkoleniową alternatywę dla benchmarkowania generacji obrazu-tekstu.’

Autorzy również przetestowali Inception V3 jako backbone, zwracając uwagę na jego powszechność w literaturze, i stwierdzili, że InceptionV3 działał rozsądnie, ale został przewyższony przez backbone’y oparte na transformatorach, takie jak DINOv2-L/14 i ViT-L/16, które bardziej konsekwentnie odpowiadały rankingom ludzkim – i twierdzą, że to wspiera zastąpienie InceptionV3 w nowoczesnych ustawieniach oceny.

Stawki wygranych, które pokazują, jak często rankingi każdego backbone’u obrazu odpowiadają prawdziwym rankingom ludzkim w zestawie danych COCO.

Wnioski

Jasne jest, że rozwiązania z ludzkim uczestnictwem są optymalnym podejściem do rozwoju metryk i funkcji straty, ale skala i częstotliwość niezbędnych aktualizacji tych schematów nadal sprawiają, że są one niewykonalne – być może do czasu, gdy powszechne publiczne uczestnictwo w ocenach będzie ogólnie zachęcane; lub, jak to miało miejsce w przypadku CAPTCH, wymuszane.

Wiarygodność nowego systemu autorów nadal zależy od jego zgodności z ludzką oceną, choć na jeden krok dalej niż wiele ostatnich podejść z udziałem ludzi; i legitymacja cFreD pozostaje nadal w danych preferencji ludzkich (oczywiście, ponieważ bez takiego punktu odniesienia twierdzenie, że cFreD odzwierciedla ludzką ocenę, byłoby nieudowodnione).

Można argumentować, że uwzględnienie naszych obecnych kryteriów “realizmu” w generowanym wyjściu w metryce funkcji może być błędem długoterminowym, ponieważ nasze pojęcie tego pojęcia jest obecnie atakowane przez nową falę systemów generatywnych AI i jest przeznaczone do częstych i znaczących przeglądów.

* W tym momencie zwykle zawierałbym ilustracyjny przykład wideo, być może z niedawnego artykułu akademickiego; ale byłoby to niesmaczne – każdy, kto spędził więcej niż 10-15 minut przeglądając wyjście generatywnej AI z Arxiv, już spotkał się z wideo o subiektywnie słabej jakości, co wskazuje, że powiązany artykuł nie zostanie uznany za przełomowy.

† Łącznie 46 modeli backbone’u obrazu zostało użytych w eksperymentach, z których nie wszystkie są uwzględnione w wynikach wykresów. Proszę odnieść się do załącznika artykułu, aby uzyskać pełną listę; te, które są wymienione w tabelach i figurach.

Pierwotnie opublikowane we wtorek, 1 kwietnia 2025