AI Woliłby Przeczytać Książkę Niż Obejrzeć Film

Okazuje się, że jest dość trudno nakłonić modele AI do obejrzenia i skomentowania rzeczywistego materiału wideo, nawet jeśli są one przeznaczone do tego zadania. Modele te są bardziej zainteresowane słowem pisanym.

Jeśli kiedykolwiek próbowali Państwo przesłać krótki klip wideo do ChatGPT lub podobnego popularnego modelu językowego, mogli Państwo być zaskoczeni, gdy okazało się, że modele te nie są w stanie rzeczywiście przetwarzać wideo. Chociaż modele takie jak ChatGPT-4o+ są w stanie analizować poszczególne klatki – w postaci obrazów, takich jak JPEG i PNG – wolą, aby użytkownik wyodrębnił własne klatki i przesłał je jako obrazy (które są przygotowane do komentowania).

W przypadku serii OpenAI GPT jeden może, dość pracochłonnie, wyodrębnić pełny zestaw klatek z klipu wideo i przesłać je do ChatGPT, w celu wygenerowania ścieżki narracyjnej utworzonej przez AI dla wideo:

Obrazy i kod z tutoriala OpenAI na temat parsowania wielu wyodrębnionych klatek w celu opracowania komentarza utworzonego przez AI do klipu wideo. Źródło

Ale to użytkownik musi dokonać konwersji z wideo na klatki, albo wywołując funkcje w większym rutynie, jak w powyższym przykładzie, albo wyodrębniając klatki za pomocą FFMPEG lub różnych bezpłatnych i płatnych rozwiązań do edycji wideo.

W pewnym stopniu, być może nawet w dużym stopniu, ograniczenia analizy wideo w produktach o wysokiej skali, takich jak ChatGPT, związane są z użyciem zasobów: po prostu wyposażenie jednej instancji AI w wybór najpopularniejszych kodeków wideo i poświęcenie zasobów obliczeniowych procesowi wyodrębniania jest niebagatelną kwestią, gdyby setki milionów użytkowników zdecydowało się zacząć korzystać z tych funkcji każdego dnia.

Ponadto analiza czasowa może malować zupełnie inny obraz niż pojedyncza klatka (wyobraź sobie, że ktoś wchodzi do domu w dobrym nastroju, a potem odkrywa zwłoki); dlatego też branie pod uwagę całego czasowego “skrótu” nawet krótkiego klipu wideo jest wymagającym i zasobożernym zadaniem – a także specjalistyczym obszarem literatury naukowej, na przykład w ramach rozwoju ram, takich jak Optical Flow – które podstawowo “rozwiń” odcinek wideo, aby mógł być traktowany i wykorzystywany jak statyczny dokument:

Diagramy przepływu optycznego pokazują, w jaki sposób ruch jest śledzony w klatkach wideo, z zielonymi strzałkami wskazującymi kierunek i intensywność ruchu. Te mapy zapewniają ciągłość czasową potrzebną do VLM i mogą również służyć jako przewodniki strukturalne w przepływach VFX. Źródło

Godząc się na Streszczenie

Niemniej, ponieważ modele takie jak Notebook LM od Google i nowsze wpisy ChatGPT są w stanie odczytać powiązane metadane (tj. zawartość tekstową, która umiejscawia wideo w jakiś sposób), nie zablokowują one przesyłania plików wideo; i czasami nawet podejmują próbę interpretacji wideo, które nie ma takich danych.

W następującym przypadku przesłałem 6-sekundowy losowy klip z włoskiego filmu Ręka Boga (2021) do NotebookLM, upewniając się, że klip zawiera zero użytecznych informacji, ani w metadanych, ani w nazwie pliku.

NotebookLM następnie przystąpił do szczegółowego “halucynowania” materiału całkowicie niezwiązanego z wideo*, wraz z nonsensownym i niezwiązanym pięciominutowym podcastem:

Zwykła chwila w 6-sekundowym klipie z włoskiego filmu jest dziko nieprawidłowo interpretowana przez NotebookLM. Źródło: Google NotebookLM

Chociaż Notebook, podobnie jak ChatGPT, zaakceptuje film z YouTube jako dane wejściowe, zrobi to tylko wtedy, gdy film zawiera interpretowalną warstwę tekstową i/lub napisy (nie napisy zapisane w wideo).

W ten sposób ciężka praca rzeczywistego oglądania i słuchania zawartości wideo oraz wykonywania semantycznej interpretacji (prawna konieczność dla YouTube, ze względu na jego środki ochrony praw autorskich, oraz jego system identyfikacji) została wykonana wcześniej, po przesłaniu przez użytkownika, i gdy tylko klip mógł być przydzielony niezbędnym zasobom przetwarzania.

Rzeczywista interpretacja wideo jest droga i wyczerpująca, i okazuje się, że nawet modele, które zostały specjalnie opracowane do wykonania tego zadania, wolą czytać tekst niż rzeczywiście oglądać wideo.

TL;DW

To, według nowego artykułu z brytyjskiego Uniwersytetu w Bristolu, zatytułowanego Wideo nie jest warte tysiąca słów, w którym dwóch autorów dochodzi do wniosku, że obecne modele językowe z wizją (VLM) – modele specjalnie opracowane do analizy wideo w bardziej starannym sposób, i do uczestniczenia w odpowiedziach na pytania wideo (VQA) – również domyślnie wybierają informacje oparte na tekście, kiedy tylko mogą.

Gdy podano im zarówno ruchome obrazy, jak i pytania i odpowiedzi wielokrotnego wyboru, autorzy artykułu stwierdzili, że modele zwykle opierały swoje wybory na wzorcach w tekście, a nie na tym, co działo się na ekranie – w wielu przypadkach wykonując równie dobrze, nawet gdy pytanie zostało całkowicie usunięte.

W tym, co wydaje się być rodzajem skrótu lub oszustwa, to, co najbardziej interesowało większość modeli, było możliwość dostrzeżenia wzorców w możliwych odpowiedziach; dopiero gdy zadanie zostało utrudnione przez dodanie więcej opcji odpowiedzi, AI zaczęły zwracać większą uwagę na wideo.

Autorzy przeprowadzili testy VQA w różnych warunkach na sześciu modelach VLM o różnej długości kontekstu, na czterech odpowiednich zestawach danych; i stwierdzili, że wyniki wskazują na zależność modeli od tekstu w stosunku do zawartości wideo.

Przykład z badania, pokazujący, jak model analizy wideo waży to, co widzi, w stosunku do tego, co czyta. Klip przedstawia osobę tkającą bambus, ale model przywiązuje większą wagę do napisanego pytania i tekstu odpowiedzi niż do samych klatek wideo. Niebieskie podświetlenia wskazują elementy, które wspierają wybraną odpowiedź, podczas gdy czerwone wskazują te, które ją negują, ilustrując, w jaki sposób rozumowanie modelu koncentruje się na sformułowaniu, a nie na poruszonych obrazach. Źródło

Metoda

Aby zrozumieć, jak wiele każdego wejścia przyczynia się do decyzji modelu, nowa praca wykorzystuje metodę z teorii gier zwaną wartościami Shapleya. Oryginalnie zaprojektowana do sprawiedliwego podziału wypłaty między graczami w koalicji, wartości Shapleya przypisują kredyt do każdego “gracza” na podstawie ich indywidualnego wpływu.

Skutecznie więc, graczami w tym scenariuszu są albo klatki wideo, albo składniki tekstowe (adnotacje, napisy, podpisy itp.) zadania VQA; a “wypłata” to ostateczna odpowiedź modelu. Przez systematyczne testowanie tego, co dzieje się, gdy każda część jest dodana lub usunięta, technika ujawnia, jak ważny był ten element w uzyskaniu wybranej odpowiedzi.

W przypadku nowego projektu wartości Shapleya zostały dostosowane do obsługi wielu typów danych, z komponentami wideo i tekstu traktowanymi oddzielnie, a ich różny wpływ na dane wyjściowe modelu mierzony, ujawniając, czy zawartość wideo była prawdziwie interpretowana, czy też pisane wskazówki były używane jako skróty.

Metryki

Zdefiniowano dwie proste metryki, aby porównać, jak wiele każda modalność (tj. wideo, pytanie lub odpowiedź) przyczynia się do decyzji modelu: Wkład modalności mierzy, jak wiele z całkowitej wyjaśnienia pochodzi z każdego typu danych; tutaj wszystkie dostępne wartości Shapleya są sumowane, a udział należący do każdej modalności obliczany jako procent całkowitego.

Po drugie, Wkład na cechę koryguje fakt, że niektóre modalności, takie jak wideo, zawierają znacznie więcej cech niż inne. Zamiast tego, średnia wartość Shapleya jest obliczana dla każdej cechy, a te średnie porównywane w celu określenia, która modalność ma dominujący wpływ.

Dane i testy

Autorzy przetestowali podejście na sześciu modelach VLM o różnych charakterystykach, zaprojektowanych tak, aby zapewnić, że zasady testów były powszechnie stosowane i ogólnie. Dlatego modele zostały wybrane pod kątem różnej długości kontekstu, różnego wieku (tj. jak długo minęło od czasu, gdy ramy zostały wydane), oraz różnych konfiguracji architektury.

Kandydaci byli FrozenBiLM; InternVideo; VideoLLaMA2; VideoLLaMA3; LLaVa-Video (który wykorzystuje Qwen2); oraz LongVA (również wykorzystujący Qwen2).

W celu osiągnięcia różnorodności, cztery docelowe zestawy danych zostały wybrane: EgoSchema, zestaw danych VQA zaprojektowany tak, aby nie można go było ukończyć bez pełnego obejrzenia powiązanych wideo; HD-EPIC, zestaw danych skupiony na kuchni, zawierający niezwykle długie wideo; MVBench, kuratoryjna kolekcja wkładów z innych zestawów danych; oraz LVBench, który stawia pytania VQA dla bardzo długich wideo.

Z nich autorzy opracowali 60 pytań – po 10 z każdego typu pytania.

Metryki wkładu ujawniły, że większość modeli polegała mniej na wideo niż na tekście, zwłaszcza gdy sądy były wydawane klatka po klatce. Nawet w przypadkach, gdy wideo miało uzasadniony udział w ogólnym wkładzie, jego wpływ na cechę był często minimalny, sugerując, że chociaż model mógł wykorzystywać wideo w agregacie, to zwracał niewielką uwagę na poszczególne klatki. VideoLLaMA3 był głównym odstępstwem od tej reguły, z silniejszą zależnością wizualną, zwłaszcza w dłuższych sekwencjach w LVBench:

Wyniki Wkładu modalności (MC) i Wkładu na cechę (PFC) w modelach i zestawach danych, pokazujące względną wagę wideo (V), pytania (Q) i odpowiedzi (A). Chłodniejsze kolory wskazują silniejsze wkłady; cieplejsze kolory wskazują słabsze lub nieistotne wpływy. W większości ustawień język jest wyraźnie dominujący, a wideo jest często pomijane – zwłaszcza pod względem wpływu na klatkę.

Jeśli chodzi o tekst, pytanie miało tendencję do znaczenia więcej niż odpowiedź, zwłaszcza w silniejszych modelach. Było to szczególnie widoczne w zestawach danych takich jak EgoSchema, gdzie pytania były dłuższe i bardziej naturalistyczne, podczas gdy odpowiedzi były krótkie i czasami schematyczne. MVBench odwrócił to nieco, ponieważ jego struktura odpowiedzi binarnych zwiększała pozornie znaczenie tokenów odpowiedzi.

Przez wszystkie modele i zestawy danych wizja była konsekwentnie pomijana, a język wykonywał większość ciężkiej pracy.

Artykuł stwierdza:

‘[Dla] modeli o długim kontekście wideo wykazuje znacznie zmniejszone wkłady, co oznacza, że wartości Shapleya na klatkę są znacznie mniejsze niż ich odpowiedniki w tekście.

‘Wideo jako cała modalność jest nadal wyraźnie istotne, ale to dowód na to, że wartości Shapleya poszczególnych klatek są bardziej skupione wokół zera, i że uwaga modelu do nich jest znacznie mniej ukierunkowana niż w przypadku tekstu.’

Aby przetestować, jak każda część danych wejściowych przyczynia się do dokładności modelu, badacze przeprowadzili dodatkowe testy za pomocą maskowania – celowego ukrywania jednej lub więcej części danych wejściowych i obserwowania, jak zmienia się dokładność modelu w wyniku tego.

Jeśli wydajność gwałtownie spada, gdy określone dane wejściowe są usunięte, wskazuje to, że dane te są ważne; jeśli model wykonuje się mniej więcej tak samo, sugeruje to, że brakująca część nie była silnie wykorzystywana. W tym sensie testy maskowania są rodzajem studium ablacjacji.

Wpływ maskowania wideo, pytania lub odpowiedzi wejściowych w czterech benchmarkach VQA. Wyniki pokazują zmianę w stosunku do niezmaskowanego wyniku bazowego. Czerwony kolor oznacza niższą dokładność, zielony – wyższą. Modele często utrzymywały wysokie wyniki bez wideo, ale straciły więcej, gdy (tekst) odpowiedź została usunięta. Pytanie można było zwykle maskować z minimalnym wpływem.

Wyniki (wizualizowane powyżej) wskazują, że odpowiedzi (tekstowe odpowiedzi w danych wielokrotnego wyboru) mają największą wagę ogólnie. Maskowanie odpowiedzi zwykle powodowało największy spadek dokładności, często redukując modele do przypadkowego wykonania.

Jednak maskowanie pytania zwykle miało znacznie mniejszy wpływ, co potwierdza wcześniejsze stwierdzenie, że modele często niedoceniają pytanie.

W niektórych przypadkach dokładność nawet poprawiła się gdy pytanie zostało usunięte, co sugeruje, że modele czasami po prostu dopasowywały odpowiedzi do wzorców tekstowych, a nie właściwie oceniały pytanie.

Modele również różniły się pod względem zależności od wideo: niektóre utrzymywały rozsądną dokładność bez niego, co potwierdza ograniczony wkład cech wideo w wielu obecnych konfiguracjach.

Następnie autorzy przetestowali, czy modele mogą być zmuszone do polegania na wideo, dodając dodatkowe błędne odpowiedzi do opcji wielokrotnego wyboru.

Gdy rozpraszacze były łatwe i pochodziły z innych pytań, wydajność poprawiła się, ponieważ modele dopasowywały wzorce tekstowe bez większego rozumu. Ale z dziesięcioma lub więcej niezwiązanymi odpowiedziami, zaczęły one polegać bardziej na wideo i pytaniu:

Wkład na cechę i dokładność dla wideo, pytania i odpowiedzi wejściowych, gdy dodaje się dodatkowe błędne odpowiedzi do każdego testu VQA, pokazując, że zwiększanie liczby rozpraszaczy redukuje dominację tekstu i zwiększa względną wagę cech wizualnych i pytania.

Dla VideoLLaMA3 maskowanie wideo zmniejszyło dokładność o 40% w EgoSchema i 15% w LVBench, co wskazuje, że proste zwiększenie liczby odpowiedzi może przesunąć modele z dala od skrótów tekstowych i w kierunku prawdziwego wielomodalnego rozumu.

Badacze również zbadali, jak atrybucja jest rozproszona w danych wejściowych, i poniżej widzimy mapy cieplne wartości Shapleya dla każdego wejścia modelu:

Mapy cieplne wartości Shapleya dla czterech zestawów danych, gdzie każdy wiersz przedstawia jeden VQA-tuple, a każda kolumna pojedynczą cechę. Cechy wideo pojawiają się po lewej stronie, po prawej – tekst. Bardzo silniejsze wartości w (czerwonych) regionach tekstowych potwierdzają, że modele polegają znacznie bardziej na języku niż na wideo.

Komentując wyniki powyżej, autorzy stwierdzają:

‘Wartości Shapleya są znacznie większe w prawej części każdej mapy cieplnej, reprezentującej atrybucje pytania i odpowiedzi. Ta wyraźna granica to miejsce, w którym kończą się klatki wideo i zaczynają się cechy tekstowe, pokazując, że wkład modalności wideo jest znacznie mniejszy niż pytanie/odpowiedź. ‘

Podsumowując, we wszystkich zestawach danych wartości są znacznie silniejsze w kierunku końca spektrum, silnie wskazując, że modele polegają znacznie bardziej na języku niż na wskazówkach wizualnych. Nawet w przypadkach, gdy wideo jest używane, wkład jest rozproszony cienko w wielu klatkach, często bez żadnego spójnego wzorca.

Poniżej widzimy przykład z EgoSchema. Wybrano 16 najbardziej “ważnych” klatek przy użyciu wartości Shapleya i pokolorowano je według ich wpływu, z niebieskim wskazującym pozytywny wkład i czerwonym wskazującym negatywny:

Atrybucje Shapleya dla jednego przykładu z EgoSchema, pokazujące 16 najbardziej wpływowych klatek i wszystkie dane wejściowe tekstowe. Wkłady wideo są minimalne w porównaniu z tekstem, który dominuje w rozumowaniu modelu. Niebieski i czerwony kolor wskazują pozytywny i negatywny wpływ na wybraną odpowiedź.

Wynik jest taki, że prawie każda klatka ma tylko słaby wpływ w porównaniu z słowami w pytaniu i odpowiedziach. Wskazówki wizualne są rzadkie i niespójne, podczas gdy rzeczowniki, takie jak “krzesło” i “ogrodzenie”, kierują modelem w kierunku prawidłowego wyboru – lub od niego, w zależności od kontekstu.

Wnioski

Ktoś, kto kiedykolwiek próbował edycji wideo lub analizy wideo, już wie, jak zasobożerne są te procesy, i rozumie, dlaczego firmy przetwarzające miliony AI-bazowych żądań dziennie nie mogą pozwolić sobie na to, aby użytkownicy swobodnie wykonywali ad hoc edycję i interpretację wideo.

Jedną rzeczą, której należy przypomnieć w tym kontekście, jest to, że prawie każde API AI, z którym kiedykolwiek się zetkną (z wyjątkiem perhaps brand-new i krótkotrwałego demo w ramach nowych badań naukowych), stara się spełnić życzenia użytkownika na minimalnym poziomie wydatków zasobów.

To oznacza poleganie na istniejących metadanych z danych dostarczonych przez użytkownika lub odzyskiwania RAG, jeśli to możliwe; oraz wyodrębnianie (jeśli absolutnie konieczne) metadanych dla bardziej parsowalnych formatów, takich jak PDF, dokumenty i pojedyncze obrazy.

To, czego nie ma na stole, to uruchamianie przesłanego wideo przez CLIP lub najnowszy YOLO release, lub przez jakikolwiek zasobożerny i czasochłonny VLM, który może rzeczywiście zidentyfikować, co jest w klatkach, i zrozumieć, co dzieje się w przesłanym wideo, uwzględniając czasowość.

Jednak nie oznacza to, że zjawiska, które dokumentuje obecny artykuł, wynikają koniecznie z oszczędnych podejść architektonicznych. Autorzy zauważają, że tekst dominuje w najlepszych paradygmatach szkolenia multimodalnego, co wskazuje, że “język wizualny” jest mniej rozwinięty, mniej ważny lub mniej dobrze zrozumiany w kontekście multimodalnym, lub (przynajmniej na razie) mniej dobrze pojęty,

* Co ciekawe, materiał, który NotebookLM wygenerował, wydaje się być albo całkowicie oryginalny, albo całkowicie niezindeksowany przez Google, ponieważ nie jestem w stanie znaleźć żadnych wyników, które mogłyby przeniknąć do danych szkoleniowych i spowodować ten wynik.

Pierwotnie opublikowane w piątek, 31 października 2025; edytowane 14:20 dla formatowania