Nawet najnowocześniejsze modele językowe mają trudności z zrozumieniem logiki czasowej

Przewidywanie przyszłych stanów jest kluczowym zadaniem w badaniach nad widzeniem komputerowym – nie tylko w robotyce, gdzie muszą być brane pod uwagę sytuacje z rzeczywistego świata. Systemy machine learning, którym powierzono zadania krytyczne dla misji, muszą mieć odpowiednie zrozumienie świata fizycznego.

Jednak w niektórych przypadkach, pozornie imponująca wiedza o rzeczywistości czasowej może być myląca: nowy artykuł z Zjednoczonych Emiratów Arabskich wykazał, że najnowocześniejsze wielomodalne modele językowe (MLLM), w tym liderzy branży GPT-4o i Google Gemini, nie radzą sobie z interpretacją, w jaki sposób czas jest reprezentowany w obrazach.

Przykładowe sekwencje par (zobacz poniższy obraz), które byłyby niezwykle łatwe dla ludzi, nawet gdyby zostały umieszczone w niewłaściwej kolejności, mogą być trudne dla zaawansowanych MLLM, gdy są przedstawiane w nieoczekiwanych kontekstach lub konfiguracjach (takich jak drugi obraz jako pierwszy, połączone w jeden obraz, sekwencje wielu obrazów, które mogą lub nie mogą reprezentować prawidłowej kolejności czasowej itp.).

Przykłady z jednego z zestawów danych skompilowanych dla nowego badania, które pokazują sekwencje zdarzeń w postaci “przed i po” obrazów. Badacze udostępnili te dane pod adresem https://huggingface.co/datasets/fazliimam/temporal-vqa/viewer

Badacze poprosili modele o podjęcie podstawowych wyzwań związanych z rozumowaniem czasowym, takich jak określenie kolejności zdarzeń lub oszacowanie luk czasowych, i stwierdzili, że siedem przetestowanych MLLM osiągnęło znacznie niższą dokładność niż ludzie:

„Ogólnie, wyniki ujawniają, że wszystkie obecne MLLM, w tym GPT-4o – najbardziej zaawansowany model w naszej ocenie – mają trudności z proponowanym benchmarkiem. Pomimo wyższej wydajności GPT-4o w porównaniu z innymi modelami, nie potrafi on konsekwentnie wykazać dokładnego rozumowania czasowego w różnych ustawieniach.

„Stałe wyniki dokładności są znacznie niskie dla wszystkich modeli, co wskazuje na znaczne ograniczenia w ich zdolności do zrozumienia i interpretacji sekwencji czasowych z wejść wizualnych. Te niedociągnięcia są widoczne nawet wtedy, gdy modele są dostarczane z wieloobrazowymi wejściami lub zoptymalizowanymi podpowiedziami, co sugeruje, że obecne architektury i metody szkolenia są niewystarczające dla solidnego zrozumienia kolejności czasowej.”

Systemy machine learning są zaprojektowane tak, aby optymalizować najdokładniejsze, ale także najbardziej wydajne i przyjazne dla ludzi wyniki*. Ponieważ nie ujawniają swojego rozumowania w sposób jawny, może być trudno powiedzieć, kiedy oszukują lub używają „skrótów”.

W takim przypadku MLLM może dojść do poprawnej odpowiedzi przez niewłaściwą metodę. Fakt, że taka odpowiedź może być poprawna, może wywołać fałszywą ufność w modelu, który może wyprodukować niepoprawne wyniki tą samą metodą w późniejszych zadaniach przedstawionych mu.

Gorzej jeszcze, taki błąd może stać się jeszcze bardziej zakorzeniony w łańcuchu rozwoju, jeśli ludzie są imponowani tym i dają pozytywną informację zwrotną w próbach i sesjach adnotacji, które mogą przyczynić się do kierunku, w którym dane i/lub model mogą się rozwijać.

W tym przypadku sugeruje się, że MLLM są „fałszywe” w prawdziwym zrozumieniu chronologii i zjawisk czasowych, obserwując i kotwicząc w wtórnych wskaźnikach (takich jak znaczniki czasu, na przykład, w danych wideo, kolejność obrazów w układzie, lub nawet – potencjalnie – sekwencyjnie ponumerowane nazwy plików).

To dalej wskazuje, że MLLM obecnie nie spełniają żadnej prawdziwej definicji posiadania uogólnionego pojęcia zjawisk czasowych – przynajmniej w takim stopniu, w jakim ludzie mogą.

Nowy artykuł nosi tytuł Czy wielomodalne MLLM mogą wykonywać wizualne zrozumienie i rozumowanie czasowe? Odpowiedź brzmi: Nie!, i pochodzi od trzech badaczy z Mohamed bin Zayed University of Artificial Intelligence i Alibaba International Digital Commerce.

Dane i testy

Badacze zauważają, że poprzednie benchmarki i badania, takie jak MMMU i TemporalBench, koncentrują się na wejściach jednego obrazu lub formułują pytania dla MLLM, które mogą być zbyt łatwe do odpowiedzi, i mogą nie ujawniać tendencji do zachowania skrótu.

Dlatego autorzy proponują dwie zaktualizowane podejścia: Zrozumienie kolejności czasowej (TOU) i Estymacja czasowa (TLE). Podejście TOU testuje modele na ich zdolność do określenia prawidłowej sekwencji zdarzeń z par ram filmowych; metoda TLE ocenia zdolność MLLM do oszacowania różnicy czasowej między dwoma obrazami, od sekund do lat.

Z artykułu, dwa główne zadania benchmarku TemporalVQA: w zrozumieniu kolejności czasowej, model decyduje, który z dwóch obrazów pokazuje zdarzenie, które wystąpiło pierwsze; w estymacji czasowej, model szacuje, ile czasu upłynęło między dwoma obrazami, wybierając spośród opcji, w tym sekund, minut, dni lub lat. Te zadania mają na celu przetestowanie, jak dobrze MLLM mogą rozumować o czasie i sekwencji zdarzeń wizualnych. Źródło: https://arxiv.org/pdf/2501.10674

Badacze skompilowali 360 par obrazów dla benchmarku TOU, używając otwartych źródeł wideo z Pixabay i Pexels, aby umożliwić udostępnienie zestawu danych przez GUI.

Wideo obejmowało szereg tematów, od ludzi w codziennych czynnościach po treści nie-ludzkie, takie jak zwierzęta i rośliny. Z nich wybrano pary klatek, aby przedstawić sekwencję zdarzeń z wystarczającą zmiennością, aby uczynić ramę początkową „oczywistą”.

Logika czasowa tych dwóch obrazów nie może być uniknięta, ponieważ herbata nie może być ssana z powrotem przez dyszę.

W ten sposób uzyskano 360 par obrazów.

Dla podejścia TLE wybrano obrazy bez praw autorskich z Google i Flickr, a także wybrane ramki z bezpłatnych wideo na YouTube. Przedmiotem tych wideo były sceny lub obiekty, których zmiana interwału wynosiła od sekund do dni do sezonów – na przykład, dojrzewające owoce lub zmiana pór roku w krajobrazach.

W ten sposób skompilowano 125 par obrazów dla metody TLE.

Nie wszystkie MLLM testowane były w stanie przetworzyć wiele obrazów; dlatego testy różniły się, aby dostosować się do możliwości każdego modelu.

Wygenerowano wiele wersji skompilowanych zestawów danych, w których niektóre pary były łączone pionowo, a inne poziomo. Dalsze wariacje zamieniły prawdziwą i poprawną sekwencję czasową par.

Dwa typy podpowiedzi zostały opracowane. Pierwszy podążał za tym szablonem:

Czy zdarzenie na (lewy / górny / pierwszy) obrazie wystąpiło przed zdarzeniem na (prawy / dolny / drugi) obrazie? Stwierdź prawdę lub fałsz z powodami.

Drugi podążał za tym schematem:

Which one of these two images depicts the event that happened first? State (left or right / top or bottom / first or second) with reasoning.

Dla TLE pytania były wielokrotnego wyboru, prosząc modele o ocenę czasu, jaki upłynął między dwoma przedstawionymi obrazami, z sekundami, godzinami, minutami, dniami, miesiącami i latami dostępnymi jako jednostki czasu. W tej konfiguracji najnowszy obraz był przedstawiony po prawej.

Podpowiedź użyta tutaj brzmiała:

Estymuj czas, jaki upłynął między pierwszym obrazem (lewy) a drugim obrazem (prawy).

Wybierz jedną z następujących opcji:

1. 1. Mniej niż 15 sekund
B. Między 2 minutami a 15 minutami
C. Między 1 godziną a 12 godzinami
D. Między 2 dniami a 30 dniami
E. Między 4 miesiącami a 12 miesiącami
F. Więcej niż 3 lata

Testowane MLLM to ChatGPT-4o; Gemini1.5-Pro; LlaVa-NeXT; InternVL; Qwen-VL; Llama-3-vision; i LLaVA-CoT.

Wyniki zrozumienia kolejności czasowej

Wyniki zrozumienia kolejności czasowej w różnych modelach i układach wejściowych, pokazując dokładność i spójność dla różnych ustawień i podpowiedzi.

Co się tyczy wyników przedstawionych powyżej, autorzy stwierdzili, że wszystkie przetestowane MLLM, w tym GPT-4o (który wykazał najlepszą ogólną wydajność), miały znaczne trudności z benchmarkiem TemporalVQA – i nawet GPT-4o nie potrafił konsekwentnie wykazać niezawodnego rozumowania czasowego w różnych konfiguracjach.

Autorzy twierdzą, że stałe niskie wyniki dokładności wśród LLM wskazują na znaczne ograniczenia w zdolności modeli do interpretacji i rozumienia sekwencji czasowych z danych wizualnych. Badacze zauważają, że te wyzwania utrzymują się nawet przy użyciu wieloobrazowych wejść i zoptymalizowanych podpowiedzi, co wskazuje na fundamentalne ograniczenia w obecnych architekturach modeli i metodach szkolenia.

Testy wykazały znaczne wahania w wydajności w zależności od strategii podpowiedzi. Podczas gdy GPT-4o poprawił się z zoptymalizowanymi podpowiedziami (osiągając 4% w ustawieniach jednego obrazu i 65,3% w ustawieniach wielu obrazów), wydajność pozostała poniżej akceptowalnych poziomów.

Modele takie jak LLaVA-NeXT i Qwen-VL były jeszcze bardziej wrażliwe, z wydajnością spadającą, gdy używano alternatywnych podpowiedzi, co sugeruje, że sama inżynieria podpowiedzi nie może pokonać fundamentalnych ograniczeń MLLM w odniesieniu do rozumowania czasowego.

Testy również wskazały, że układ obrazu (tj. pionowy vs. poziomy) znacznie wpłynął na wydajność modelu. GPT-4o poprawił swoją spójność z układami pionowymi, wzrastając z 39,2% do 52,8%; jednak inne modele, w tym LLaVA, wykazały silne uprzedzenia kierunkowe, wyróżniając się w jednym układzie, ale nie w innym.

Papiery wskazują, że te niekonsekwencje sugerują zależność od wskazówek przestrzennych, a nie prawdziwego rozumowania czasowego, z MLLM, które nie naprawdę analizują sekwencji zdarzeń ani nie rozumieją postępu w czasie. Zamiast tego wydają się polegać na wzorcach lub cechach wizualnych związanych z układem obrazów, takich jak ich położenie lub wyrównanie, aby podejmować decyzje.

Testy jakościowe podkreślają przewidywania GPT-4o, gdy jest konfrontowany z różnymi kolejnościami wejściowymi. W pierwszej kolejności pary obrazów są przedstawiane w ich oryginalnej sekwencji, podczas gdy w drugiej kolejności sekwencja jest odwrócona. Poprawne klasyfikacje są oznaczone na zielono, czyste błędne klasyfikacje na czerwono, wyobrażone powody na pomarańczowo, a niespójne lub „nieprawidłowe” powody na brązowo, ujawniając niekonsekwencje modelu w różnych konfiguracjach wejściowych.

Porównawcze testy między wejściami jednego a wielu obrazów wykazały ograniczone ogólne poprawienie, z GPT-4o, który wykonał nieco lepiej na wejściu wielu obrazów, wzrastając z 31,0% do 43,6% (z P1) i 46,0% do 65,3% (z P2).

Inne modele, takie jak InternVL, wykazały stabilną, ale niską dokładność, podczas gdy Qwen-VL odnotował niewielkie zyski. Autorzy wnioskują, że te wyniki wskazują, że dodatkowy kontekst wizualny nie znacznie poprawia zdolności rozumowania czasowego, ponieważ modele mają trudności z integracją informacji czasowych w sposób skuteczny.

Badanie ludzkie

W badaniu ludzkim przeprowadzono trzy ankiety, aby ocenić, jak ściśle najlepszy wielomodalny MLLM wykonał się w porównaniu z ludzkimi oszacowaniami.

Ludzie osiągnęli 90,3% dokładności, przewyższając 65,3% GPT-4o o 25%. Zestaw danych okazał się niezawodny, z minimalnymi błędami ludzkimi i spójnym porozumieniem co do poprawnych odpowiedzi.

Wyniki z badania ludzkiego dla pierwszej rundy testów.

Wyniki estymacji czasowej

Wyniki dla TLE: estymacja czasowa ocenia dokładność modelu w identyfikowaniu przedziałów czasowych między parami obrazów, w skalach od sekund do lat. Zadanie ocenia zdolność modelu do wyboru prawidłowej skali czasowej dla luki czasowej.

W tych testach MLLM wykonały się tylko wystarczająco na estymacji czasowej: GPT-4o osiągnął 70% dokładności, ale inne modele wykonały się znacznie gorzej (patrz tabela powyżej), a wydajność również znacznie różniła się w różnych skalach czasowych.

Autorzy komentują:

„Zadanie estymacji czasowej testuje zdolność MLLM do wnioskowania o przedziałach czasowych między parami obrazów. [Wszystkie] MLLM, w tym najlepsi wykonawcy, tacy jak GPT-4o i Gemini1.5-Pro, mają trudności z tym zadaniem, osiągając tylko umiarkowane poziomy dokładności, od 60% do 70%. GPT-4o wykazuje niespójną wydajność, z silną wydajnością w Sekundach i Latach, ale słabą w Godzinach.

„Podobnie, LLaVA-CoT wykazuje wyjątkową wydajność w czasach Sekund i Dni, ale wykazuje zauważalnie słabą wydajność w innych przedziałach czasowych.”

Badanie ludzkie

W badaniu ludzkim dotyczącym TLE średnia wydajność ludzka poprawiła się w porównaniu z GPT-4o (najlepszym modelem również w tej kategorii) o 12,3%.

Autorzy zauważają, że niektóre z wyzwań były szczególnie wymagające, i że w jednym przypadku wszyscy uczestnicy ludzcy zwrócili błędną odpowiedź, wraz z wszystkimi uczestnikami AI.

Autorzy kończą, że GPT-4o wykazuje „rozważne zdolności rozumnienia, niezależnie od kolejności obrazów przedstawionych mu.

Podsumowanie

Jeśli MLLM ostatecznie zgromadzą i wchłoną wystarczającą ilość „skrótów”, aby pokryć nawet najtrudniejsze wyzwania przedstawione przez autorów w tym badaniu, czy mogą być uważane za rozwinięcie zdolności generalizacji w stylu ludzkim w tym obszarze, może stać się kwestią sporną.

Nie jest również znane, jaką drogą uzyskujemy własne zdolności rozumnienia czasowego – czy również „oszukujemy”, aż ogromna ilość doświadczeń nauczy nas rozpoznawać wzorce, które działają jak „instynkt” w odniesieniu do tego rodzaju testu?

* Od punktu widzenia, że modele są coraz bardziej optymalizowane z funkcjami strat, do których przyczyniła się ludzka informacja zwrotna, i skutecznie zoptymalizowane przez ludzkie próby i następujące triage.

Pierwotnie opublikowane w poniedziałek, 27 stycznia 2025