I když i nejmodernější jazykové modely mají problémy s porozuměním temporální logice

Předpověď budoucích stavů je kritickou misí ve výzkumu počítačového vidění – zejména v robotice, kde je třeba brát v úvahu reálné situace. Systémy strojového učení, kterým jsou svěřeny úkoly kritické pro misi, proto potřebují dostatečné porozumění fyzického světa.

Jednak v některých případech může zdánlivě působivá znalost temporální reality být klamná: nová studie z Spojených arabských emirátů zjistila, že i nejmodernější multimodální velké jazykové modely (MLLMs), včetně lídrů GPT-4o a Google Gemini, selhávají, když jde o interpretaci, jak je čas reprezentován v obrazech.

Příklad sekvenčních párů (viz obrázek níže), které by pro lidi nebyly náročné ani když by byly v nesprávném pořadí, mohou zmást pokročilé MLLMs, když jsou prezentovány v neočekávaných kontextech nebo konfiguracích (jako například druhý obrázek jako první, spojené do jednoho obrázku, sekvenční multiple obrázky, které mohou nebo nemusí reprezentovat správné temporální pořadí a tak dále).

Ukázky z jednoho z datových sad sestavených pro novou studii, které ukazují sekvenční události ve formě ‘před a po’ obrazech. Výzkumníci zpřístupnili tato data na adrese https://huggingface.co/datasets/fazliimam/temporal-vqa/viewer

Výzkumníci zadali modelům základní temporální úkoly, jako je určení pořadí událostí nebo odhad časových mezer, a zjistili, že sedm testovaných MLLMs dosáhlo zřetelně nižší přesnosti než lidé:

‘Celkově výsledky ukazují, že všechny současné MLLMs, včetně GPT-4o – nejmodernějšího modelu v naší evaluaci – mají problémy s navrhovaným benchmarkem. Navzdory GPT-4o superioritnímu výkonu v porovnání s ostatními modely, selhává při konzistentním prokázání přesného temporálního uvažování napříč různými nastaveními.

‘Konzistentní přesnost skóre je zřetelně nízká pro všechny modely, což indikuje významná omezení jejich schopnosti pochopit a interpretovat temporální sekvence z vizuálních vstupů. Tyto nedostatky jsou zřejmé i tehdy, když jsou modely vybaveny multi-obrázkovými vstupy nebo optimalizovanými podněty, což naznačuje, že současné architektury a trénovací metody jsou nedostatečné pro robustní temporální pořádkové porozumění.’

Systémy strojového učení jsou navrženy tak, aby optimalizovaly nejpreciznější, ale také nejefektivnější a lidem vyhovující výsledky*. Protože explicitně nezjevují své uvažování, může být obtížné určit, kdy podvádějí nebo používají ‘zkratky’.

V takovém případě může MLLM dospět k správné odpovědi špatnou metodou. Skutečnost, že taková odpověď může být správná, může vzbudit falešnou důvěru v model, který by mohl produkovat nesprávné výsledky stejnou metodou v pozdějších úkolech.

Horší je, že tato dezinformace se může stát ještě hlubší, pokud lidé jsou ohromeni jí a poskytují pozitivní zpětnou vazbu v testech a anotačních seancích, které mohou přispět k směru, kterým se data a/nebo model mohou vyvíjet.

V tomto případě se navrhuje, že MLLMs ‘předstírají’ skutečné porozumění chronologii a temporálním jevům, pozorováním a ukotvením sekundárních indikátorů (jako jsou časové razítko, například, ve videodatech, pořadí obrázků v rozložení nebo dokonce – potenciálně – sekvenčně číslovaná názvy souborů).

To dále naznačuje, že MLLMs目前 selhávají při splnění skutečné definice zobecnění konceptu temporálních jevů – alespoň do té míry, do které lidé mohou.

Nová studie se jmenuje Mohou multimodální MLLMs dělat vizuální temporální porozumění a uvažování? Odpověď je Ne! a pochází od tří výzkumníků z Mohamed bin Zayed University of Artificial Intelligence a Alibaba International Digital Commerce.

Data a testy

Autorům předchozích benchmarků a studií, jako je MMMU a TemporalBench, se soustředí na single-obrázkové vstupy nebo formuluje otázky pro MLLMs, které mohou být příliš snadné na odpověď, a nemusí odhalit tendenci k zkratkovému chování.

Proto autoři nabízejí dvě aktualizované přístupy: Temporální pořádkové porozumění (TOU) a Časový odhad (TLE). TOU přístup testuje modely na jejich schopnost určit správnou sekvenci událostí z párů video-ramek; TLE metoda vyhodnocuje schopnost MLLM odhadnout časový rozdíl mezi dvěma obrázky, sahající od sekund až po roky.

Z studie, dvě hlavní úkoly TemporalVQA benchmarku: v Temporálním pořádkovém porozumění model rozhoduje, který z dvou obrázků ukazuje událost, která se stala první; v Časovém odhadu model odhaduje, kolik času uplynulo mezi dvěma obrázky, vybírající z možností včetně sekund, minut, dní nebo let. Tyto úkoly mají za cíl testovat, jak dobře MLLMs mohou uvažovat o časování a sekvenci vizuálních událostí. Zdroj: https://arxiv.org/pdf/2501.10674

Výzkumníci vybrali 360 obrázkových párů pro TOU benchmark, používající otevřené zdrojové videosekvence z Pixabay a Pexels, aby bylo možné učinit datovou sadu dostupnou prostřednictvím GUI.

Videosekvence pokrývaly širokou škálu témat, od lidí v každodenních aktivitách až po ne-lidský obsah, jako jsou zvířata a rostliny. Z nich byly vybrány páry rámců, aby ukázaly sekvenci událostí s dostatečnou variací, aby bylo možné určit začátek.

Lidský výběr byl použit k zajištění toho, aby rámy mohly být definitivně uspořádány. Například jeden z vybraných párů ukazuje částečně naplněný šálek v jednom rámu a stejný šálek plný čaje v dalším, což činí logiku sekvence snadno identifikovatelnou.

Temporální logika těchto dvou obrázků nemůže být vyhnuta, protože čaj nemůže být nasávaný zpět do trysek.

Tímto způsobem bylo získáno 360 obrázkových párů.

Pro TLE přístup byly vybrány autorskými právy volné obrázky z Google a Flickr, stejně jako vybrané rámy z autorskými právy volných videí na YouTube. Předmět videí zahrnoval scény nebo objekty, jejichž změna intervalu sahala od sekund až po dny až po roční období – například zrající ovoce nebo změna ročních období v krajinách.

Takto bylo vybráno 125 obrázkových párů pro TLE metodu.

Ne všechny testované MLLMs byly schopny zpracovat více obrázků; proto se testy lišily, aby se přizpůsobily každé modelové schopnosti.

Byly vygenerovány multiple verze vybraných datových sad, v nichž některé páry byly spojeny vertikálně a ostatní horizontálně. Další variace vyměnily skutečnou a správnou temporální sekvenci párů.

Dva typy podnětů byly vyvinuty. První následoval tento šablonu:

Stalo se událost v (levém / horním / prvním) obrázku před událostí v (pravém / spodním / druhém) obrázku? Řekněte pravdu nebo lež s odůvodněním.

Druhý následoval tento schema:

Který z těchto dvou obrázků ukazuje událost, která se stala první? Řekněte (levý nebo pravý / horní nebo spodní / první nebo druhý) s odůvodněním.

Pro TLE byly otázky multiple-choice, které žádaly modely, aby vyhodnotily časový odstup mezi dvěma prezentovanými obrázky, s sekundami, hodinami, minutami, dnem, měsíci a roky dostupnými jako časové jednotky. V této konfiguraci byl nejnovější obrázek prezentován na pravé straně.

Použitý podnět byl:

Odhadněte čas, který uplynul mezi prvním obrázkem (levým) a druhým obrázkem (pravým).

Vyberte jednu z následujících možností:

1. 1. Méně než 15 sekund
B. Mezi 2 minutami a 15 minutami
C. Mezi 1 hodinou a 12 hodinami
D. Mezi 2 dny a 30 dny
E. Mezi 4 měsíci a 12 měsíci
F. Více než 3 roky

Testované MLLMs byly ChatGPT-4o; Gemini1.5-Pro; LlaVa-NeXT; InternVL; Qwen-VL; Llama-3-vision; a LLaVA-CoT.

Temporální pořádkové porozumění: výsledky

Výsledky Temporálního pořádkového porozumění napříč různými modely a vstupními rozloženími, ukazující přesnost a konzistenci pro různé nastavení a podněty.

Co se týče výsledků uvedených výše, autoři zjistili, že všechny testované MLLMs, včetně GPT-4o (který ukázal nejlepší celkový výkon), měly značné problémy s TemporalVQA benchmarkem – a dokonce i GPT-4o selhal při konzistentním prokázání spolehlivého temporálního uvažování napříč různými konfiguracemi.

Autoři tvrdí, že konzistentně nízká přesnost napříč LLMs zdůrazňuje významná omezení modelů při interpretaci a uvažování o temporálních sekvencích z vizuálních dat. Výzkumníci poznamenávají, že tyto výzvy přetrvávají i při použití multi-obrázkových vstupů a optimalizovaných podnětů, což naznačuje fundamentální omezení současných modelových architektur a trénovacích metod.

Testy ukázaly významné variace ve výkonu napříč podněty. Zatímco GPT-4o zlepšil výkon s optimalizovanými podněty (dosáhl 4% v single-obrázkovém a 65,3% v multi-obrázkovém nastavení), výkon zůstal pod přijatelnou úrovní.

Modely, jako je LLaVA-NeXT a Qwen-VL, byly ještě více citlivé, s výkonem, který klesal, když se používaly alternativní podněty, což naznačuje, že podnětová inženýrství samo o sobě nemůže překonat fundamentální omezení MLLMs v temporálním uvažování.

Testy také ukázaly, že rozložení obrázků (tj. vertikální vs. horizontální) mělo významný dopad na výkon modelu. GPT-4o zlepšil konzistenci s vertikálními uspořádáními, stoupl z 39,2% na 52,8%; nicméně, jiné modely, včetně LLaVA strain, ukázaly silné směrové偏见, vynikající v jedné orientaci, ale selhávající v druhé.

Paper naznačuje, že tyto nekonzistence naznačují závislost na prostorových podnětech, spíše než na skutečném temporálním uvažování, s MLLMs, které skutečně neanalyzují sekvenci událostí nebo rozumí průběhu času. Místo toho se zdá, že spoléhají na vzory nebo vizuální funkce související s rozložením obrázků, jako je jejich pozice nebo zarovnání, aby učinit rozhodnutí.

Kvalitativní testy zdůrazňují předpovědi GPT-4o, když je konfrontován s různými vstupními řády. V prvním řádu jsou obrázkové páry prezentovány ve svém původním pořadí, zatímco ve druhém řádu je pořadí obráceno. Správné klasifikace jsou označeny zeleně, čisté chyby jsou označeny červeně, halucinované uvažování je označeno oranžově a nelogické nebo ‘neplatné’ uvažování je označeno hnědě, ukazující nekonzistence modelu napříč různými vstupními konfiguracemi.

Srovnávací testy mezi single-obrázkovými a multi-obrázkovými vstupy prokázaly omezenou celkovou zlepšení, s GPT-4o, který vykázal mírně lepší výkon na multi-obrázkovém vstupu, stoupl z 31,0% na 43,6% (s P1) a 46,0% na 65,3% (s P2).

Jiné modely, jako je InternVL, prokázaly stabilní, ale nízkou přesnost, zatímco Qwen-VL zaznamenal malé zisky. Autoři заключují, že tyto výsledky naznačují, že další vizuální kontext nezlepšuje podstatně temporální uvažování, protože modely mají problémy s integrací temporálních informací efektivně.

Lidská studie

V lidské studii byly provedeny tři průzkumy, aby se vyhodnotila, jak blízko se nejlepším multimodálním MLLM přiblížil lidskému odhadu.

Lidé dosáhli 90,3% přesnosti, překonávají GPT-4o o 25%. Datová sada se ukázala jako spolehlivá, s minimálními lidskými chybami a konzistentním souhlasem s správnými odpověďmi.

Výsledky z lidské uživatelské studie pro první kolo testů.

Časový odhad: výsledky

Výsledky pro TLE: časový odhad vyhodnocuje modelovou přesnost při identifikaci intervalů mezi obrázkovými páry, napříč škálami od sekund až po roky. Úkol vyhodnocuje schopnost každého modelu vybrat správnou časovou škálu pro temporální mezeru.

V těchto testech MLLMs dosáhly pouze uspokojivého výkonu v časovém odhadu: GPT-4o dosáhl 70% přesnosti, ale ostatní modely vykázaly podstatně horší výkon (viz tabulka výše), a výkon se také lišil podstatně napříč různými časovými škálami.

Autoři komentují:

‘Úkol časového odhadu testuje schopnost MLLMs inferovat temporální intervaly mezi obrázkovými páry. [Všechny] MLLMs, včetně top-performujících modelů, jako je GPT-4o a Gemini1.5-Pro, mají problémy s touto úlohou, dosahují pouze středních úrovní přesnosti 60-70%. GPT-4o prokázal nekonzistentní výkon, s dobrým výkonem v sekundách a rocích, ale podprůměrným výkonem v hodinách.

‘Podobně LLaVA-CoT prokázal výjimečný výkon v časových intervalech sekund a dnů, zatímco prokázal zřetelně špatný výkon v ostatních časových intervalech.’

Lidská studie

V lidské studii pro TLE průměrný lidský výkon překonal GPT-4o (nejlepší model v této kategorii) o 12,3%.

Autoři poznamenávají, že některé výzvy byly zvláště náročné, a že v jednom případě všichni lidské účastníci vrátili špatnou odpověď, stejně jako všichni AI účastníci.

Autoři uzavřují, že GPT-4o prokázal ‘rozumně robustní uvažovací schopnosti, navzdory pořadí obrázků prezentovaných jemu.

Závěr

Pokud MLLMs nakonec shromáždí a vstřebají dostatek ‘zkratkových’ dat, aby pokryly i ty nejsložitější výzvy, zda mohou být považovány za vývoj lidského stylu generalizace v tomto doméně, se může stát irelevantní.

Ani není známo, jak přesně získáváme své vlastní schopnosti v temporálním uvažování – zda podobně ‘podvádíme’, dokud nás obrovské množství naučených zkušeností nevede k tomu, aby se objevila nějaká forma ‘instinktu’ v tomto typu testu?

* Z pohledu, že modely jsou stále více optimalizovány s funkcemi ztrát, ke kterým přispěla lidská zpětná vazba, a efektivně optimalizovány lidskými testy a následnou triáží.

Poprvé zveřejněno v pondělí, 27. ledna 2025