Även de mest avancerade språkmodellerna har svårt att förstå temporalliknande logik

Att förutsäga framtida tillstånd är en kritisk uppgift inom datavetenskapsforskning – inte minst inom robotik, där man måste ta hänsyn till verkliga situationer. Maskinlärningssystem som har fått i uppdrag att utföra uppdrag som är kritiska för uppdraget behöver därför tillräcklig förståelse för den fysiska världen.

Men i vissa fall kan en tydligen imponerande kunskap om temporalliknande verklighet vara bedräglig: en ny rapport från Förenade Arabemiraten har funnit att de mest avancerade multimodala stora språkmodellerna (MLLMs), inklusive branschledande GPT-4o och Google Gemini, brister när det gäller att tolka hur tiden representeras i bilder.

Exempel på sekventiella par (se bild nedan), som skulle vara enkla för människor även när de placeras i fel ordning, kan förvirra avancerade MLLMs när de presenteras i oväntade sammanhang eller konfigurationer (såsom andra-bilden-först, sammanfogade till enstaka bilder, sekventiella flera bilder som kan eller inte kan representera den korrekta temporala ordningen, och så vidare).

Exempel från en av de datasamlingar som har samlats in för den nya studien, som visar sekventiella händelser i form av ‘före och efter’-bilder. Forskarna har gjort denna data tillgänglig på https://huggingface.co/datasets/fazliimam/temporal-vqa/viewer

Forskarna gav modellerna grundläggande temporala resonemangsutmaningar, såsom att bestämma händelseordning eller uppskatta tidsluckor, och fann att de sju MLLMs som testades presterade avsevärt under mänsklig noggrannhet:

‘Sammanfattningsvis visar [resultaten] att alla nuvarande MLLMs, inklusive GPT-4o – den mest avancerade modellen i vår utvärdering – kämpar med den föreslagna benchmarken. Trots GPT-4os överlägsna prestanda i förhållande till andra modeller, misslyckas den med att konsekvent demonstrera korrekt temporalt resonemang över olika inställningar.

‘De konsekventa noggrannhetspoängen är avsevärt låga för alla modeller, vilket indikerar betydande begränsningar i deras förmåga att förstå och tolka temporala sekvenser från visuella indata. Dessa brister är uppenbara även när modellerna tillhandahålls med multi-bildindata eller optimerade prompter, vilket tyder på att nuvarande arkitekturer och utbildningsmetoder är otillräckliga för robust temporalt ordningsförståelse.’

Maskinlärningssystem är utformade för att optimera till de mest exakta, men också de mest effektiva och människovänliga resultaten*. Eftersom de inte avslöjar sin resonemang explicit kan det vara svårt att avgöra när de fuskar eller använder ‘genvägar’.

I ett sådant fall kan MLLM nå rätt svar genom fel metoden. Det faktum att ett sådant svar kan vara korrekt kan inspirera falskt förtroende för modellen, som kan producera felaktiga resultat med samma metod i senare uppgifter som presenteras för den.

Än värre, denna vilseledning kan bli ännu mer djupgående i utvecklingskedjan om människor är imponerade av den och ger positiv feedback i tester och annoteringssessioner som kan bidra till den riktning som data och/eller modellen kan ta.

I detta fall är förslaget att MLLMs ‘förfalskar’ en sann förståelse för kronologi och temporala fenomen, genom att observera och ankra på sekundära indikatorer (såsom tidsstämplar, till exempel, i videodata, bildordning i en layout eller till och med – potentiellt – sekventiellt numrerade filnamn).

Det indikerar vidare att MLLMs för närvarande inte uppfyller någon verklig definition av att ha generaliserat ett begrepp för temporala fenomen – åtminstone inte i den utsträckning som människor kan.

Den nya rapporten heter Kan Multimodala MLLMs göra visuell temporalt förståelse och resonemang? Svaret är Nej!, och kommer från tre forskare vid Mohammed bin Zayed University of Artificial Intelligence och Alibaba International Digital Commerce.

Data och tester

Forskarna noterar att tidigare benchmark-tester och studier, såsom MMMU och TemporalBench, fokuserar på enstaka bildindata eller formulerar frågor för MLLMs som kan vara alltför lätta att svara på, och kanske inte avslöjar en tendens till genvägsbeteende.

Därför erbjuder författarna två uppdaterade metoder: Temporalt ordningsförståelse (TOU) och Tidsluckestimation (TLE). TOU-metoden testar modellernas förmåga att bestämma den korrekta sekvensen av händelser från par av videofrimer; TLE-metoden utvärderar MLLMs förmåga att uppskatta tidsdifferensen mellan två bilder, som sträcker sig från sekunder till år.

Från rapporten, de två huvudsakliga uppgifterna för TemporalVQA-benchmarken: i Temporalt ordningsförståelse bestämmer modellen vilken av två bilder som visar en händelse som inträffade först; i Tidsluckestimation uppskattar modellen hur mycket tid som har passerat mellan två bilder, med alternativ som sekunder, minuter, dagar eller år. Dessa uppgifter syftar till att testa hur väl MLLMs kan resonera om tid och sekvens av visuella händelser. Källa: https://arxiv.org/pdf/2501.10674

Forskarna sammanställde 360 bildpar för TOU-benchmarken, med hjälp av öppen källkod-videor från Pixabay och Pexels, så att det skulle vara möjligt att göra datasamlingen tillgänglig via en GUI.

Videoerna täckte ett brett spektrum av ämnen, från människor i vardagliga aktiviteter till icke-mänskligt innehåll som djur och växter. Från dessa valdes par av ramar ut för att visa en sekvens av händelser med tillräcklig variation för att göra start ramen ‘uppenbar’.

Den temporala logiken i dessa två bilder kan inte undvikas, eftersom teet inte kan sugas tillbaka upp genom kranen.

På detta sätt erhölls 360 bildpar.

För TLE-metoden valdes upphovsrättsfria bilder från Google och Flickr, samt utvalda ramar från upphovsrättsfria videor på YouTube. Ämnet för dessa videor visade scener eller föremål vars förändringstid sträckte sig från sekunder till dagar till säsonger – till exempel, mogna frukter eller förändringen av säsonger i landskap.

Således sammanställdes 125 bildpar för TLE-metoden.

Inte alla MLLMs som testades kunde bearbeta flera bilder; därför skiljde sig testerna åt för att anpassa sig till varje modells förmåga.

Flera versioner av de sammanställda datasamlingarna genererades, där vissa av paren var sammanfogade vertikalt och andra horisontellt. Ytterligare variationer bytte den sanna och korrekta temporala sekvensen av paren.

Två prompt-typer utvecklades. Den första följde denna mall:

Skedde händelsen i (vänster / topp / första) bilden före händelsen i (höger / botten / andra) bilden? Ange sant eller falskt med resonemang.

Den andra följde denna schema:

Mellan dessa två bilder, vilken en visar händelsen som inträffade först? Ange (vänster eller höger / topp eller botten / första eller andra) med resonemang.

För TLE var frågorna flervalsfrågor, som bad modellerna att utvärdera tidsluckan mellan de två presenterade bilderna, med sekunder, minuter, timmar, dagar, månader och år som tillgängliga tidsenheter. I denna konfiguration presenterades den senaste bilden på höger sida.

Prompten som användes här var:

Uppskatta den tid som har passerat mellan den första bilden (vänster) och den andra bilden (höger).

Välj ett av följande alternativ:

1. 1. Mindre än 15 sekunder
B. Mellan 2 minuter till 15 minuter
C. Mellan 1 timme till 12 timmar
D. Mellan 2 dagar till 30 dagar
E. Mellan 4 månader till 12 månader
F. Mer än 3 år

De MLLMs som testades var ChatGPT-4o; Gemini1.5-Pro; LlaVa-NeXT; InternVL; Qwen-VL; Llama-3-vision; och LLaVA-CoT.

Temporalt ordningsförståelse: Resultat

Resultat från Temporalt ordningsförståelse över olika modeller och indata-layout, som visar noggrannhet och konsekvens för olika inställningar och prompter.

Med avseende på resultaten ovan fann författarna att alla testade MLLMs, inklusive GPT-4o (som visade den bästa övergripande prestandan), kämpade avsevärt med TemporalVQA-benchmarken – och även GPT-4o misslyckades med att konsekvent visa tillförlitligt temporalt resonemang över olika konfigurationer.

Författarna hävdar att de konsekventa låga noggrannhetspoängen över MLLMs understryker betydande brister i modellernas förmåga att tolka och resonera om temporala sekvenser från visuella data. Forskarna noterar att dessa utmaningar kvarstår även med användning av multi-bildindata och optimerade prompter, vilket tyder på grundläggande begränsningar i nuvarande modellarkitekturer och utbildningsmetoder.

Testerna visade betydande variationer i prestanda över prompt-strategier. Medan GPT-4o förbättrades med optimerade prompter (nådde 4% i enstaka-bild och 65,3% i multi-bild-inställningar), förblev prestandan under acceptabla nivåer.

Modeller som LLaVA-NeXT och Qwen-VL var ännu mer känsliga, med prestanda som minskade när alternativa prompter användes, vilket tyder på att prompt-ingenjörskonst ensam inte kan övervinna MLLMs grundläggande begränsningar i fråga om temporalt resonemang.

Testerna indikerade också att bild-layout (dvs. vertikal vs. horisontell) påverkade modellprestandan avsevärt. GPT-4o förbättrade sin konsekvens med vertikala arrangemang, stigande från 39,2% till 52,8%; dock visade andra modeller, inklusive LLaVA-strains, starka riktningsbias, excellerande i en riktning men misslyckades i en annan.

Rapporten indikerar att dessa inkonsekvenser tyder på beroende av spatiala ledtrådar, snarare än sann temporalt resonemang, med MLLMs som inte genuint analyserar sekvensen av händelser eller förstår progressionen över tid. Istället tycks de ha förlitat sig på mönster eller visuella funktioner relaterade till bildens layout, såsom deras position eller justering, för att fatta beslut.

Kvalitativa tester som belyser GPT-4os förutsägelser när de möter olika indataordningar. I den första ordningen presenteras bildparen i deras ursprungliga sekvens, medan i den andra ordningen är sekvensen omvänd. Korrekta klassificeringar markeras i grönt, rena missklassificeringar i rött, hallucinerat resonemang i orange och illogiskt eller ‘ogiltigt’ resonemang i brunt, vilket avslöjar modellens inkonsekvenser över olika indatakonfigurationer.

Jämförelsetester mellan enstaka-bild- och multi-bildindata visade begränsad förbättring, med GPT-4o som presterade något bättre på multi-bildindata, stigande från 31,0% till 43,6% (med P1) och 46,0% till 65,3% (med P2).

Andra modeller, såsom InternVL, visade stabil men låg noggrannhet, medan Qwen-VL såg mindre vinster. Författarna slutsats är att dessa resultat indikerar att ytterligare visuell kontext inte väsentligt förbättrar temporalt resonemangsförmåga, eftersom modellerna kämpar för att integrera temporala uppgifter effektivt.

Människostudie

I en människostudie genomfördes tre undersökningar för att bedöma hur nära den bäst presterande multimodala MLLM (GPT-4o) presterade i jämförelse med mänskliga skattningar.

Människor uppnådde 90,3% noggrannhet, överträffande GPT-4os 65,3% med 25%. Datasamlingen visade sig vara tillförlitlig, med minimala mänskliga fel och konsekvent överensstämmelse om korrekta svar.

Resultat från människostudien för den första omgången tester.

Tidsluckestimation: Resultat

Resultat för TLE: tidsluckestimation utvärderar modellens noggrannhet i att identifiera intervall mellan bildpar, över skalor från sekunder till år. Uppgiften utvärderar varje modells förmåga att välja den korrekta tids-skalan för den temporala luckan.

I dessa tester presterade MLLMs endast tillfredsställande på tidsluckestimation: GPT-4o uppnådde 70% noggrannhet, men de andra modellerna presterade avsevärt sämre (se tabell ovan), och prestanda varierade också avsevärt över de olika tids skalorna.

Författarna kommenterar:

‘Uppgiften tidsluckestimation testar MLLMs förmåga att härleda temporala intervall mellan bildpar. [Alla] MLLMs, inklusive topppresterare som GPT-4o och Gemini1.5-Pro, kämpar med denna uppgift, uppnående endast måttliga noggrannhetsnivåer på 60-70%. GPT-4o visar inkonsekvent prestanda, med stark prestanda i Sekunder och År men underpresterar i Timmar.

‘På liknande sätt visar LLaVA-CoT exceptionell prestanda i tidsintervallet Sekunder och Dagar, medan den visar avsevärt dålig prestanda i de andra tidsintervalen.’

Människostudie

I människostudien för TLE förbättrades den genomsnittliga mänskliga prestandan jämfört med GPT-4o (den bäst presterande modellen i denna kategori) med 12,3%.

Författarna noterar att vissa av utmaningarna var särskilt krävande, och att i ett fall returnerade alla mänskliga deltagare felaktiga svar, tillsammans med alla AI-deltagare.

Författarna slutsats är att GPT-4o visar ‘rimligt robusta resonemangsförmågor, trots den ordning som bilderna presenteras i.

Slutsats

Om MLLMs till slut samlar och absorberar tillräckligt med ‘genvägsdata’ för att täcka även de svåraste utmaningarna av det slag som presenteras av författarna i denna studie, kan det bli en öppen fråga om de kan sägas ha utvecklat mänskligliknande generaliseringsförmåga inom detta område.

Det är inte heller känt exakt vilken väg vi tar för att erhålla vår egen förmåga till temporalt resonemang – använder vi oss också av ‘genvägar’ tills den renaste mängden inlärda erfarenheter avslöjar ett mönster som fungerar som ‘instinkt’ i förhållande till detta slag av test?

* Från den synvinkel att modeller blir alltmer optimerade med förlustfunktioner som mänsklig feedback har bidragit till, och effektivt optimerade av mänskliga tester och efterföljande triage.

Publicerad första gången måndagen den 27 januari 2025