Zelfs state-of-the-art taalmodellen hebben moeite met het begrijpen van temporele logica

Het voorspellen van toekomstige staten is een kritische missie in computer vision-onderzoek – niet in de laatste plaats in de robotica, waar reële situaties moeten worden overwogen. Machine learning-systemen die zijn toevertrouwd met missie-kritieke taken, hebben daarom een adequate begrip van de fysieke wereld nodig.

Echter, in sommige gevallen kan een ogenschijnlijk indrukwekkende kennis van temporele realiteit misleidend zijn: een nieuw artikel uit de Verenigde Arabische Emiraten heeft ontdekt dat state-of-the-art Multimodal Large Language Models (MLLMs), waaronder sectorleiders GPT-4o en Google Gemini, tekortschieten wanneer het gaat om het interpreteren van hoe tijd wordt weergegeven in afbeeldingen.

Voorbeeldsequentieparen (zie onderstaande afbeelding), die voor mensen niet uitdagend zouden zijn, zelfs als ze in de verkeerde volgorde worden geplaatst, kunnen geavanceerde MLLMs voor de gek houden wanneer ze in onverwachte contexten of configuraties worden gepresenteerd (zoals tweede-afbeelding-eerst, samengevoegd tot één afbeelding, meerdere opeenvolgende afbeeldingen die wel of niet de juiste temporele volgorde vertegenwoordigen, enz.).

Voorbeelden uit een van de datasets die zijn samengesteld voor de nieuwe studie, die opeenvolgende gebeurtenissen laten zien in de vorm van ‘voor en na’ afbeeldingen. De onderzoekers hebben deze gegevens beschikbaar gemaakt op https://huggingface.co/datasets/fazliimam/temporal-vqa/viewer

De onderzoekers gaven de modellen basistaken in temporele redenering, zoals het bepalen van de gebeurtenisvolgorde of het schatten van tijdsverschillen, en ontdekten dat de zeven geteste MLLMs aanzienlijk onder de menselijke nauwkeurigheid presteerden:

‘Over het algemeen laten de [resultaten] zien dat alle huidige MLLMs, waaronder GPT-4o – het meest geavanceerde model in onze evaluatie – worstelen met de voorgestelde benchmark. Ondanks de superieure prestaties van GPT-4o ten opzichte van andere modellen, faalt het om consistent accurate temporele redenering te demonstreren in verschillende instellingen.

‘De consistente nauwkeurigheidsscores zijn opvallend laag voor alle modellen, wat aangeeft dat er significante beperkingen zijn in hun vermogen om temporele sequenties uit visuele invoer te begrijpen en interpreteren. Deze tekortkomingen zijn zelfs zichtbaar wanneer modellen meerdere afbeeldingen of geoptimaliseerde prompts krijgen, wat suggereert dat de huidige architectuur en trainingsmethoden onvoldoende zijn voor robuuste temporele volgordebegrip.’

Machine learning-systemen zijn ontworpen om te optimaliseren naar de meest nauwkeurige, maar ook de meest efficiënte en mensen-vriendelijke resultaten*. Aangezien ze hun redenering niet expliciet onthullen, kan het moeilijk zijn om te zien wanneer ze vals spelen of ‘shortcuts’ gebruiken.

In een dergelijk geval kan het MLLM het juiste antwoord bereiken via de verkeerde methode. Het feit dat een dergelijk antwoord correct kan zijn, kan valse vertrouwen in het model inspireren, wat onjuiste resultaten kan produceren met dezelfde methode in latere taken die aan het model worden gepresenteerd.

Erger nog, deze misleiding kan dieper ingebed raken in de ontwikkelingsketen als mensen onder de indruk zijn van het resultaat en positieve feedback geven in trials en annotatiesessies die kunnen bijdragen aan de richting die de gegevens en/of het model kunnen nemen.

In dit geval wordt gesuggereerd dat MLLMs ‘faken’ een echte begrip van chronologie en temporele fenomenen door secundaire indicatoren te observeren en te ankeren (zoals tijdstempels, bijvoorbeeld, in videogegevens, de volgorde van afbeeldingen in een lay-out, of zelfs – potentieel – opeenvolgend genummerde bestandsnamen).

Het geeft verder aan dat MLLMs momenteel niet voldoen aan enige echte definitie van het generaliseren van een concept van temporele fenomenen – tenminste, voor zover mensen dat kunnen.

Het nieuwe artikel heeft als titel Kunnen Multimodale MLLMs Visuele Temporele Begrip en Redenering doen? Het antwoord is Nee!, en komt van drie onderzoekers aan de Mohamed bin Zayed University of Artificial Intelligence en Alibaba International Digital Commerce.

Gegevens en tests

De auteurs merken op dat eerdere benchmarks en studies, zoals MMMU en TemporalBench, zich concentreren op enkele afbeeldingen of formuleren vragen voor de MLLMs die te gemakkelijk kunnen zijn om te beantwoorden en mogelijk geen neiging tot shortcutgedrag onthullen.

Daarom bieden de auteurs twee bijgewerkte benaderingen: Temporele Volgorde Begrip (TOU) en Tijdsverloop Schatting (TLE). De TOU-benadering test de modellen op hun vermogen om de juiste volgorde van gebeurtenissen te bepalen uit paren van videoframes; de TLE-methode evalueert de mogelijkheid van het MLLM om de tijdsverschillen tussen twee afbeeldingen te schatten, variërend van seconden tot jaren.

Uit het artikel, de twee hoofdtaken van de TemporalVQA-benchmark: in Temporele Volgorde Begrip, beslist het model welke van de twee afbeeldingen een gebeurtenis laat zien die het eerst is gebeurd; in Tijdsverloop Schatting, schat het model hoeveel tijd is verstreken tussen de twee afbeeldingen, waarbij opties zoals seconden, minuten, dagen of jaren beschikbaar zijn. Deze taken hebben als doel te testen hoe goed de MLLMs kunnen redeneren over de timing en volgorde van visuele gebeurtenissen. Bron: https://arxiv.org/pdf/2501.10674

De onderzoekers hebben 360 afbeeldingsparen gecureerd voor de TOU-benchmark, met behulp van open source-videos van Pixabay en Pexels, zodat het mogelijk was om de dataset beschikbaar te maken via een GUI.

De videos behandelden een breed scala aan onderwerpen, van mensen in alledaagse activiteiten tot niet-menselijke inhoud zoals dieren en planten. Van deze werden paren van frames geselecteerd om een sequentie van gebeurtenissen weer te geven met voldoende variatie om de startframe ‘duidelijk’ te maken.

De temporele logica van deze twee afbeeldingen kan niet worden ontsnapt, aangezien de thee niet mogelijk terug kan worden gezogen via de tuit.

Aldus werden 360 afbeeldingsparen verkregen.

Voor de TLE-benadering werden copyright-vrije afbeeldingen geselecteerd uit Google en Flickr, evenals selecte frames uit copyright-vrije videos op YouTube. Het onderwerp van deze videos omvatte scènes of objecten waarvan de veranderingstermijn varieerde van seconden tot dagen tot seizoenen – bijvoorbeeld, het rijpen van fruit, of de verandering van seizoenen in landschappen.

Zo werden 125 afbeeldingsparen gecureerd voor de TLE-methode.

Niet alle geteste MLLMs konden meerdere afbeeldingen verwerken; daarom verschilden de tests om elk model aan te passen.

Meerdere versies van de gecureerde datasets werden gegenereerd, waarbij sommige van de paren verticaal waren samengevoegd en anderen horizontaal. Verdere variaties wisselden de ware en correcte temporele volgorde van de paren.

Twee prompttypen werden ontwikkeld. Het eerste volgde dit sjabloon:

Is de gebeurtenis in de (linker / boven / eerste) afbeelding gebeurd voordat de gebeurtenis in de (rechter / onder / tweede) afbeelding? Antwoord met waar of onwaar met reden.

Het tweede volgde dit schema:

Tussen deze twee afbeeldingen, welke een laat de gebeurtenis zien die het eerst is gebeurd? Antwoord met (linker of rechter / boven of onder / eerste of tweede) met reden.

Voor TLE waren de vragen multiple-choice, waarbij de modellen werden gevraagd om de tijdsverloop tussen de twee gepresenteerde afbeeldingen te evalueren, met seconden, minuten, uren, dagen, maanden en jaren als beschikbare tijdseenheden. In deze configuratie werd de meest recente afbeelding op de rechterkant gepresenteerd.

De prompt die hier werd gebruikt, was:

In de gegeven afbeelding, schat de tijd die is verstreken tussen de eerste afbeelding (links) en de tweede afbeelding (rechts).

Kies een van de volgende opties:

1. 1. Minder dan 15 seconden
B. Tussen 2 minuten en 15 minuten
C. Tussen 1 uur en 12 uur
D. Tussen 2 dagen en 30 dagen
E. Tussen 4 maanden en 12 maanden
F. Meer dan 3 jaar

De geteste MLLMs waren ChatGPT-4o; Gemini1.5-Pro; LlaVa-NeXT; InternVL; Qwen-VL; Llama-3-vision; en LLaVA-CoT.

Temporele Volgorde Begrip: Resultaten

Resultaten van Temporele Volgorde Begrip over verschillende modellen en invoerlay-outs, met nauwkeurigheid en consistentie voor verschillende instellingen en prompts.

Met betrekking tot de resultaten die hierboven worden getoond, ontdekten de auteurs dat alle geteste MLLMs, waaronder GPT-4o (die de beste totale prestatie liet zien), aanzienlijk worstelden met de TemporalVQA-benchmark – en zelfs GPT-4o faalde om consistent betrouwbare temporele redenering te demonstreren in verschillende configuraties.

De auteurs beweren dat de consistent lage nauwkeurigheid over LLMs aangeeft dat er significante beperkingen zijn in de mogelijkheid van de modellen om temporele sequenties uit visuele gegevens te interpreteren en te begrijpen. De onderzoekers merken op dat deze uitdagingen aanhouden, zelfs met het gebruik van meerdere afbeeldingen en geoptimaliseerde prompts, wat wijst op fundamentele beperkingen in de huidige modelarchitectuur en trainingsmethoden.

De tests toonden significante variaties in prestaties over promptstrategieën. Terwijl GPT-4o verbeterde met geoptimaliseerde prompts (bereikte 4% in enkele afbeeldingen en 65,3% in meerdere afbeeldingen), bleef de prestatie onder acceptabele niveaus.

Modellen zoals LLaVA-NeXT en Qwen-VL waren nog gevoeliger, met prestaties die daalden toen alternatieve prompts werden gebruikt, wat suggereert dat prompt-engineering alleen de fundamentele beperkingen van de MLLMs in temporele redenering niet kan overwinnen.

Tests gaven ook aan dat de afbeeldingslay-out (d.w.z. verticaal versus horizontaal) de modelprestatie aanzienlijk beïnvloedde. GPT-4o verbeterde zijn consistentie met verticale arrangementen, stijgend van 39,2% tot 52,8%; echter, andere modellen, waaronder de LLaVA-varianten, toonden sterke richtingsvoorkeuren, excellerend in één oriëntatie maar falend in een andere.

Het artikel geeft aan dat deze inconsistenties suggereren dat de modellen afhankelijk zijn van ruimtelijke hints, in plaats van echte temporele redenering, en dat de MLLMs niet echt de sequentie van gebeurtenissen analyseren of de progressie over tijd begrijpen. In plaats daarvan lijken ze te hebben vertrouwd op patronen of visuele kenmerken die verband houden met de lay-out van afbeeldingen, zoals hun positie of uitlijning, om beslissingen te nemen.

Kwalitatieve tests benadrukken GPT-4o’s voorspellingen wanneer het wordt geconfronteerd met verschillende invoerorders. In de eerste orde worden afbeeldingsparen in hun oorspronkelijke volgorde gepresenteerd, terwijl in de tweede orde de volgorde omgekeerd is. Correcte classificaties zijn gemarkeerd in groen, zuivere misclassificaties in rood, gehallucineerde redenering in oranje en illogische of ‘ongeldige’ redenering in bruin, wat de inconsistenties van het model in verschillende invoerconfiguraties onthult.

De vergelijkingstests tussen enkele afbeeldingen en meerdere afbeeldingen toonden beperkte algehele verbetering, met GPT-4o die iets beter presteerde op meerdere afbeeldingen, stijgend van 31,0% tot 43,6% (met P1) en 46,0% tot 65,3% (met P2).

Andere modellen, zoals InternVL, toonden stabiele maar lage nauwkeurigheid, terwijl Qwen-VL kleine winsten zag. De auteurs concluderen dat deze resultaten aangeven dat extra visuele context de temporele redeneringscapaciteiten niet aanzienlijk verbetert, aangezien modellen worstelen om temporele informatie effectief te integreren.

Menselijke studie

In een menselijke studie werden drie enquêtes uitgevoerd om te beoordelen hoe dicht de best presterende multimodale MLLM bij de menselijke schatting kwam.

Mensen behaalden 90,3% nauwkeurigheid, waarmee ze GPT-4o’s 65,3% overtroffen met 25%. De dataset bleek betrouwbaar, met minimale menselijke fouten en consistente overeenstemming over correcte antwoorden.

Resultaten van de menselijke gebruikersstudie voor de eerste ronde van tests.

Tijdsverloop Schatting: Resultaten

Resultaten voor TLE: tijdsverloop schatting evalueert de modelnauwkeurigheid bij het identificeren van intervallen tussen afbeeldingsparen, over schalen van seconden tot jaren. De taak evalueert elke modelcapaciteit om de correcte tijdschaal voor de temporele kloof te selecteren.

In deze tests presteerden de MLLMs alleen redelijk op tijdsverloop schatting: GPT-4o behaalde 70% nauwkeurigheid, maar de andere modellen presteerden aanzienlijk slechter (zie bovenstaande tabel), en de prestatie varieerde ook aanzienlijk over de verschillende tijdschalen.

De auteurs merken op:

‘De taak van tijdsverloop schatting test de capaciteit van MLLMs om temporele intervallen tussen afbeeldingsparen af te leiden. [Alle] MLLMs, waaronder top-presteerders zoals GPT-4o en Gemini1.5-Pro, worstelen met deze taak, met alleen matige nauwkeurigheidsniveaus van 60-70%. GPT-4o toont inconsistentie in zijn prestaties, met sterke prestaties in seconden en jaren, maar onderpresteert in uren.

Soortgelijk toont LLaVA-CoT uitzonderlijke prestaties in de tijdsverlopen van seconden en dagen, maar toont opvallend slechte prestaties in de andere tijdsintervallen.’

Menselijke studie

In de menselijke studie voor TLE verbeterde de gemiddelde menselijke prestatie de prestatie van GPT-4o (de best presterende model in deze categorie) met 12,3%.

De auteurs merken op dat sommige van de uitdagingen bijzonder veeleisend waren, en dat in één geval alle menselijke deelnemers een verkeerd antwoord retourneerden, evenals alle AI-deelnemers.

De auteurs concluderen dat GPT-4o ‘redelijk robuuste redeneringscapaciteiten’ toont, ondanks de volgorde van de afbeeldingen die aan het model worden gepresenteerd.

Conclusie

Als MLLMs uiteindelijk genoeg ‘shortcut’-gegevens verzamelen om zelfs de moeilijkste uitdagingen van het type dat in deze studie wordt gepresenteerd, te overwinnen, kan de vraag of ze menselijke generalisatiecapaciteiten in dit domein hebben ontwikkeld, een punt van discussie worden.

Het is ook niet bekend via welke route we onze eigen capaciteiten in temporele redenering verkrijgen – gebruiken we ook ‘shortcuts’ totdat de pure hoeveelheid geleerde ervaring een patroon onthult dat fungeert als ‘instinct’ in verband met dit soort tests?

* Vanuit het perspectief dat modellen steeds vaker worden geoptimaliseerd met verliesfuncties waarop menselijke feedback heeft bijgedragen, en effectief geoptimaliseerd door menselijke trials en daaropvolgende triage.

Eerst gepubliceerd op maandag 27 januari 2025