Selv de mest avancerede sprogmodeller har svært ved at forstå temporal logik

At forudsige fremtidige tilstande er en kritisk opgave i computer vision-forskning – ikke mindst i robotteknologi, hvor man skal tage højde for virkelige situationer. Maskinlæringsystemer, der er betroet med kritiske opgaver, har derfor brug for en tilstrækkelig forståelse af den fysiske verden.

Men i visse tilfælde kan en tilsyneladende imponerende viden om temporal virkelighed være bedragerisk: en ny artikel fra De Forenede Arabiske Emirater har fundet, at selv de mest avancerede multimodale sprogmodeller (MLLM’er), herunder branchens ledere GPT-4o og Google Gemini, ikke kan fortolke, hvordan tid er repræsenteret i billeder.

Eksempler på sekventielle par (se billedet nedenfor), som ville være ukomplicerede for mennesker, selv hvis de var i forkert rækkefølge, kan forvirre avancerede MLLM’er, når de præsenteres i uventede sammenhænge eller konfigurationer (såsom anden-billede-først, sammenkædet til enkelt billeder, sekventielle multiple billeder, der måske eller måske ikke repræsenterer den korrekte temporale rækkefølge osv.).

Eksempler fra en af de datasæt, der er samlet til den nye undersøgelse, som viser sekventielle begivenheder i form af ‘før og efter’-billeder. Forskerne har gjort denne data tilgængelig på https://huggingface.co/datasets/fazliimam/temporal-vqa/viewer

Forskerne gav modellerne grundlæggende temporale resonansudfordringer, såsom at bestemme begivenhedens rækkefølge eller estimere tidsmellemrum, og fandt, at de syv MLLM’er, der blev testet, opnåede bemærkelsesværdigt lavere nøjagtighed end mennesker:

‘Samlet set viser resultaterne, at alle nuværende MLLM’er, herunder GPT-4o – den mest avancerede model i vores evaluering – har svært ved at klare den foreslåede benchmark. Trods GPT-4o’s overlegne præstation i forhold til andre modeller, kan den ikke konsekvent demonstrere præcis temporal resonans på tværs af forskellige indstillinger.

‘De konsekvente nøjagtighedsscore er bemærkelsesværdigt lave for alle modeller, hvilket indikerer betydelige begrænsninger i deres evne til at forstå og fortolke temporale sekvenser fra visuelle input. Disse mangler er tydelige, selv når modellerne får multi-billede-input eller optimerede prompts, hvilket antyder, at nuværende arkitekturer og træningsmetoder er utilstrækkelige til robust temporal rækkefølgeforståelse.’

Maskinlæringsystemer er designet til at optimere til de mest nøjagtige, men også de mest effektive og menneske-venlige resultater*. Da de ikke afslører deres resonemang eksplicit, kan det være svært at vide, når de snyder eller bruger ‘genveje’.

I sådanne tilfælde kan MLLM’eren nå frem til det rigtige svar ved den forkerte metode. Det faktum, at sådant et svar kan være korrekt, kan inspirere falsk tillid til modellen, som kan producere forkerte resultater ved samme metode i senere opgaver, der præsenteres for den.

Endnu værre kan denne misledning blive endnu mere dybt rodnet i udviklingskæden, hvis mennesker er imponerede over det og giver positiv feedback i tests og annoteringsessioner, som kan bidrage til den retning, data og/eller modellen måtte tage.

I dette tilfælde antydes det, at MLLM’erne ‘falsk’ en sand forståelse af kronologi og temporale fænomener ved at observere og fastgøre sekundære indikatorer (såsom tidsstempel, for eksempel, i video-data, billedes rækkefølge i en layout eller endda – potentelt – sekventielt-nummererede filnavne).

Det antyder yderligere, at MLLM’erne i øjeblikket ikke opfylder nogen reel definition af at have generaliseret en koncept for temporale fænomener – i hvert fald ikke i samme udstrækning som mennesker.

Den nye artikel har titlen Kan Multimodale MLLM’er gøre Visuel Temporal Forståelse og Resonans? Svaret er Nej! og kommer fra tre forskere ved Mohamed bin Zayed University of Artificial Intelligence og Alibaba International Digital Commerce.

Data og Tests

Forskerne bemærker, at tidligere benchmarks og studier, såsom MMMU og TemporalBench, koncentrerer sig om enkelt-billede-input eller formulerer spørgsmål til MLLM’erne, som kan være for lette at besvare, og måske ikke afslører en tendens til genvej-adfærd.

Forskerne tilbyder derfor to opdaterede tilgange: Temporal Orden Forståelse (TOU) og Tids-lapse Estimation (TLE). TOU-tilgangen tester modellernes evne til at bestemme den korrekte rækkefølge af begivenheder fra par af video-frames; TLE-metoden evaluerer MLLM’ens evne til at estimere tidsforskellen mellem to billeder, der varierer fra sekunder til år.

Fra artiklen, de to hovedopgaver i TemporalVQA-benchmark: i Temporal Orden Forståelse, beslutter modellen, hvilket af to billeder viser en begivenhed, der fandt sted først; i Tids-lapse Estimation, estimerer modellen, hvor meget tid der er gået mellem to billeder, og vælger mellem muligheder, herunder sekunder, minutter, dage eller år. Disse opgaver sigter mod at teste, hvor godt MLLM’erne kan resonere om tid og sekvens af visuelle begivenheder. Kilde: https://arxiv.org/pdf/2501.10674

Forskerne kuraterede 360 billedpar til TOU-benchmark, ved hjælp af åbne kilde-videoer fra Pixabay og Pexels, så det ville være muligt at gøre datasættet tilgængeligt via en GUI.

Videoerne dækkede en række emner, fra mennesker i hverdagsaktiviteter til ikke-menneskelige indhold som dyr og planter. Fra disse blev par af frames valgt til at afbilde en sekvens af begivenheder med tilstrækkelig variation til at gøre start-rammen ‘åbenlys’.

Menneskelig udvælgelse blev brugt til at sikre, at rammerne kunne defineres bestemt. For eksempel viser et af de kuraterede par et delvist fyldt tekrus i den ene ramme og samme krus fuldt fyldt med te i den næste, hvilket gør sekvenslogikken let at identificere.

Den temporale logik i disse to billeder kan ikke undgås, da teen ikke kan suges tilbage op gennem spouten.

På denne måde blev 360 billedpar opnået.

For TLE-tilgangen blev ophavsretsfrie billeder valgt fra Google og Flickr, samt udvalgte frames fra ophavsretsfrie videoer på YouTube. Emneområdet for disse videoer omfattede scener eller objekter, hvis ændringsinterval varierede fra sekunder til dage til årstider – for eksempel, modnende frugt eller ændring af årstider i landskaber.

Således blev 125 billedpar kurateret til TLE-metoden.

Ikke alle MLLM’er, der blev testet, kunne behandle multiple billeder; derfor varfør tests forskellige til at tilpasse hver models evner.

Flere versioner af de kuraterede datasæt blev genereret, hvoraf nogle af billedparrene var sat sammen vertikalt, og andre vandret. Yderligere variationer byttede den sande og korrekte temporale sekvens af billedparrene.

To prompt-typer blev udviklet. Den første fulgte denne skabelon:

Skete begivenheden i (venstre / top / først) billedet før begivenheden i (højre / bund / andet) billedet? Angiv sandt eller falsk med begrundelse.

Den anden fulgte denne skema:

Mellem disse to billeder, hvilket afbilder begivenheden, der skete først? Angiv (venstre eller højre / top eller bund / først eller andet) med begrundelse.

For TLE var spørgsmål multiple-choice, hvor modellerne skulle evaluere tidsmellemrummet mellem de to præsenterede billeder, med sekunder, minutter, timer, dage, måneder og år som muligheder. I denne konfiguration blev det mest nylige billede præsenteret til højre.

Prompten, der blev brugt her, var:

Estimer tiden, der er gået mellem det første billede (venstre) og det andet billede (højre).

Vælg en af følgende muligheder:

1. 1. Under 15 sekunder
B. Mellem 2 minutter og 15 minutter
C. Mellem 1 time og 12 timer
D. Mellem 2 dage og 30 dage
E. Mellem 4 måneder og 12 måneder
F. Over 3 år

De MLLM’er, der blev testet, var ChatGPT-4o; Gemini1.5-Pro; LlaVa-NeXT; InternVL; Qwen-VL; Llama-3-vision; og LLaVA-CoT.

Temporal Orden Forståelse: Resultater

Resultater af Temporal Orden Forståelse på tværs af forskellige modeller og input-layout, der viser nøjagtighed og konsistens for forskellige indstillinger og prompts.

Med hensyn til resultaterne ovenfor fandt forfatterne, at alle testede MLLM’er, herunder GPT-4o (der viste den bedste samlepræstation), havde svært ved at klare TemporalVQA-benchmark – og selv GPT-4o kunne ikke konsekvent demonstrere pålidelig temporal resonans på tværs af forskellige konfigurationer.

Forfatterne påstår, at den konsekvent lave nøjagtighed på tværs af MLLM’er understreger betydelige mangler i modellernes evne til at fortolke og resonere om temporale sekvenser fra visuelle data. Forskerne bemærker, at disse udfordringer består, selv med brug af multi-billede-input og optimerede prompts, hvilket peger på fundamentale begrænsninger i nuværende modelarkitekturer og træningsmetoder.

Testene viste betydelige variationer i præstation på tværs af prompt-strategier. Mens GPT-4o forbedrede sig med optimerede prompts (opnåede 4% i enkelt-billede og 65,3% i multi-billede-indstillinger), forblev præstationen under acceptabelt niveau.

Modeller som LLaVA-NeXT og Qwen-VL var endnu mere følsomme, med præstation, der faldt, når alternativ prompts blev brugt, hvilket antyder, at prompt-ingeniørarbejde alene ikke kan overvinde MLLM’ernes fundamentale begrænsninger i forhold til temporal resonans.

Testene indikerede også, at billed-layout (dvs. vertikal vs. vandret) havde en betydelig indvirkning på modelpræstation. GPT-4o forbedrede sig med vertikale arrangementer, stigende fra 39,2% til 52,8%; men andre modeller, herunder LLaVA-strænerne, viste stærke retningsskævheder, der udmærkede sig i én retning, men fejlede i en anden.

Papiret antyder, at disse inkonsistenser tyder på, at MLLM’erne ikke rigtigt analyserer sekvensen af begivenheder eller forstår udviklingen over tid. I stedet synes de at have afhængigt af mønstre eller visuelle funktioner relateret til billedernes layout, såsom deres position eller alignment, for at træffe beslutninger.

Kvalitative tests fremhæver GPT-4o’s forudsigelser, når de står over for forskellige input-rækkefølger. I den første rækkefølge præsenteres billedpar i deres oprindelige rækkefølge, mens i den anden rækkefølge er rækkefølgen omvendt. Korrekte klassificeringer er markeret med grøn, rene misclassificeringer med rød, hallucineret resonemang med orange og illogisk eller ‘ugyldig’ resonemang med brun, hvilket afslører modellens inkonsistenser på tværs af forskellige input-konfigurationer.

Sammenligningstests mellem enkelt-billede- og multi-billede-input demonstrerede begrænsede samleforbedring, med GPT-4o, der opnåede en lidt bedre præstation på multi-billede-input, stigende fra 31,0% til 43,6% (med P1) og 46,0% til 65,3% (med P2).

Andre modeller, såsom InternVL, viste stabil, men lav nøjagtighed, mens Qwen-VL oplevede mindre gevinster. Forfatterne konkluderer, at disse resultater indikerer, at ekstra visuel kontekst ikke væsentligt forbedrer modellernes temporale resonansfærdigheder, da de kæmper med at integrere temporale oplysninger effektivt.

Menneskestudie

I en menneskestudie blev tre undersøgelser gennemført for at evaluere, hvor tæt den bedst præsterende multimodale MLLM (GPT-4o) opnåede i forhold til menneskelig estimation.

Mennesker opnåede 90,3% nøjagtighed, overgående GPT-4o’s 65,3% med 25%. Datasættet viste sig at være pålideligt, med minimale menneskelige fejl og konsekvent enighed om korrekte svar.

Resultater fra menneskestudiet for den første runde af tests.

Tids-lapse Estimation: Resultater

Resultater for TLE: tids-lapse estimation evaluerer modellens nøjagtighed i at identificere intervallet mellem billedpar, på tværs af skalaer fra sekunder til år. Opgaven evaluerer hver models evne til at vælge den korrekte tids-skala for det temporale mellemrum.

I disse tests opnåede MLLM’erne kun en tilfredsstillende præstation på tids-lapse estimation: GPT-4o opnåede 70% nøjagtighed, men de andre modeller opnåede væsentligt dårligere resultater (se tabel ovenfor), og præstationen varierede også betydeligt på tværs af de forskellige tids-skalaer.

Forfatterne kommenterer:

‘Opgaven med tids-lapse estimation tester MLLM’ernes evne til at slutte temporale interval mellem billedpar. Alle MLLM’er, herunder top-præsterende modeller som GPT-4o og Gemini1.5-Pro, kæmper med denne opgave, opnående kun moderate nøjagtighedsniveauer på 60-70%. GPT-4o viser inkonsistent præstation, med stærk præstation i sekunder og år, men underpræstation i timer.

‘LlaVA-CoT demonstrerer ekceptionel præstation i tids-interval på sekunder og dage, mens den viser bemærkelsesværdigt dårlig præstation i de andre tids-interval.’

Menneskestudie

I menneskestudiet for TLE forbedrede den gennemsnitlige menneskelige præstation sig over GPT-4o (den bedst præsterende model i denne kategori) med 12,3%.

Forfatterne bemærker, at nogle af udfordringerne var særligt krævende, og at i ét tilfælde returnerede alle menneskelige deltagere et forkert svar, sammen med alle AI-deltagerne.

Forfatterne konkluderer, at GPT-4o viser ‘rimeligt robuste resonansfærdigheder, på trods af billedernes rækkefølge, der præsenteres for den.

Konklusion

Hvis MLLM’erne til sidst samler og absorberer tilstrækkelig mange ‘genvej’-data til at dække selv de mest krævende udfordringer af den type, der præsenteres af forfatterne i denne undersøgelse, kan det blive et spørgsmål, om de kan siges at have udviklet menneske-lignende generaliseringsfærdigheder i dette domæne.

Det er heller ikke kendt præcis, hvormed vi opnår vores egne evner i temporal resonans – bruger vi også ‘genveje’, indtil den rene mængde af lært erfaring afslører en mønster, der fungerer som ‘instinkt’ i forhold til denne type test?

* Fra synspunktet, at modellerne er stadig mere optimeret med tab-funktioner, som menneskelig feedback har bidraget til, og effektivt optimeret af menneskelige tests og efterfølgende triage.

Offentliggjort mandag, 27. januar 2025