Anche i modelli linguistici di ultima generazione lottano per comprendere la logica temporale

Predire gli stati futuri è una missione critica nella ricerca di visione artificiale – non meno in robotica, dove le situazioni del mondo reale devono essere considerate. I sistemi di apprendimento automatico affidati a compiti critici per la missione quindi necessitano di una comprensione adeguata del mondo fisico.

Tuttavia, in alcuni casi, una conoscenza apparentemente impressionante della realtà temporale potrebbe essere ingannevole: un nuovo articolo degli Emirati Arabi Uniti ha scoperto che i modelli linguistici multimodali di ultima generazione (MLLMs), inclusi i leader del settore GPT-4o e Google Gemini, non riescono a interpretare come il tempo sia rappresentato nelle immagini.

Le coppie di esempi sequenziali (vedi immagine sotto), che sarebbero poco impegnative per gli esseri umani anche se presentate in ordine errato, possono confondere i MLLMs avanzati quando presentate in contesti o configurazioni inaspettati (come seconda immagine-prima, concatenate in immagini singole, immagini multiple sequenziali che possono o non rappresentare l’ordine temporale corretto e così via).

Esempi da uno dei set di dati compilati per il nuovo studio, che mostrano eventi sequenziali in forma di immagini ‘prima e dopo’. I ricercatori hanno reso disponibili questi dati all’indirizzo https://huggingface.co/datasets/fazliimam/temporal-vqa/viewer

I ricercatori hanno affidato ai modelli sfide di ragionamento temporale di base, come determinare l’ordine degli eventi o stimare le lacune temporali, e hanno scoperto che i sette MLLMs testati hanno ottenuto risultati notevolmente al di sotto dell’accuratezza umana:

‘Complessivamente, i [risultati] rivelano che tutti gli attuali MLLMs, inclusi GPT-4o – il modello più avanzato nella nostra valutazione – lottano con il benchmark proposto. Nonostante le prestazioni superiori di GPT-4o rispetto ad altri modelli, esso non riesce a dimostrare in modo coerente un ragionamento temporale accurato in diverse impostazioni.

‘I punteggi di accuratezza coerenti sono notevolmente bassi per tutti i modelli, indicando limitazioni significative nella loro capacità di comprendere e interpretare sequenze temporali da input visivi. Queste carenze sono evidenti anche quando i modelli sono forniti di input multi-immagine o prompt ottimizzati, suggerendo che le architetture e le metodologie di formazione attuali sono insufficienti per una solida comprensione dell’ordine temporale.’

I sistemi di apprendimento automatico sono progettati per ottimizzare i risultati più precisi, ma anche i più efficienti e gradevoli per le persone*. Poiché non rivelano esplicitamente il loro ragionamento, può essere difficile capire quando imbrogliano, o utilizzano ‘scorciatoie’.

In tal caso, il MLLM potrebbe arrivare alla risposta giusta con il metodo sbagliato. Il fatto che tale risposta possa essere corretta può ispirare una falsa fiducia nel modello, che potrebbe produrre risultati errati con lo stesso metodo in compiti successivi presentati.

Peggio ancora, questa disinformazione può diventare ancora più radicata nella catena di sviluppo se gli esseri umani sono impressionati da essa e forniscono feedback positivo in sessioni di prova e annotazione che possono contribuire alla direzione che i dati e/o il modello potrebbero prendere.

In questo caso, la suggestione è che i MLLMs stanno ‘simulando’ una vera comprensione della cronologia e dei fenomeni temporali, osservando e ancorandosi a indicatori secondari (come ad esempio i timestamp, nel caso dei dati video, l’ordine delle immagini in un layout, o anche – potenzialmente – i nomi di file numerati in sequenza).

Ciò indica inoltre che i MLLMs attualmente non soddisfano alcuna definizione reale di avere generalizzato un concetto di fenomeni temporali – almeno, nella misura in cui gli esseri umani possono.

Il nuovo articolo si intitola Possono i MLLMs multimodali fare comprensione e ragionamento temporale visivo? La risposta è No! e proviene da tre ricercatori dell’Università di Intelligenza Artificiale Mohamed bin Zayed e di Alibaba International Digital Commerce.

Dati e test

Gli autori notano che precedenti benchmark e studi, come MMMU e TemporalBench, si concentrano su input di immagini singole o formano domande per i MLLMs che possono essere troppo facili da rispondere e possono non rivelare una tendenza verso comportamenti di scorciatoia.

Pertanto gli autori offrono due approcci aggiornati: Comprensione dell’ordine temporale (TOU) e Stima del tempo trascorso (TLE). L’approccio TOU testa la capacità dei modelli di determinare la sequenza corretta degli eventi da coppie di frame video; il metodo TLE valuta la capacità del MLLM di stimare la differenza temporale tra due immagini, che va da secondi ad anni.

Dall’articolo, i due compiti principali del benchmark TemporalVQA: nella comprensione dell’ordine temporale, il modello decide quale delle due immagini mostra un evento che si è verificato per primo; nella stima del tempo trascorso, il modello stima quanto tempo è passato tra due immagini, selezionando tra opzioni che includono secondi, minuti, giorni o anni. Questi compiti hanno lo scopo di testare quanto bene i MLLMs possano ragionare sulla tempistica e sulla sequenza di eventi visivi. Fonte: https://arxiv.org/pdf/2501.10674

I ricercatori hanno curato 360 coppie di immagini per il benchmark TOU, utilizzando video open source da Pixabay e Pexels, in modo che fosse possibile rendere il set di dati disponibile tramite un’interfaccia grafica.

I video coprivano una gamma di soggetti, dalle persone in attività quotidiane a contenuti non umani come animali e piante. Da questi, sono state selezionate coppie di frame per rappresentare una sequenza di eventi con sufficiente varietà per rendere la cornice di partenza ‘ovvia’.

La selezione umana è stata utilizzata per garantire che i frame potessero essere definitivamente ordinati. Ad esempio, una delle coppie curate mostra una tazza di tè parzialmente piena in un frame e la stessa tazza piena di tè nel frame successivo, rendendo la logica della sequenza facile da identificare.

La logica temporale di queste due immagini non può essere evitata, poiché il tè non può essere risucchiato dal beccuccio.

In questo modo, sono state ottenute 360 coppie di immagini.

Per l’approccio TLE, sono state scelte immagini senza copyright da Google e Flickr, nonché frame selezionati da video senza copyright su YouTube. Il soggetto di questi video presentava scene o oggetti il cui intervallo di cambiamento andava da secondi a giorni a stagioni – ad esempio, frutta che matura o il cambiamento delle stagioni in paesaggi.

Pertanto, sono state curate 125 coppie di immagini per il metodo TLE.

Non tutti i MLLMs testati erano in grado di elaborare più immagini; pertanto, i test differivano per adattarsi alle capacità di ciascun modello.

Sono state generate molteplici versioni dei set di dati curati, in cui alcune delle coppie erano concatenate verticalmente e altre orizzontalmente. Ulteriori variazioni hanno scambiato la sequenza temporale vera e corretta delle coppie.

Sono stati sviluppati due tipi di prompt. Il primo seguiva questo modello:

È successo l'evento nell'immagine (sinistra / in alto / prima) prima dell'evento nell'immagine (destra / in basso / seconda)? Rispondi vero o falso con ragione.

Il secondo seguiva questo schema:

Quale delle due immagini rappresenta l'evento che si è verificato per primo? Rispondi (sinistra o destra / in alto o in basso / prima o seconda) con ragione.

Per TLE, le domande erano a scelta multipla, chiedendo ai modelli di valutare il tempo trascorso tra le due immagini presentate, con secondi, ore, minuti, giorni, mesi e anni disponibili come unità di tempo. In questa configurazione, l’immagine più recente era presentata a destra.

Il prompt utilizzato era:

Stima il tempo trascorso tra la prima immagine (sinistra) e la seconda immagine (destra).

Scegli una delle seguenti opzioni:

1. 1. Meno di 15 secondi
B. Tra 2 minuti e 15 minuti
C. Tra 1 ora e 12 ore
D. Tra 2 giorni e 30 giorni
E. Tra 4 mesi e 12 mesi
F. Più di 3 anni

I MLLMs testati erano ChatGPT-4o; Gemini1.5-Pro; LlaVa-NeXT; InternVL; Qwen-VL; Llama-3-vision; e LLaVA-CoT.

Risultati della comprensione dell’ordine temporale

Risultati della comprensione dell’ordine temporale tra diversi modelli e layout di input, che mostrano l’accuratezza e la coerenza per diverse impostazioni e prompt.

Riguardo ai risultati mostrati sopra, gli autori hanno scoperto che tutti i MLLMs testati, inclusi GPT-4o (che ha mostrato le prestazioni complessive migliori), hanno lottato notevolmente con il benchmark TemporalVQA – e anche GPT-4o non è riuscito a esibire in modo coerente un ragionamento temporale affidabile in diverse configurazioni.

Gli autori sostengono che l’accuratezza coerentemente bassa tra i MLLMs evidenzia carenze significative nella capacità dei modelli di interpretare e ragionare su sequenze temporali da dati visivi. I ricercatori notano che queste sfide persistono anche con l’uso di input multi-immagine e prompt ottimizzati, puntando a limitazioni fondamentali nelle attuali architetture dei modelli e nelle metodologie di formazione.

I test hanno mostrato variazioni significative nelle prestazioni tra strategie di prompt. Mentre GPT-4o ha migliorato con prompt ottimizzati (raggiungendo il 4% in singola immagine e il 65,3% in multi-immagine), le prestazioni sono rimaste al di sotto dei livelli accettabili.

Modelli come LLaVA-NeXT e Qwen-VL sono stati ancora più sensibili, con prestazioni che diminuiscono quando vengono utilizzati prompt alternativi, suggerendo che l’ingegneria dei prompt da sola non può superare le limitazioni fondamentali dei MLLMs nel ragionamento temporale.

I test hanno anche indicato che il layout delle immagini (ad esempio, verticale vs. orizzontale) ha un impatto significativo sulle prestazioni del modello. GPT-4o ha migliorato la sua coerenza con disposizioni verticali, passando dal 39,2% al 52,8%; tuttavia, altri modelli, inclusi i ceppi LLaVA, hanno mostrato forti pregiudizi direzionali, eccellendo in un orientamento ma fallendo in un altro.

L’articolo indica che queste incoerenze suggeriscono una dipendenza da indizi spaziali, piuttosto che un vero ragionamento temporale, con i MLLMs che non analizzano realmente la sequenza degli eventi o comprendono la progressione nel tempo. Invece, sembrano aver fatto affidamento su modelli o caratteristiche visive correlate al layout delle immagini, come la loro posizione o allineamento, per prendere decisioni.

Test qualitativi che evidenziano le previsioni di GPT-4o quando si confronta con diversi ordini di input. Nel primo ordine, le coppie di immagini sono presentate nella loro sequenza originale, mentre nel secondo ordine la sequenza è invertita. Le classificazioni corrette sono segnalate in verde, le classificazioni errate in rosso, il ragionamento allucinato in arancione e il ragionamento illogico o ‘non valido’ in marrone, rivelando le incoerenze del modello in diverse configurazioni di input.

Test di confronto tra input di immagine singola e multi-immagine hanno dimostrato un miglioramento limitato, con GPT-4o che ha eseguito leggermente meglio l’input multi-immagine, passando dal 31,0% al 43,6% (con P1) e dal 46,0% al 65,3% (con P2).

Altri modelli, come InternVL, hanno dimostrato un’accuratezza stabile ma bassa, mentre Qwen-VL ha visto guadagni minori. Gli autori concludono che questi risultati indicano che l’aggiunta di contesto visivo non migliora sostanzialmente le capacità di ragionamento temporale, poiché i modelli lottano per integrare efficacemente le informazioni temporali.

Studio umano

Nello studio umano, tre sondaggi sono stati condotti per valutare quanto il miglior MLLM multimodale abbia performato rispetto alla stima umana.

Gli esseri umani hanno raggiunto il 90,3% di accuratezza, superando il 65,3% di GPT-4o di 25%. Il set di dati si è rivelato affidabile, con errori umani minimi e un accordo coerente sulle risposte corrette.

Risultati dello studio umano per il primo round di test.

Risultati della stima del tempo trascorso

Risultati per TLE: la stima del tempo trascorso valuta l’accuratezza del modello nell’identificare gli intervalli tra coppie di immagini, su scale che vanno da secondi ad anni. Il compito valuta la capacità del modello di selezionare la scala di tempo corretta per la lacuna temporale.

In questi test, i MLLMs hanno eseguito solo in modo adeguato la stima del tempo trascorso: GPT-4o ha raggiunto il 70% di accuratezza, ma gli altri modelli hanno eseguito molto peggio (vedi tabella sopra), e le prestazioni sono variate notevolmente tra le diverse scale temporali.

Gli autori commentano:

‘Il compito della stima del tempo trascorso testa la capacità dei MLLMs di inferire gli intervalli temporali tra coppie di immagini. [Tutti] i MLLMs, inclusi i migliori performer come GPT-4o e Gemini1.5-Pro, lottano con questo compito, raggiungendo solo livelli di accuratezza moderati del 60-70%. GPT-4o mostra prestazioni inconsistenti, con forti prestazioni in Secondi e Anni ma sottoprestazioni in Ore.

‘Allo stesso modo, LLaVA-CoT dimostra prestazioni eccezionali negli intervalli di tempo di Secondi e Giorni, mentre mostra prestazioni notevolmente scarse negli altri intervalli di tempo.’

Studio umano

Nello studio umano per TLE, la prestazione media umana ha superato quella di GPT-4o (il modello con le migliori prestazioni anche in questa categoria) del 12,3%.

Gli autori notano che alcune delle sfide sono state particolarmente impegnative e che in un caso tutti i partecipanti umani hanno restituito una risposta errata, insieme a tutti i partecipanti AI.

Gli autori concludono che GPT-4o esibisce ‘capacità di ragionamento ragionevolmente robuste, nonostante l’ordine delle immagini presentate.

Conclusione

Se i MLLMs alla fine accumulano e assorbono abbastanza ‘dati di scorciatoia’ per coprire anche le sfide più difficili del tipo presentato dagli autori in questo studio, se possono o meno essere considerati come aver sviluppato capacità di generalizzazione umane in questo dominio potrebbe diventare un punto irrilevante.

Né è noto esattamente come otteniamo le nostre capacità di ragionamento temporale – otteniamo forse queste capacità ‘imbrogliando’ fino a quando la quantità di esperienza appresa non rivela un modello che si comporta come ‘istinto’ in questo tipo di test?

* Dal punto di vista che i modelli sono sempre più ottimizzati con funzioni di perdita che hanno contribuito al feedback umano, ed efficacemente ottimizzati da prove umane e successive triage.

Pubblicato per la prima volta lunedì, 27 gennaio 2025