I Rompicapo Jigsaw Migliorano la Ragione Visiva dell’Intelligenza Artificiale

Una nuova ricerca indica che i modelli di intelligenza artificiale possono diventare più intelligenti nel vedere risolvendo rompicapo jigsaw. Riordinare immagini, video e scene 3D confuse aiuta a migliorare le loro abilità visive senza la necessità di dati aggiuntivi, etichette o strumenti.

Nella corsa attuale per spingere i Multimodal Large Language Models (MLLM) avanti rispetto al resto, ci sono poche vittorie facili e nessun pasto gratuito.

Sebbene molte delle impressionanti release FOSS cinesi del 2025 abbiano bassi costi di sviluppo e di esecuzione, le release occidentali tendono a gettare più nel problema: più volume di dati, più potenza di inferenza, più elettricità (anche se non, come abbiamo notato di recente, più annotatori umani reali, poiché questo è troppo costoso anche per la rivoluzione dell’intelligenza artificiale su scala di trilioni di dollari).

Nella letteratura di ricerca, la maggior parte degli approcci presunti “gratuiti” all’evoluzione delle architetture dell’intelligenza artificiale tende a offrire solo miglioramenti incrementali minori; o miglioramenti in aree che non sono le più criticamente perseguite. Tuttavia, la ricerca di “principi fondamentali” finora non scoperti che potrebbero accelerare il ritmo dello sviluppo è troppo allettante per essere abbandonata.

Raccogliendo i Pezzi

Mentre non è proprio in quella categoria, una nuova collaborazione accademica tra istituzioni cinesi afferma di aver determinato che far risolvere ai VLM (Visual Language Model) rompicapo jigsaw migliora notevolmente le loro prestazioni, anche se questo approccio di apprendimento per rinforzo ha precedentemente avuto scarso successo in questa area, e anche se non richiede sistemi aggiuntivi, modelli ausiliari o processi “agganciati” aggiuntivi:

Visual Jigsaw è un framework di post-formazione auto-supervisionato che migliora le abilità visive nei modelli di linguaggio multimodale grandi. Formando su compiti jigsaw attraverso immagini, video e dati 3D, i modelli guadagnano una percezione più fine, spaziale e compositiva nelle immagini, una ragione temporale più forte nei video e una comprensione più consapevole della geometria nelle scene 3D. I grafici a raggiera nell’immagine sopra mostrano guadagni costanti rispetto al modello di base Qwen2.5-VL, con scale di valore regolate per ogni benchmark per chiarezza. Fonte: https://arxiv.org/pdf/2509.25190

Il sistema ideato dai ricercatori si intitola Visual Jigsaw e consiste nel formare i MLLM esistenti su materiale che è stato frammentato e disperso casualmente, come un rompicapo. Gli autori hanno sviluppato tre modalità per questo approccio: immagine, video e 3D (cioè, mesh di tipo CGI), e hanno scoperto che un adattamento moderato dello stesso processo ha beneficiato tutti e tre i domini:

Una rappresentazione dei tre compiti Visual Jigsaw. Nel Jigsaw delle immagini, un’immagine è divisa in patch, mescolate e il modello predice la disposizione corretta; nel Jigsaw del video, i clip sono mescolati e il modello ripristina il loro ordine cronologico; nel Jigsaw 3D, i punti con diverse profondità sono mescolati e il modello li classifica da più vicino a più lontano. Le uscite del modello sono valutate rispetto alla verità di riferimento, con credito parziale concesso per soluzioni parzialmente corrette.

Il metodo di formazione di Visual Jigsaw aiuta i modelli di intelligenza artificiale a migliorare la comprensione delle informazioni visive facendoli riordinare queste immagini, clip video o dati 3D confusi.

Il processo si basa sulle parole e non sulle immagini, quindi non c’è bisogno che il modello generi immagini o utilizzi componenti visive aggiuntive. Questo metodo rientra in un sistema chiamato Apprendimento per Rinforzo da Ricompense Verificabili (RLVR), dove il modello riceve una ricompensa per risposte corrette in base a regole chiare e automatiche; e dove, quindi, non è richiesta etichettatura umana.

Questo fatto cruciale è in realtà difficile da capire dal nuovo articolo: che il sistema sta assemblando il rompicapo semanticamente, attraverso descrizioni, e non nel modo rappresentativo della forma che gli esseri umani imparano a risolvere tali rompicapo:

Dall’articolo supplementare del nuovo articolo, un esempio di compito RL che illustra la natura testuale di questo processo di apprendimento aggiuntivo. Le immagini che sarebbero state mostrate al MLLM non sono rappresentate qui.

Sebbene i MLLM trattino estensivamente compiti visivi, sono architetture basate sul linguaggio, non progettate per generare immagini, video o rappresentazioni di forme come mesh 3D.

Esempi del compito jigsaw delle immagini. Ogni riga mostra patch mescolate che il modello deve riordinare nella loro disposizione originale, con la disposizione corretta mostrata a destra.

In ogni caso, questo tipo di formazione viene eseguito dopo la fase di apprendimento principale, quando il modello ha già una certa capacità di comprendere le immagini.

Approcci precedenti come il documento del 2017 Apprendimento Non Supervisionato di Rappresentazioni Visive Risolvendo Rompicapo Jigsaw hanno utilizzato questo tipo di approccio di apprendimento per rinforzo con meno successo, su reti neurali convoluzionali (CNN), un tipo di architettura notevolmente diverso rispetto a un moderno MLLM.

Dal rilascio del 2017 ‘Apprendimento Non Supervisionato di Rappresentazioni Visive Risolvendo Rompicapo Jigsaw ‘, un esempio precoce dell’uso della frammentazione come sfida basata su ricompense per un sistema neurale.

Nelle prove, Visual Jigsaw ha portato a quello che gli autori affermano essere miglioramenti costanti e misurabili in una vasta gamma di benchmark: il compito jigsaw delle immagini ha migliorato la percezione fine, la comprensione dello spazio e la ragione compositiva; il compito jigsaw del video ha migliorato la capacità del modello di tracciare sequenze temporali e ragionare sull’ordine degli eventi; e il compito jigsaw 3D ha rafforzato la comprensione basata sulla profondità e la ragione spaziale utilizzando solo input RGB-D:

In tutti e tre i modi, l’articolo ribadisce, il nuovo metodo ha superato diverse baseline competitive, nonostante non richiedesse cambiamenti architettonici, moduli visivi aggiuntivi o dati supervisionati aggiuntivi:

‘Esperienze estensive dimostrano miglioramenti sostanziali nella percezione fine, nella ragione temporale e nella comprensione spaziale 3D. I nostri risultati evidenziano il potenziale di compiti visivi auto-supervisionati nella post-formazione dei MLLM e mirano a ispirare ulteriori ricerche su progetti di pretesto visivo-centrici.’

Il nuovo articolo si intitola Visual Jigsaw Post-Formazione Migliora i MLLM e proviene da sei ricercatori di Nanyang Technological University, Linköping University e SenseTime Research. L’articolo è accompagnato da un sito del progetto con demo live (e puoi anche caricare la tua immagine nel demo jigsaw basato su immagini). Il codice e i pesi per il progetto sono stati resi generalmente disponibili,

Metodo

Sebbene esamineremo il modo in cui le informazioni vengono suddivise per adattarsi alle tre modalità testate, dovremmo prima considerare la progettazione della ricompensa per il nuovo sistema.

Il metodo Visual Jigsaw valuta le risposte del modello utilizzando una ricompensa graduata, non solo un semplice pass o fail. Se il modello predice l’ordine esatto delle tessere del rompicapo, riceve una ricompensa completa; se la risposta è per lo più corretta, ma non perfetta, il modello riceve un credito parziale, scalato da un fattore di sconto per evitare di sovrastimare i quasi-errori (ciò impedisce al modello di barare il sistema ripetendo ipotesi che sono solo parzialmente corrette).

Risposte non valide, come l’‘”imbroglio” di utilizzare lo stesso numero ripetutamente, ricevono un punteggio di zero. Per incoraggiare la formattazione coerente, il modello deve inserire la sua ragione all’interno di <think> e la sua risposta finale all’interno di <answer>; riceve un piccolo bonus se questo formato viene utilizzato correttamente.

Immagini

Per creare un rompicapo per la modalità immagine, un’immagine viene prima divisa in una griglia di patch tagliandola in blocchi di dimensioni uguali:

Esempi di patch basate su immagini per il sistema da risolvere.

Le patch vengono disposte in un ordine fisso da sinistra a destra, come nell’ordine di lettura di una pagina, prima di essere mescolate con una mescolanza casuale. Il modello viene quindi esposto a questo set di patch mescolate e deve capire l’ordine originale prediligendo la permutazione corretta che ripristina la disposizione originale.

Durante la formazione, sono state utilizzate 118.000 immagini dal set di dati COCO, con ogni immagine che produceva nove patch (cioè “pezzi del rompicapo”). Il prompt presentato al sistema è mostrato all’inizio di questo articolo (l’immagine con la didascalia iniziante ‘Dall’articolo supplementare del nuovo articolo’).

Video

Per il compito jigsaw del video, un video viene tagliato in una sequenza di clip dividendo uniformemente il tempo e poi mescolando i segmenti di clip. Il modello viene quindi mostrato questa sequenza mescolata e deve capire il loro ordine cronologico originale.

Esempi troncati della sfida del rompicapo del video, dal materiale supplementare dell’articolo.

La formazione per questa modalità ha utilizzato 100.000 video dal set di dati LLaVA-Video, con ogni video diviso in sei clip. Per evitare che il modello sfrutti ovvi indizi di corrispondenza dei frame ai confini dei clip, il 5% dei frame all’inizio e alla fine di ogni clip è stato tagliato.

I clip contenevano non più di 12 frame, ciascuno con una risoluzione massima di 128x28x28 pixel. I video più corti di 24 secondi sono stati esclusi.

Il prompt per questo compito è mostrato di seguito:

Il prompt di apprendimento per rinforzo presentato ai MLLM per il compito del video, senza i clip che sarebbero stati presentati al MLLM..

Dati 3D

Un compito jigsaw 3D completo comporterebbe normalmente la rottura di uno spazio 3D (come blocchi voxel o frammenti di nuvola di punti) in pezzi più piccoli e la formazione di un modello per ricostruire la loro disposizione spaziale originale.

Tuttavia, il modello MLLM medio non è in grado di gestire dati 3D grezzi direttamente, ma si affida a input di immagini o video interpretati semanticamente. Pertanto, per creare un compito che attivi ancora la ragione 3D pur restando compatibile con i MLLM attuali, gli autori hanno introdotto una variante più fattibile utilizzando le immagini RGB-D (cioè immagini 2D che includono informazioni sulla profondità per ogni pixel).

Esempi di domande dal Benchmark di Comprensione Spaziale 3D utilizzato per valutare le prestazioni sulla ragione della vista relativa e del moto della telecamera. Il modello jigsaw 3D inferisce correttamente sia la relazione spaziale tra due viste di una scena che la direzione probabile della rotazione della telecamera, superando la baseline Qwen2.5-VL-7B.

Da ogni immagine RGB-D, il modello riceve un elenco di punti mescolati che originariamente avevano profondità diverse, che vanno da vicino a lontano, con l’obiettivo di recuperare la loro disposizione di profondità corretta utilizzando solo l’immagine 2D come riferimento:

Il prompt RL per il jigsaw 3D.

Ogni punto è contrassegnato sull’immagine (che viene mostrata al modello, ma non visualizzata nell’esempio di prompt sopra), e il modello deve prevedere quale era il più vicino, il secondo più vicino e così via, effettivamente ricostruendo la sequenza di profondità originale senza accesso ai valori di profondità grezzi.

Il compito jigsaw 3D è stato addestrato su immagini RGB-D dal set di dati ScanNet, utilizzando 300.000 campioni creati selezionando set casuali di sei punti di profondità per immagine.

Esempi di nuvole di punti dal set di dati ScanNet utilizzato nel jigsaw 3D. Fonte: https://arxiv.org/pdf/1702.04405

Ogni punto doveva trovarsi all’interno di un intervallo di profondità di 0,1 a 10 metri e, per promuovere la diversità, non due punti in un set potevano essere più vicini di 40 pixel nel piano dell’immagine o meno di 0,2 metri di distanza nella profondità.

Test

Per i test iniziali, il sistema ha utilizzato Qwen2.5-VL-7B-Instruct come modello multimodale di base. La formazione ha utilizzato l’algoritmo di Ottimizzazione della Politica Relativa del Gruppo (GRPO), con entrambi regolarizzazione KL e perdita di entropia rimossi.

Per le previsioni parziali, è stato applicato un fattore di sconto di 0,2. La formazione del jigsaw delle immagini ha utilizzato una dimensione del batch globale di 256, mentre il jigsaw del video e del 3D ha utilizzato 128. Il tasso di apprendimento è stato impostato su 1×10⁻⁶.

Per ogni prompt, il modello ha generato 16 risposte a una temperatura di decodifica di 1,0. Sia il compito jigsaw delle immagini che quello del video sono stati addestrati per 1.000 passi, mentre il compito jigsaw 3D è stato addestrato per 800 passi.

Jigsaw delle Immagini

Il modello jigsaw delle immagini è stato testato in tre categorie di benchmark visivi: per la percezione fine e la comprensione, MMVP, il subset di percezione fine di MMStar; MMBench; HR-Bench; V*; MME-RealWorld (lite); LISA-Grounding; e OVD-Eval.

Per la comprensione spaziale monocolare, i benchmark sono stati VSR; OmniSpatial; e Depth Anything V2 (DA-2K). Per la comprensione visiva compositiva, i test hanno impiegato Winoground e SugerCrepe++.

Tre baseline sono state testate, tutte derivate da Qwen2.5-VL-7B: ThinkLite-VL per il ragionamento multimodale; VL-Cogito per compiti visivi e scientifici generali; e LLaVA-Critic-R1 per la percezione delle immagini.

Tutti sono stati valutati utilizzando solo risposte brevi, poiché la ragione della catena di pensieri (CoT) a volte riduce le prestazioni.

Risultati di valutazione sui benchmark delle immagini. Il jigsaw delle immagini ha migliorato il modello di base Qwen2.5-VL-7B in tutte le categorie di compiti (cioè percezione fine e comprensione; comprensione spaziale monocolare; e ragione visiva compositiva), superando le baseline post-formate precedenti.

Dei risultati del jigsaw delle immagini, mostrati sopra, gli autori affermano:

‘[L’immagine sopra] mostra che il nostro metodo migliora costantemente le capacità visive nei tre tipi di benchmark. Questi risultati confermano che l’inclusione della post-formazione del jigsaw delle immagini migliora notevolmente la comprensione visiva e la percezione fine dei MLLM oltre le strategie di post-formazione basate sulla ragione.’

‘Attribuiamo questi miglioramenti al fatto che risolvere il jigsaw delle immagini richiede al modello di prestare attenzione ai dettagli locali delle patch, inferire la disposizione spaziale globale e ragionare sulle relazioni inter-patch, il che beneficia direttamente la comprensione fine, spaziale e compositiva.’

Jigsaw del Video

Per il jigsaw del video, la valutazione è stata condotta su AoTBench; Vinoground; TOMATO; FAVOR-Bench; TUNA-Bench; Video-MME; TempCompass; TVBench; MotionBench; LVBench; VSI-Bench; Video-TT; e CVBench.

Video-R1 è stato utilizzato come baseline, addestrato con una formazione supervisionata a freddo seguita da apprendimento per rinforzo per la comprensione e la ragione del video. In questo caso, le valutazioni hanno incluso l’intero processo di ragionamento, poiché questo ha prodotto costantemente risultati migliori rispetto alle risposte dirette.

Tutti i modelli sono stati limitati a 256x28x28 pixel e testati su tre impostazioni di frame: 16, 32 e 64:

Risultati di valutazione sui benchmark del video, con il jigsaw del video che supera costantemente la baseline in tutti i compiti e le impostazioni dei frame.

Il jigsaw del video ha prodotto miglioramenti costanti in tutti i benchmark di comprensione del video e nelle impostazioni dei frame, con guadagni particolarmente forti nei compiti che richiedono ragione temporale e direzionalità, come quelli in AoTBench, e anche nei benchmark di ragione cross-video, come CVBench:

‘Questi risultati confermano che risolvere i compiti jigsaw del video incoraggia il modello a catturare meglio la continuità temporale, a comprendere le relazioni tra i video, a ragionare sulla coerenza direzionale e a generalizzare a scenari di comprensione del video olistici e generalizzabili.’

Dati 3D

Per la modalità 3D, il modello è stato valutato su SAT-Real; 3DSRBench; ViewSpatial; All-Angles; il già menzionato OmniSpatial; VSI-Bench; SPARBench (tiny); e il già menzionato DA-2K.

Risultati di valutazione sui benchmark 3D: il jigsaw 3D ha migliorato le prestazioni nei compiti di confronto di profondità come DA-2K, nonché nei benchmark di percezione 3D più ampi che coprono input di video singolo, multi-vista ed egocentrico.

Qui gli autori affermano:

‘[Il jigsaw 3D] raggiunge miglioramenti significativi in tutti i benchmark. Non sorprendentemente, il guadagno più grande è su DA-2K, un benchmark di stima della profondità che è direttamente correlato al nostro compito di ordinamento della profondità. Più importante, osserviamo miglioramenti costanti su una vasta gamma di altri compiti, tra cui quelli con input di video singolo (ad esempio 3DSRBench, [OmniSpatial]), multi-vista (ad esempio ViewSpatial, All-Angles) e video egocentrico (ad esempio VSI-Bench). ‘

‘Questi risultati dimostrano che il nostro approccio non solo insegna la competenza specifica dell’ordinamento della profondità, ma rafforza anche efficacemente la capacità generale del modello di percepire e ragionare sulla struttura spaziale 3D.’

Conclusione

Ciò che non è del tutto chiaro da questo articolo è la relazione esatta tra immagini e descrizioni che sta alimentando questo miglioramento delle prestazioni dei MLLM.

Ad una prima occhiata, il processo di apprendimento attraverso la risoluzione di rompicapo sembra molto analogo alle nostre prime incursioni e sviluppo. Tuttavia, un’analisi più approfondita dell’articolo rivela l’entità in cui il linguaggio serve ai MLLM come un ponte intrigante tra realtà visive e semantiche.

* Si prega di notare che gli autori dell’articolo preferiscono il termine meno comune ‘Multimodal Large Language Models’, abbreviato in ‘MLLM’. Questo è un termine emergente o poco utilizzato, e si applica a modelli che possono ragionare e analizzare estensivamente le immagini nello spazio, ma che non generano immagini. Man mano che emergono nuovi paradigmi e modelli, questo lessico è sotto costante revisione.

Pubblicato per la prima volta giovedì 2 ottobre 2025