Jigsaw-puzzler booster AI’s visuelle forståelse

Nyt forskning viser, at AI-modeller kan blive klogere på at se ved at løse jigsaw-puzzler. At omarrangere forvrængede billeder, videoer og 3D-scener hjælper dem med at skærpe deres visuelle færdigheder uden behov for ekstra data, mærker eller værktøjer.

I den nuværende kapløb for at skyde Multimodal Large Language Models (MLLMs*) fremad, er der få lette sejre og ingen gratis måltider.

Selv om mange af 2025’s række af imponerende kinesiske FOSS-udgivelser rapporteres at have lavere udviklings- og kørselsomkostninger, har vestlige udgivelser tendens til at kaste mere på problemet: mere datavolume, mere inferenskraft, mere elektricitet (selv om ikke, som vi nylig bemærkede, mere faktiske menneskelige annotatorer, da det er for dyrt selv for den $ trillion+ skala gen-AI-revolution).

I forskningslitteraturen tenderer de fleste såkaldte ‘frie’ tilgange til udviklingen af AI-arkitekturer kun at tilbyde mindre inkrementelle forbedringer; eller også forbedringer i områder, der ikke er de mest kritisk efterspurgte. Alligevel er søgningen efter hidtil ukendte ‘grundlæggende principper’, der kunne accelerere udviklingstempoet, for fristende til at opgive.

At samle stykkerne

Selv om det ikke er helt i den kategori, hævder en ny akademisk samarbejde mellem kinesiske institutioner, at de har fastlagt, at ved at lade VLM’er løse jigsaw-puzzler forbedrer deres præstation mærkbart, selv om denne reinforcement learning-tilgang tidligere har haft ringe succes i dette område, og selv om det ikke kræver ekstra systemer, hjælpemodeller eller andre ‘bolt-on’-processer:

Visual Jigsaw er en selvstyret post-træningsramme, der forbedrer visionsspecifikke færdigheder i multimodale store sprogmodeller. Ved at træne på jigsaw-opgaver på tværs af billeder, videoer og 3D-data, opnår modellerne skarpere fine-grained, rumlige og kompositionelle perception i billeder, stærkere tidsmæssig forståelse i videoer og forbedret geometri-bevidst forståelse i 3D-scener. Radar-diagrammerne i billedet ovenfor viser konsistente forbedringer over basis Qwen2.5-VL, med værdiskalaer justeret for hver benchmark til klarhed. Kilde: https://arxiv.org/pdf/2509.25190

Systemet, som forskerne har udviklet, hedder Visual Jigsaw, og indebærer træning af eksisterende MLLM’er på materiale, der er fragmenteret og tilfældigt spredt, som en jigsaw-puzzle. Forfatterne har udviklet tre modaliteter for denne tilgang: billed-, video- og 3D (dvs. CGI-stil mesh), og fandt, at en moderat tilpasning af samme proces gavnede alle tre domæner:

En repræsentation af de tre Visual Jigsaw-opgaver. I billed-jigsaw, deles et billede op i patches, blandes og modellen forudser den korrekte layout; i video-jigsaw, blandes klip og modellen genskaber deres oprindelige rækkefølge i tid; i 3D-jigsaw, blandes punkter med forskellige dybder og modellen rangerer dem fra nærmest til fjernest. Modeloutput scorer mod ground truth, med delvis kredit givet for delvis korrekte løsninger.

Visual Jigsaw’s træningsmetode hjælper AI-modeller med at forbedre deres forståelse af visuel information ved at gensamle disse forvrængede billeder, video-klip eller 3D-data punkter.

Processen er baseret på ord og ikke billeder, og derfor er der ingen behov for, at modellen genererer billeder eller bruger ekstra visuelle komponenter. Denne metode passer ind i et system kaldet Reinforcement Learning from Verifiable Rewards (RLVR), hvor modellen får belønning for korrekte svar baseret på klare, automatiske regler; og hvor, derfor, ingen menneskelig mærkning er nødvendig.

Dette kritiske faktum er faktisk svært at få øje på i den nye artikel: at systemet samler puslespillet semantisk, gennem beskrivelser, og ikke på den måde, som mennesker lærer at løse sådanne puslespil:

Fra den nye artikels supplerende materiale, et eksempel på en RL-opgave, der illustrerer den tekstbaserede natur af denne hjælpe-læringsproces. Billederne, der ville være vist til MLLM, er ikke afbildet her.

Selv om MLLM’er beskæftiger sig omfattende med visionsspecifikke opgaver, er de sprog-baserede arkitekturer, ikke designet til at generere billeder, videoer eller form-repræsentationer såsom 3D-mesh.

Eksempler fra billed-jigsaw-opgaven. Hver række viser blandede patches, som modellen skal omordne til deres oprindelige layout, med den korrekte arrangement vises til højre.

Under alle omstændigheder er denne type træning udført efter den primære læringsfase, når modellen allerede har en vis evne til at forstå billeder.

Tidligere tilgange såsom den schweiziske artikel fra 2017 Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles brugte denne type forstærkningstilgang med noget mindre succes på convolutionelle neurale netværk (CNN’er), en bemærkelsesværdigt anden type arkitektur i sammenligning med en moderne MLLM.

Fra udgivelsen ‘Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles ‘, et tidligt eksempel på brugen af fragmentering som en belønningsbaseret udfordring for et neuralt system. Kilde: https://arxiv.org/pdf/1603.09246

I tests, førte Visual Jigsaw til, hvad forfatterne hævder er konsistente og målbare forbedringer på tværs af en bred vifte af benchmarks: billed-jigsaw-opgaven forbedrede fine-grained perception, spatial layout-forståelse og kompositionel fornuft; video-jigsaw-opgaven forbedrede modellens evne til at spore tidsmæssige sekvenser og forstå begivenhedens rækkefølge; og 3D-jigsaw-opgaven styrkede dybde-baseret forståelse og rumlig fornuft ved kun at bruge RGB-D-indgang:

Over alle tre modaliteter gentager artiklen, at den nye metode overgik flere konkurrerende baselines, på trods af at den ikke krævede nogen arkitektoniske ændringer, ekstra visuelle moduler eller yderligere overvåget data:

‘Omhyggelige eksperimenter demonstrerer betydelige forbedringer i fine-grained perception, tidsmæssig fornuft og 3D-rumlig forståelse. Vores resultater fremhæver potentialet for selvstyret visionsspecifikke opgaver i post-træning af MLLM’er og sigter mod at inspirere yderligere forskning på visionsspecifikke pretext-designs.’

Den nye artikel hedder Visual Jigsaw Post-Training Improves MLLMs og kommer fra seks forskere på tværs af Nanyang Teknologiske Universitet, Linköpings Universitet og SenseTime Research. Artiklen ledsages af en projekt-side med live-demonstrationer (og du kan endda indlæse dit eget billede i billed-jigsaw-demonstrationen). Koden og vægtene for projektet er blevet gjort generelt tilgængelige,

Metode

Selv om vi skal se på, hvordan informationen deles op for at tilpasse de tre testede modaliteter, skal vi først overveje belønningsdesignet for det nye system.

Visual Jigsaw-tilgangen scorer modelrespons med en gradueret belønning, ikke bare en enkel pass eller fail. Hvis modellen forudser den eksakte korrekte rækkefølge af jigsaw-pieces, modtager den en fuld belønning; hvis svaret er mest korrekt, men ikke perfekt, får modellen delvis kredit, justeret med en diskonteringsfaktor for at undgå at overvurdere nær-misses (dette forhindrer, at modellen udnytter systemet ved at gentage gæt, der kun er delvis korrekte).

Ugyldige svar, såsom ‘cheat’ ved at bruge samme nummer gentagne gange, modtager en score på nul. For at opmuntre konsistent formatering, skal modellen placere sin fornuft indenfor <think>-tags og dens endelige svar indenfor <answer>-tags. Den modtager en lille bonus, hvis denne format er brugt korrekt.

Billeder

For at oprette en puslespil-opgave for billeder-modaliteten, deles et billede først op i en grid af patches ved at skære det op i lige store blokke:

Eksempler på billed-baserede patches, som systemet skal løse.

Patches er lagt ud i en fast rækkefølge fra top-venstre til bunden-højre, som med læseordenen på en side, før de blandes med en tilfældig shuffle. Modellen er derefter udsat for denne blandede sæt af patches og skal figure ud, hvordan den oprindelige rækkefølge kan genskabes ved at forudse den korrekte permutation, der genskaber den oprindelige layout.

Under træning blev 118.000 billeder fra COCO-datasættet brugt, med hver billede, der giver ni patches (dvs. ‘puslespilsstykker’). Prompten, der er givet til systemet, vises tidligere i denne artikel (billedet ovenfor med underteksten, der begynder ‘Fra den nye artikels supplerende materiale’).

Video

For video-jigsaw-opgaven, skæres en video op i en sekvens af klip ved at skære den op på tværs af tid, og derefter blandes klip-sekvensen. Modellen er derefter vist denne forvrængede sekvens og skal figure ud, hvordan deres korrekte, oprindelige kronologiske rækkefølge kan genskabes.

Afskårne eksempler på video-puslespilsudfordringen, fra artiklens supplerende materiale.

Træningen for denne modalitet brugte 100.000 videoer fra LLaVA-Video-datasættet, med hver video, der er skåret op i seks klip. For at forhindre, at modellen udnytter åbenlyse ramme-matching-kurver ved klip-grænser, blev 5% af rammerne i begyndelsen og slutningen af hver klip klippet af.

Klip indeholdt ikke mere end 12 rammer, hver med en maksimal opløsning på 128x28x28 pixels. Videoer, der var kortere end 24 sekunder, blev udeladt.

Prompten for denne opgave vises nedenfor:

Den forstærkede læringsprompt, der er præsenteret til MLLM’erne for video-opgaven, uden klip, der ville være præsenteret til MLLM’erne.

3D-data

En fuld 3D-jigsaw-opgave ville normalt indebære at bryde en 3D-rum (såsom voxel-blokke eller punkt-sky-fragmenter) op i mindre stykker og træne en model til at genskabe deres oprindelige rumlige layout.

Men den gennemsnitlige MLLM er ikke udstyret til at håndtere rå 3D-data direkte, men afhænger i stedet af semantisk-interpreterede billed- eller video-indgange. Derfor introducerede forfatterne en mere håndterbar variant, der bruger ovennævnte RGB-D-billeder (dvs. 2D-billeder, der indeholder dybdeinformation for hvert pixel).

Eksempler på spørgsmål fra 3D Spatial Understanding Benchmark, der bruges til at evaluere præstation på relativ viewpoint og kamera-bevægelses-fornuft. 3D Jigsaw-modellen korrekt antager både den rumlige relation mellem to visninger af en scene og den sandsynlige retning af kamera-rotation, og overgår Qwen2.5-VL-7B-basen.

Fra hver RGB-D-billede, får modellen en blandet liste over punkter, der oprindeligt havde forskellige dybder, der strækker sig fra nær til fjern, med det formål at genskabe deres korrekte dybde-baserede rækkefølge ved kun at bruge 2D-billedet som reference:

Den forstærkede læringsprompt for 3D-jigsaw.

Hver punkt er markeret på billedet (der vises til modellen, men ikke visualiseret i prompt-eksemplet ovenfor), og modellen skal forudse, hvilket der var nærmest, næstnærmest osv., og dermed genskabe den oprindelige dybde-sekvens uden adgang til de rene dybdeværdier.

3D-jigsaw-opgaven er trænet på RGB-D-billeder fra ScanNet-datasættet, ved at vælge tilfældige sæt af seks dybde-punkter per billede.

Eksempler på punkt-skyer fra ScanNet-datasættet, der bruges i 3D-jigsaw.

Hver punkt skulle ligge inden for en dybde-række på 0,1 til 10 meter, og for at fremme diversitet, måtte ingen to punkter i et sæt være tættere end 40 pixels i billedplanet eller mindre end 0,2 meter fra hinanden i dybde.

Tests

For de første tests, brugte systemet Qwen2.5-VL-7B-Instruct som basis multimodal model. Træning brugte Group Relative Policy Optimization (GRPO)-algoritmen, med både KL-regulering og entropi-tab fjernet.

For delvise forudsigelser, blev en diskonteringsfaktor på 0,2 anvendt. Billed-jigsaw-træning brugte en global batch-størrelse på 256, mens video- og 3D-jigsaw brugte 128. Læringshastigheden blev sat til 1×10⁻⁶.

For hver prompt, genererede modellen 16 svar ved en afkodnings temperatur på 1,0. Både billed- og video-jigsaw-opgaver blev trænet i 1.000 trin, mens 3D-jigsaw-opgaven blev trænet i 800 trin.

Billed-jigsaw

Billed-jigsaw-modellen blev testet på tre kategorier af visionsspecifikke benchmarks: for fine-grained perception og forståelse, MMVP, fine-grained perception-underdel af MMStar; MMBench; HR-Bench; V*; MME-RealWorld (lite); LISA-Grounding; og OVD-Eval.

For monokulær spatial forståelse, var benchmarks VSR; OmniSpatial; og Depth Anything V2 (DA-2K). For kompositionel visuel forståelse, blev tests udført med Winoground og SugerCrepe++.

Tre baselines blev testet, alle afledt fra Qwen2.5-VL-7B: ThinkLite-VL for multimodal fornuft; VL-Cogito for generel vision og videnskabelige opgaver; og LLaVA-Critic-R1 for billed-perception.

Alle blev evaluerede ved hjælp af korte svar alene, da kæde af tanker (CoT) fornuft nogle gange reducerede præstationen.

Evaluationsresultater på billed-benchmarks. Billed-jigsaw forbedrede på Qwen2.5-VL-7B-basen over alle opgave-kategorier (dvs. fine-grained perception og forståelse; monokulær spatial forståelse; og kompositionel visuel fornuft), og overgik tidligere post-trænet baselines.

Af resultaterne for billed-jigsaw, ovenfor, siger forfatterne:

‘[Billedet ovenfor] viser, at vores metode konsistent forbedrer visionsspecifikke færdigheder på de tre typer benchmarks. Disse resultater bekræfter, at inkorporering af billed-jigsaw post-træning betydeligt forbedrer MLLM’ernes perceptionelle grundlag og fine-grained vision-forståelse ud over fornufts-centreret post-træningsstrategier.

‘Vi tilskriver disse forbedringer det faktum, at løsning af billed-jigsaw kræver, at modellen beskæftiger sig med lokale patch-detajler, slutninger om globale spatial layouts og fornuft om inter-patch-relationer, hvilket direkte gavner fine-grained, spatial og kompositionel forståelse.’

Video-jigsaw

For video-jigsaw, blev evaluering udført på AoTBench; Vinoground; TOMATO; FAVOR-Bench; TUNA-Bench; Video-MME; TempCompass; TVBench; MotionBench; LVBench; VSI-Bench; Video-TT; og CVBench.

Video-R1 blev brugt som baseline, efter at være blevet trænet med kold-start overvåget finjustering efterfulgt af forstærkninglæring for video-forståelse og fornuft. I dette tilfælde blev evalueringerne inkluderet i den fulde fornuftsproces, da dette konsistent producerede bedre resultater end direkte svar.

Alle modeller blev begrænset til 256x28x28 pixels og testet på tre ramme-indstillinger – 16, 32 og 64:

Evaluationsresultater på video-benchmarks, med Video-jigsaw, der konsistent overgår baselinen på alle opgaver og ramme-indstillinger.

Video-jigsaw producerede konsistente forbedringer på tværs af alle video-forståelsesbenchmarks og ramme-indstillinger, med særligt store gevinster på opgaver, der kræver tidsmæssig fornuft og retning, såsom dem i AoTBench, og også i cross-video fornuft-benchmarks, såsom CVBench:

‘Disse resultater bekræfter, at løsning af video-jigsaw-opgaver opmuntre modellen til bedre at fange tidsmæssig kontinuitet, forstå relationer på tværs af videoer, fornuft om retning og generalisere til holistiske og generaliserbare video-forståelsesscenarier.’

3D-data

For 3D-modaliteten blev modellen evaluaret på SAT-Real; 3DSRBench; ViewSpatial; All-Angles; den ovennævnte OmniSpatial; VSI-Bench; SPARBench (tiny); og den ovennævnte DA-2K.

Evaluationsresultater på 3D-benchmarks: 3D Jigsaw forbedrede præstation på dybde-sammenligningsopgaver såsom DA-2K, såvel som bredere 3D-perception-benchmarks, der dækker enkelt-visning, multi-visning og egocentrisk video-indgange.

Her siger forfatterne:

‘[3D] Jigsaw opnår betydelige forbedringer på tværs af alle benchmarks. Ikke overraskende er den største gevinst på DA-2K, en dybde-estimeringsbenchmark, der direkte er relateret til vores dybde-ordningspræ-træningsopgave. Endnu vigtigere observerer vi konsistente forbedringer på en bred vifte af andre opgaver, herunder dem med enkelt-visning (f.eks. 3DSRBench, [OmniSpatial]), multi-visning (f.eks. ViewSpatial, All-Angles) og egocentrisk video-indgange (f.eks. VSI-Bench).

‘Disse resultater demonstrerer, at vores tilgang ikke kun lærer den specifikke færdighed i dybde-ordning, men også effektivt styrker modellens generelle evne til at percipere og forstå 3D-rumlig struktur.’

Konklusion

Hvad der ikke er helt klart fra denne artikel, er den eksakte relation mellem billeder og beskrivelser, der driver denne forbedring af MLLM-præstation.

På overfladen ligner processen at lære gennem puslespils-løsning meget vores egen tidlige forsøg og udvikling. Men vores egen rumlige fortolkning af verden føles instinktivt mindre semantisk og relateret til sprog, og en dybere kig på artiklen afslører, i hvilken udstrækning sprog tjener MLLM som en fascinerende bro mellem visuelle og semantiske realiteter.

* Vær venlig at bemærk, at artiklens forfattere foretrækker den mindre almindelige betegnelse ‘Multimodal Large Language Models’, forkortet til ‘MLLMs’. Dette er en opkommenterm, der anvendes på modeller, der kan omfattende fornuft og analysere billeder rumligt, men som ikke genererer billeder. Da nye paradigmer og modeller opstår, er denne leksikon under konstant revision.

Først udgivet torsdag, 2. oktober 2025