Pussel förbättrar AI:s visuella resonemang

Nya studier visar att AI-modeller kan bli smartare på att se genom att lösa pussel. Att ordna om blandade bilder, videor och 3D-scener hjälper dem att skärpa sina visuella färdigheter utan behov av extra data, etiketter eller verktyg.

I den nuvarande kampen för att driva Multimodal Large Language Models (MLLMs) framåt, finns det få enkla vinster och inga gratis luncher.

Även om många av 2025 års mängd av imponerande kinesiska FOSS-utgåvor rapporteras ha lägre utvecklings- och driftskostnader, tenderar västerländska utgåvor att kasta mer på problemet: mer data volym, mer inferens kraft, mer elektricitet (även om inte, som vi nyligen noterade, fler faktiska mänskliga annotatorer, eftersom det är för dyrt även för den $trillion+ skala gen-AI-revolutionen).

I forskningslitteraturen tenderar de flesta påstådda “gratis” tillvägagångssätten för utvecklingen av AI-arkitekturer att endast erbjuda mindre inkrementella förbättringar; eller också förbättringar inom områden som inte är de mest kritiskt eftersträvade. Trots allt är sökandet efter hittills oupptäckta “grundläggande principer” som kunde accelerera utvecklingstakten för lockande att överge.

Att plocka upp bitarna

Medan det inte riktigt är i den kategorin, hävdar en ny akademisk samarbete mellan kinesiska institutioner att de har fastställt att att göra VLMs lösa pussel förbättrar deras prestanda märkbart, även om denna förstärkt inlärning tidigare har presterat dåligt i detta område, och även om det kräver inga extra system, hjälpmodeller eller andra “påskruvade” processer:

Visual Jigsaw är en självständig post-träningsram som förbättrar vision-centrerade färdigheter i multimodala stora språkmodeller. Genom att träna på pusseluppgifter över bilder, videor och 3D-data förbättrar modellerna sin skärpa, fina, rumsliga och kompositionella perception i bilder, starkare tidsmässig resonemang i videor och förbättrad geometri-medveten förståelse i 3D-scener. Radar-diagrammen i bilden ovan visar konsekventa vinster över bas Qwen2.5-VL, med värdeskalan justerad för varje benchmark för tydlighet. Källa: https://arxiv.org/pdf/2509.25190

Systemet som forskarna har utvecklat kallas Visual Jigsaw, och består i att träna befintliga MLLMs på material som har fragmenterats och slumpmässigt spridits ut, som ett pussel. Författarna utvecklade tre modaliteter för detta tillvägagångssätt: bild, video och 3D (dvs. CGI-stil nät), och fann att en måttlig anpassning av samma process gynnade alla tre domänerna:

En representation av de tre Visual Jigsaw-uppgifterna. I Image Jigsaw delas en bild upp i bitar, blandas och modellen förutsäger den korrekta layouten; i Video Jigsaw blandas klipp och modellen återställer deras ursprungliga ordning i tiden; i 3D Jigsaw blandas punkter med olika djup och modellen rangordnar dem från närmaste till längst. Modellens utdata bedöms mot sanningen, med delvis kredit för delvis korrekta lösningar.

Visual Jigsaw-metoden hjälper AI-modeller att förbättra sin förståelse av visuell information genom att låta dem återmontera dessa förvirrade bilder, videoklipp eller 3D-data punkter.

Processen baseras på ord snarare än bilder, och därför behöver modellen inte generera bilder eller använda några extra visuella komponenter. Denna metod passar in i ett system som kallas Reinforcement Learning from Verifiable Rewards (RLVR), där modellen belönas för korrekta svar baserat på tydliga, automatiska regler; och där, därför, ingen mänsklig etikettering krävs.

Denna avgörande faktum är faktiskt svårt att utläsa från den nya artikeln: att systemet sätter ihop pusslet semantiskt, genom beskrivningar, och inte på det sätt som människor lär sig att lösa sådana pussel:

Från den nya artikeln, ett exempel på en RL-uppgift som visar den textbaserade naturen hos denna tilläggsinlärningsprocess. Bilderna som skulle ha visats för MLLM visas inte här.

Även om MLLMs hanterar omfattande vision-centrerade uppgifter, är de språkbaserade arkitekturer, inte utformade för att generera bilder, videor eller form-representationer som 3D-nät.

Exempel från image jigsaw-uppgiften. Varje rad visar blandade bitar som modellen måste omordna till sin ursprungliga layout, med den korrekta anordningen visas till höger.

I vilket fall som helst, genomförs denna typ av träning efter den huvudsakliga inlärningsfasen, när modellen redan har viss förmåga att förstå bilder.

Tidigare tillvägagångssätt, såsom den 2017 Swiss artikeln Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles använde denna typ av förstärkt tillvägagångssätt med ganska mindre framgång, på convolutionella neurala nätverk (CNN), en märkbart annorlunda typ av arkitektur i jämförelse med en modern MLLM.

Från 2017-utgåvan ‘Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles ‘, ett tidigt exempel på användningen av fragmentering som en belöningsbaserad utmaning för ett neuralt system. Källa: https://arxiv.org/pdf/1603.09246

I tester ledde Visual Jigsaw till vad författarna hävdar vara konsekventa och mätbara förbättringar över ett brett spektrum av benchmark: image jigsaw-uppgiften förbättrade fina, rumsliga och kompositionella resonemang; video jigsaw-uppgiften förbättrade modellens förmåga att spåra tidsmässiga sekvenser och resonera om händelseordning; och 3D jigsaw-uppgiften stärkte djupbaserad förståelse och rumsligt resonemang med hjälp av endast RGB-D indata.

Över alla tre modaliteter upprepar artikeln att den nya metoden överträffade flera konkurrerande baslinjer, trots att den inte krävde några arkitektoniska förändringar, extra visuella moduler eller ytterligare övervakad data:

‘Omfattande experiment visar betydande förbättringar i fina, tidsmässiga och 3D-rumsliga förståelse. Våra resultat betonar potentialen för självständiga vision-centrerade uppgifter i post-träning MLLMs och syftar till att inspirera ytterligare forskning om vision-centrerade pretext-designer.’

Den nya artikeln heter Visual Jigsaw Post-Training Improves MLLMs, och kommer från sex forskare från Nanyang Technological University, Linköping University och SenseTime Research. Artikeln åtföljs av en projektsida med live-demonstrationer (och du kan till och med ladda upp din egen bild i image-baserad jigsaw-demonstration). Koden och vikterna för projektet har gjorts allmänt tillgängliga,

Metod

Även om vi ska titta på hur informationen delas upp för att anpassa de tre testade modaliteterna, bör vi först överväga belöningens design för det nya systemet.

Visual Jigsaw-ansatsen bedömer modellens svar med en graderad belöning, inte bara ett enkelt godkänt eller underkänt. Om modellen förutsäger den exakta korrekta ordningen på pusselbitarna, får den en fullständig belöning; om svaret är mestadels rätt, men inte perfekt, får modellen en delvis kredit, skalad med en diskonteringsfaktor för att undvika att övervärdera nära-missar (detta förhindrar att modellen utnyttjar systemet genom att upprepa gissningar som bara är delvis korrekta).

Ogiltiga svar, såsom ‘fusket’ att använda samma nummer upprepat, får en poäng på noll. För att uppmuntra konsekvent formatering, måste modellen placera sin resonemang inom <think> taggar och sitt slutliga svar inom <answer> taggar. Den får en liten bonus om denna formatering används korrekt.

Bilder

För att skapa ett pussel för bilder modaliteten, delas en bild först upp i en grid av bitar genom att skära den i lika stora block:

Exempel på bildbaserade bitar för systemet att lösa.

Bitarna läggs ut i en fast ordning från övre vänstra till nedre högra, som vid läsordning på en sida, innan de blandas med en slumpmässig omrörning. Modellen exponeras sedan för denna omrörda uppsättning bitar och måste lista ut den ursprungliga ordningen genom att förutsäga den korrekta permutationen som återställer den ursprungliga layouten.

Under träning användes 118 000 bilder från COCO-databasen, med varje bild som gav nio bitar (dvs. ‘pusselbitar’). Promten som gavs till systemet visas tidigare i denna artikel (bilden ovan med undertexten som börjar ‘Från den nya artikeln’).

Video

För video jigsaw-uppgiften, skärs en video upp i en sekvens av klipp genom att skära den jämnt över tiden, och sedan blandas klippen. Modellen visas sedan denna omrörda sekvens och måste lista ut deras korrekta, ursprungliga kronologiska ordning.

Trunkerade exempel på video-pusselutmaningen, från artikeln.

Träningen för denna modalitet använde 100 000 videor från LLaVA-Video-databasen, med varje video som delades upp i sex klipp. För att förhindra att modellen utnyttjar uppenbara ram-matcherings- signaler vid klip-gränser, trimmades 5% av ramarna i början och slutet av varje klipp.

Klippen innehöll inte mer än 12 ramar, var och en med en maximal upplösning på 128x28x28 pixlar. Videor som var kortare än 24 sekunder uteslöts.

Promten för denna uppgift visas nedan:

Den förstärkta inlärningspromten som presenterades för MLLMs för video-uppgiften, utan klippen som skulle ha presenterats för MLLM.

3D-data

En fullständig 3D-pusseluppgift skulle vanligtvis innebära att bryta upp ett 3D-utrymme (såsom voxel block eller punkt-moln fragment) i mindre bitar och träna en modell för att rekonstruera deras ursprungliga rumsliga layout.

Men den genomsnittliga MLLM är inte utrustad för att hantera rå 3D-data direkt, utan förlitar sig på semantiskt tolkade bild- eller videoinmatningar. Därför introducerade författarna en mer hanterbar variant som använder nämnda RGB-D-bilder (dvs. 2D-bilder som innehåller djupinformation för varje pixel).

Exempel på frågor från 3D Spatial Understanding Benchmark som användes för att utvärdera prestanda på relativ vy och kamerarörelse-resonemang. 3D Jigsaw-modellen korrekt förutsäger både den rumsliga relationen mellan två vyer av en scen och den troliga riktningen för kamerarotation, och överträffar Qwen2.5-VL-7B-baslinjen.

Från varje RGB-D-bild, ges modellen en omrörda lista med punkter som ursprungligen hade olika djup, som sträckte sig från nära till långt, med målet att återvinna deras korrekta djupbaserade ordning med hjälp av endast 2D-bilden som referens:

Den förstärkta inlärningspromten för 3D-pusslet.

Varje punkt markeras på bilden (som visas för modellen, men inte visualiseras i promten ovan), och modellen måste förutsäga vilken som var närmast, andra närmast, och så vidare, i princip återkonstruera den ursprungliga djupsekvensen utan tillgång till råa djupvärden.

3D-pusseluppgiften tränas på RGB-D-bilder från ScanNet-databasen, med 300 000 prover skapade genom att välja slumpmässiga uppsättningar av sex djup-punkter per bild.

Exempel på punktmoln från ScanNet-databasen som används i 3D-pusslet. Källa: https://arxiv.org/pdf/1702.04405

Varje punkt krävdes för att ligga inom ett djupområde på 0,1 till 10 meter, och för att främja mångfald, fick inte två punkter i en uppsättning vara närmare än 40 pixlar i bildplanet, eller mindre än 0,2 meter isär i djup.

Tester

För initiala tester, användes Qwen2.5-VL-7B-Instruct som basen för den multimodala modellen. Träning använde Group Relative Policy Optimization (GRPO) algoritmen, med både KL-regulering och entropiförlust borttagna.

För partiella förutsägelser, tillämpades en diskonteringsfaktor på 0,2. Bild-pusselträning använde en global batch-storlek på 256, medan video- och 3D-pussel använde 128. Lärandehastigheten sattes till 1×10⁻⁶.

För varje prompt, genererade modellen 16 svar vid en avkodning temperatur på 1,0. Både bild- och video-pusseluppgifter tränades i 1 000 steg, medan 3D-pusseluppgiften tränades i 800 steg.

Bild-pussel

Bild-pusselmodellen testades över tre kategorier av vision-centrerade benchmark: för fina, rumsliga och kompositionella resonemang, MMVP, den fina perception-delen av MMStar; MMBench; HR-Bench; V*; MME-RealWorld (lite); LISA-Grounding; och OVD-Eval.

För monokulär rumslig förståelse, var benchmark VSR; OmniSpatial; och Depth Anything V2 (DA-2K). För kompositionell visuell förståelse, användes Winoground och SugerCrepe++.

Tre baslinjer testades, alla härledda från Qwen2.5-VL-7B: ThinkLite-VL för multimodalt resonemang; VL-Cogito för allmänna vision- och vetenskapliga uppgifter; och LLaVA-Critic-R1 för bildperception.

Alla utvärderades med hjälp av korta svar, eftersom kedja-av-tankar (CoT) resonemang ibland minskade prestanda.

Utvärderingsresultat på bild-benchmark. Bild-pussel förbättrade prestanda på Qwen2.5-VL-7B-basmodellen över alla uppgiftskategorier (dvs. fina perception och förståelse; monokulär rumslig förståelse; och kompositionell visuell resonemang), och överträffade tidigare post-tränade baslinjer.

Av resultaten för bild-pusslet, som visas ovan, hävdar författarna:

‘[Bilden ovan] visar att vår metod konsekvent förbättrar vision-centrerade färdigheter på de tre typerna av benchmark. Dessa resultat bekräftar att inkorporering av bild-pussel i post-träning signifikant förbättrar MLLMs perceptuella grund och fina, rumsliga och kompositionella förståelse bortom resonemangs-centrerade post-träningsstrategier. ‘

‘Vi tillskriver dessa förbättringar det faktum att att lösa bild-pussel kräver att modellen uppmärksammar lokala bit-detaljer, härleder globala rumsliga layouter och resonemang om inter-bit-relationer, vilket direkt gynnar fina, rumsliga och kompositionella förståelse.’

Video-pussel

För video-pussel, genomfördes utvärdering på AoTBench; Vinoground; TOMATO; FAVOR-Bench; TUNA-Bench; Video-MME; TempCompass; TVBench; MotionBench; LVBench; VSI-Bench; Video-TT; och CVBench.

Video-R1 användes som en baslinje, som hade tränats med kall-start övervakad finjustering följt av förstärkt inlärning för video-förståelse och resonemang. I detta fall inkluderade utvärderingarna hela resonemangsprocessen, eftersom detta konsekvent producerade bättre resultat än direkt svar.

Alla modeller begränsades till 256x28x28 pixlar, och testades över tre raminställningar – 16, 32 och 64:

Utvärderingsresultat på video-benchmark, med Video-pussel som konsekvent överträffar baslinjen över alla uppgifter och raminställningar.

Video-pussel producerade konsekventa förbättringar över alla video-förståelse-benchmark och raminställningar, med vinster särskilt starka på uppgifter som kräver tidsmässigt resonemang och riktning, såsom de i AoTBench, och även i cross-video resonemang-benchmark, såsom CVBench:

‘Dessa resultat bekräftar att att lösa video-pussel uppmuntrar modellen att bättre fånga tidsmässig kontinuitet, förstå relationer över videor, resonera om riktning och generalisera till holistiska och allmänna video-förståelse-scenarier.’

3D-data

För 3D-modaliteten, utvärderades modellen på SAT-Real; 3DSRBench; ViewSpatial; All-Angles; den ovannämnda OmniSpatial; VSI-Bench; SPARBench (tiny); och den ovannämnda DA-2K.

Utvärderingsresultat på 3D-benchmark: 3D-pussel förbättrade prestanda över djup-jämförelse-uppgifter, såsom DA-2K, samt bredare 3D-perception-benchmark som täcker enkelvy, multi-vy och egocentriska video-inmatningar.

Här hävdar författarna:

‘[3D] Pussel uppnår signifikanta förbättringar över alla benchmark. Otroligt nog är den största vinsten på DA-2K, en djup-estimerings-benchmark som är direkt relaterad till vår djup-ordnings-förträningsuppgift. Mer viktigt är att vi observerar konsekventa förbättringar på en bred uppsättning av andra uppgifter, inklusive de med enkelvy (t.ex. 3DSRBench, [OmniSpatial]), multi-vy (t.ex. ViewSpatial, All-Angles), och egocentriska video-inmatningar (t.ex. VSI-Bench). ‘

‘Dessa resultat visar att vår metod inte bara lär ut den specifika färdigheten att beställa djup, utan också effektivt stärker modellens allmänna förmåga att uppfatta och resonera om 3D-rumslig struktur.’

Slutsats

Vad som inte är helt tydligt från denna artikel är den exakta relationen mellan bild och beskrivningar som driver denna förbättring av MLLM-prestanda.

Vid första anblicken verkar processen att lära sig genom pussel-lösning mycket analog till vår egen tidiga utveckling. Men vår egen rumsliga tolkning av världen känns instinktivt mindre semantisk och relaterad till språk, och en närmare titt på artikeln avslöjar omfattningen av vilket språk tjänar MLLM som en fascinerande bro mellan visuella och semantiska verkligheter.

* Observera att artikelförfattarna föredrar den mindre vanliga termen ‘Multimodal Large Language Models’, förkortad till ‘MLLMs’. Detta är en ny eller sällan använd term, och gäller för modeller som kan omfattande resonera och analysera bilder rumsligt, men som inte genererar bilder. När nya paradigm och modeller uppstår, revideras denna lexikon kontinuerligt.

Publicerad första gången torsdagen den 2 oktober 2025