Puzzels van Jigsaw verhogen AI-visuele redenering

Nieuw onderzoek toont aan dat AI-modellen slimmer kunnen worden in het zien door puzzels van Jigsaw op te lossen. Het herschikken van door elkaar gehaalde beelden, video’s en 3D-scènes helpt hen hun visuele vaardigheden te scherpen zonder de noodzaak van extra gegevens, labels of hulpmiddelen.

In de huidige strijd om Multimodal Large Language Models (MLLM’s) vooruit te helpen, zijn er weinig gemakkelijke overwinningen en geen gratis maaltijden.

Hoewel veel van de indrukwekkende Chinese FOSS-releases van 2025 worden gemeld als lagere ontwikkelings- en operationele kosten, hebben westerse releases de neiging om meer te gooien naar het probleem: meer gegevensvolume, meer inferentiekracht, meer elektriciteit (hoewel niet, zoals we onlangs opmerkten, meer echte menselijke annotators, omdat dat te duur is, zelfs voor de $trillion+ schaal gen-AI-revolutie).

In de onderzoeksliteratuur bieden de meeste zogenaamde ‘gratis’ benaderingen van de evolutie van AI-architecturen alleen maar kleine incrementele verbeteringen; ofwel verbeteringen in gebieden die niet de meest kritisch nagestreefde zijn. Niettemin is de zoektocht naar nog niet ontdekte ‘fundamentele principes’ die de ontwikkelingssnelheid van AI kunnen versnellen, te verleidelijk om te laten varen.

Opnieuw beginnen

Terwijl het niet helemaal in die categorie valt, beweert een nieuwe academische samenwerking tussen Chinese instellingen dat ze hebben ontdekt dat het maken van VLM’s Jigsaw-puzzels oplossen hun prestaties aanzienlijk verbetert, zelfs als deze benadering van versterking het eerder slecht heeft gedaan in dit gebied, en zelfs als het geen extra systemen, hulpmiddelen of andere ‘add-on’-processen vereist:

Visual Jigsaw is een zelfstandig post-training framework dat visueel-georiënteerde vaardigheden in multimodale grote taalmodellen verbetert. Door training op Jigsaw-taken over beelden, video’s en 3D-gegevens, krijgen de modellen scherpere fijne, ruimtelijke en compositionele perceptie in beelden, sterker temporele redenering in video’s en verbeterde geometrie-georiënteerde begrip in 3D-scènes. De radar-diagrammen in de afbeelding hierboven laten consistente verbeteringen zien ten opzichte van de basis Qwen2.5-VL, met waarde-schalen aangepast voor elke benchmark voor duidelijkheid. Bron: https://arxiv.org/pdf/2509.25190

Het systeem dat door de onderzoekers is ontwikkeld, heet Visual Jigsaw en houdt in dat bestaande MLLM’s worden getraind op materiaal dat is gefragmenteerd en willekeurig verspreid, zoals een puzzel. De auteurs ontwikkelden drie modaliteiten voor deze benadering: beeld, video en 3D (d.w.z. CGI-stijl meshes), en vonden dat een matige aanpassing van hetzelfde proces alle drie domeinen ten goede kwam:

Een voorstelling van de drie Visual Jigsaw-taken. In de Image Jigsaw wordt een beeld in stukjes gesplitst, door elkaar gehaald en de model voorspelt de juiste lay-out; in de Video Jigsaw worden clips door elkaar gehaald en de model herstelt hun oorspronkelijke volgorde in de tijd; in de 3D Jigsaw worden punten met verschillende diepten door elkaar gehaald en de model rangschikt ze van dichtstbijzijnde tot verste. Model-uitvoer wordt gescoord tegen de grondwaarheid, met gedeeltelijke credits voor gedeeltelijk correcte oplossingen.

Visual Jigsaw’s trainingsmethode helpt AI-modellen om beter te worden in het begrijpen van visuele informatie door deze door elkaar gehaalde beelden, video-clips of 3D-gegevenspunten opnieuw samen te stellen.

Het proces is gebaseerd op woorden in plaats van beelden, en er is dus geen behoefte aan het genereren van beelden of het gebruik van extra visuele componenten. Deze methode past in een systeem dat Reinforcement Learning from Verifiable Rewards (RLVR) heet, waarbij het model wordt beloond voor correcte antwoorden op basis van duidelijke, automatische regels; en waarbij, daarom, geen menselijke labeling vereist is.

Dit cruciale feit is eigenlijk moeilijk te achterhalen uit het nieuwe artikel: dat het systeem de puzzel semantisch samenstelt, door middel van beschrijvingen, en niet op de manier waarop mensen leren om dergelijke puzzels op te lossen:

Uit de bijlagen van het nieuwe artikel, een voorbeeld van een RL-taak die de tekstgebaseerde aard van dit aanvullende leerproces illustreert. De beelden die aan de MLLM zouden zijn getoond, worden hier niet weergegeven.

Hoewel MLLM’s uitgebreid met visueel-georiënteerde taken omgaan, zijn ze taalgebaseerde architectuur, niet ontworpen om beelden, video’s of vorm-weergaven zoals 3D-meshes te genereren.

Voorbeelden van de image-jigsaw-taak. Elke rij toont door elkaar gehaalde stukjes die de model moet herschikken in hun oorspronkelijke lay-out, met de juiste rangschikking rechts.

In elk geval wordt deze soort training gedaan na de hoofdlerenfase, wanneer de model al enige capaciteit heeft om beelden te begrijpen.

Vorige benaderingen zoals het Zwitserse artikel uit 2017 Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles gebruikten deze soort versterkingsbenadering met minder succes, op convolutieneurale netwerken (CNN’s), een opvallend andere soort architectuur in vergelijking met een moderne MLLM.

Uit de release ‘Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles ‘, een vroeg voorbeeld van het gebruik van fragmentatie als een belonings-uitdaging voor een neurale systeem. Bron: https://arxiv.org/pdf/1603.09246

In tests leidde Visual Jigsaw tot wat de auteurs beweren consistent en meetbare verbeteringen over een breed scala aan benchmarks: de image-jigsaw-taak verbeterde fijne perceptie, spatiale lay-outbegrip en compositionele redenering; de video-jigsaw-taak verbeterde de capaciteit van de model om temporele sequenties te volgen en over gebeurtenisvolgorde te redeneren; en de 3D-jigsaw-taak versterkte diepte-gebaseerde begrip en ruimtelijke redenering met behulp van alleen RGB-D-invoer.

Over alle drie modaliteiten heen, herhaalt het artikel, presteert de nieuwe methode beter dan verschillende concurrerende baselines, ondanks dat er geen architecturale veranderingen, extra visuele modules of additionele begeleide gegevens nodig zijn:

‘Uitgebreide experimenten tonen aanzienlijke verbeteringen in fijne perceptie, temporele redenering en 3D-ruimtelijk begrip. Onze bevindingen benadrukken het potentieel van zelfstandig visueel-georiënteerde taken in post-training MLLM’s en beogen verder onderzoek te inspireren op visueel-georiënteerde pretext-ontwerpen.’

Het nieuwe artikel heet Visual Jigsaw Post-Training Improves MLLM’s en komt van zes onderzoekers uit Nanyang Technological University, Linköping University en SenseTime Research. Het artikel wordt vergezeld van een projectsite met live-demonstraties (en je kunt zelfs je eigen beeld laden in de image-gebaseerde Jigsaw-demonstratie). De code en gewichten voor het project zijn algemeen beschikbaar gemaakt,

Methode

Hoewel we een kijkje nemen op de manier waarop informatie wordt opgesplitst om de drie geteste modaliteiten te accommoderen, moeten we eerst de beloningsontwerp voor het nieuwe systeem overwegen.

De Visual Jigsaw-benadering scoort modelreacties met behulp van een gegradeerde beloning, niet alleen een eenvoudig slaag- of mislukt. Als het model de exacte juiste volgorde van de Jigsaw-stukjes voorspelt, ontvangt het een volledige beloning; als het antwoord grotendeels correct is, maar niet perfect, krijgt het model gedeeltelijke credits, geschaald door een kortingsfactor om overwaardering van near-misses te voorkomen (dit voorkomt dat het model het systeem manipuleert door herhaaldelijk gokken die alleen gedeeltelijk correct zijn).

Ongeldige antwoorden, zoals het ‘cheaten’ van het gebruik van hetzelfde nummer herhaaldelijk, ontvangen een score van nul. Om consistent formaat aan te moedigen, moet het model zijn redenering binnen <think> tags en zijn definitieve antwoord binnen <answer>tags plaatsen. Het ontvangt een kleine bonus als dit formaat correct wordt gebruikt.

Beelden

Om een puzzel voor de beelden-modaliteit te maken, wordt een beeld eerst opgesplitst in een raster van stukjes door het in gelijke blokken te snijden:

Voorbeelden van beeld-gebaseerde stukjes voor het systeem om op te lossen.

De stukjes worden in een vaste volgorde van linksboven naar rechtsonder gerangschikt, zoals de leesvolgorde op een pagina, voordat ze worden door elkaar gehaald met een willekeurige shuffle. Het model wordt vervolgens blootgesteld aan deze door elkaar gehaalde set stukjes en moet de oorspronkelijke volgorde raden door de juiste permutatie te voorspellen die de oorspronkelijke lay-out herstelt.

Tijdens de training werden 118.000 beelden uit de COCO-dataset gebruikt, met elk beeld dat negen stukjes opleverde (d.w.z. ‘puzzelstukjes’). De prompt die aan het systeem werd gegeven, wordt eerder in dit artikel getoond (de afbeelding hierboven met de onderschrift die begint met ‘Uit de bijlagen van het nieuwe artikel’).

Video

Voor de video-jigsaw-taak wordt een video in een reeks clips gesneden door deze gelijkmatig over de tijd te snijden, en vervolgens worden de clip-segmenten door elkaar gehaald. Het model wordt vervolgens getoond deze door elkaar gehaalde sequentie en moet hun oorspronkelijke chronologische volgorde raden.

Afgekorte voorbeelden van de video-puzzel-uitdaging, uit de bijlagen van het artikel.

De training voor deze modaliteit gebruikte 100.000 video’s uit de LLaVA-Video-dataset, met elk video dat in zes clips werd gesplitst. Om te voorkomen dat het model duidelijke frame-matching-cues aan clip-grenzen exploiteert, werden 5% van de frames aan het begin en einde van elke clip afgeknipt.

Clips bevatten niet meer dan 12 frames, elk met een maximale resolutie van 128x28x28 pixels. Video’s korter dan 24 seconden werden uitgesloten.

De prompt voor deze taak wordt hieronder getoond:

De versterkingsleer-prompt die aan de MLLM’s voor de video-taak werd gepresenteerd, zonder de clips die aan de MLLM zouden zijn getoond..

3D-gegevens

Een volledige 3D-jigsaw-taak zou normaal gesproken het breken van een 3D-ruimte (zoals voxel-blokken of point cloud-fragmenten) in kleinere stukjes en het trainen van een model om hun oorspronkelijke spatiale lay-out te reconstrueren.

Maar het gemiddelde MLLM is niet in staat om raw 3D-gegevens rechtstreeks te verwerken, maar vertrouwt op semantisch geïnterpreteerde beeld- of video-invoer. Daarom introduceerden de auteurs een meer toegankelijke variant met behulp van de eerder genoemde RGB-D-beelden (d.w.z. 2D-beelden die diepte-informatie voor elk pixel bevatten).

Voorbeelden van vragen uit de 3D Spatial Understanding Benchmark die worden gebruikt om prestaties te evalueren op relatieve viewpoint en camera-beweging-redenering. Het 3D Jigsaw-model voorspelt correct zowel de spatiale relatie tussen twee views van een scène als de waarschijnlijke richting van camera-rotatie, en presteert beter dan de Qwen2.5-VL-7B-baseline.

Van elk RGB-D-beeld wordt het model een door elkaar gehaalde lijst van punten gegeven die oorspronkelijk verschillende diepten hadden, variërend van dichtbij tot ver, met als doel hun correcte diepte-gebaseerde volgorde te herstellen met behulp van alleen het 2D-beeld als referentie:

De RL-prompt voor de 3D-jigsaw.

Elk punt is gemarkeerd op het beeld (dat aan het model wordt getoond, maar niet wordt gevisualiseerd in de prompt-voorbeeld in de afbeelding hierboven), en het model moet voorspellen welk punt het dichtstbijzijnde, tweede dichtstbijzijnde, enz. was, effectief de oorspronkelijke diepte-sequentie reconstruerend zonder toegang tot de raw diepte-waarden.

De 3D-jigsaw-taak wordt getraind op RGB-D-beelden uit de ScanNet-dataset, met 300.000 samples die zijn gemaakt door willekeurige sets van zes diepte-punten per beeld te selecteren.

Voorbeelden van point clouds uit de ScanNet-dataset die worden gebruikt in de 3D-jigsaw. Bron: https://arxiv.org/pdf/1702.04405

Elk punt moest binnen een diepte-bereik van 0,1 tot 10 meter liggen, en om diversiteit te bevorderen, mochten geen twee punten in een set dichter bij elkaar liggen dan 40 pixels in het beeldvlak, of minder dan 0,2 meter uit elkaar in diepte.

Tests

Voor de initiële tests werd Qwen2.5-VL-7B-Instruct gebruikt als de basis-multimodale model. Training gebruikte de Group Relative Policy Optimization (GRPO)-algoritme, met zowel KL-regulering als entropie-verlies verwijderd.

Voor gedeeltelijke voorspellingen werd een kortingsfactor van 0,2 toegepast. Beeld-jigsaw-training gebruikte een globale batchgrootte van 256, terwijl video- en 3D-jigsaws een batchgrootte van 128 gebruikten. De leer tempo werd ingesteld op 1×10⁻⁶.

Voor elke prompt genereerde het model 16 reacties bij een decodering temperatuur van 1,0. Zowel beeld- als video-jigsaw-taken werden getraind voor 1.000 stappen, terwijl de 3D-jigsaw-taak werd getraind voor 800 stappen.

Beeld-jigsaw

Het beeld-jigsaw-model werd getest op drie categorieën van visueel-georiënteerde benchmarks: voor fijne perceptie en begrip, MMVP, de fijne perceptie-subset van MMStar; MMBench; HR-Bench; V*; MME-RealWorld (lite); LISA-Grounding; en OVD-Eval.

Voor monocular spatiale begrip werden de benchmarks VSR; OmniSpatial; en Depth Anything V2 (DA-2K). Voor compositionele visuele begrip werden de tests Winoground en SugerCrepe++ gebruikt.

Drie baselines werden getest, alle afgeleid van Qwen2.5-VL-7B: ThinkLite-VL voor multimodale redenering; VL-Cogito voor algemene visie en wetenschappelijke taken; en LLaVA-Critic-R1 voor beeldperceptie.

Allen werden geëvalueerd met behulp van korte antwoorden alleen, omdat keten van gedachten (CoT) redenering soms de prestaties vermindert.

Evaluatieresultaten op beeld-benchmarks. Beeld-jigsaw verbeterde de Qwen2.5-VL-7B-basismodel over alle taakcategorieën (d.w.z. fijne perceptie en begrip; monocular spatiale begrip; en compositionele visuele redenering), en presteerde beter dan eerdere post-getrainde baselines.

Van de resultaten voor de beeld-jigsaw, zoals hierboven weergegeven, zeggen de auteurs:

‘[De afbeelding hierboven] toont aan dat onze methode consistent de visueel-georiënteerde capaciteiten op de drie soorten benchmarks verbetert. Deze resultaten bevestigen dat het incorporeren van beeld-jigsaw-post-training de perceptuele gronding en fijne visuele begrip van MLLM’s aanzienlijk verbetert, voorbij redenerings-georiënteerde post-training-strategieën.

‘We wijten deze verbeteringen aan het feit dat het oplossen van beeld-jigsaw-puzzels de model dwingt om lokale patch-details te bekijken, globale spatiale lay-outs af te leiden en relaties tussen patches te redeneren, wat direct ten goede komt aan fijne, spatiale en compositionele begrip.’

Video-jigsaw

Voor video-jigsaw werd de evaluatie uitgevoerd op AoTBench; Vinoground; TOMATO; FAVOR-Bench; TUNA-Bench; Video-MME; TempCompass; TVBench; MotionBench; LVBench; VSI-Bench; Video-TT; en CVBench.

Video-R1 werd gebruikt als baseline, die was getraind met cold-start supervised fine-tuning gevolgd door versterkingsleer voor video-begrip en redenering. In dit geval werden de evaluaties uitgevoerd met de volledige redeneringsproces, omdat dit consistent betere resultaten opleverde dan directe antwoorden.

Alle modellen werden beperkt tot 256x28x28 pixels, en getest over drie frame-instellingen – 16, 32 en 64:

Evaluatieresultaten op video-benchmarks, met Video Jigsaw die consistent beter presteert dan de baseline over alle taken en frame-instellingen.

Video Jigsaw produceerde consistente verbeteringen over alle video-begripsbenchmarks en frame-instellingen, met name op taken die temporele redenering en directionaliteit vereisen, zoals die in AoTBench, en ook in cross-video redenering-benchmarks, zoals CVBench:

‘Deze resultaten bevestigen dat het oplossen van video-jigsaw-taken de model aanmoedigt om beter temporele continuïteit te vangen, relaties over video’s te begrijpen, over directionaliteit te redeneren en te generaliseren naar holistische en generaliseerbare video-begripsscenario’s.’

3D-gegevens

Voor de 3D-modaliteit werd het model geëvalueerd op SAT-Real; 3DSRBench; ViewSpatial; All-Angles; de eerder genoemde OmniSpatial; VSI-Bench; SPARBench (tiny); en de eerder genoemde DA-2K.

Evaluatieresultaten op 3D-benchmarks: 3D Jigsaw verbeterde de prestaties over diepte-vergelijkingstaken zoals DA-2K, evenals bredere 3D-perceptie-benchmarks die enkelvoudige, meervoudige en egocentrische video-invoer dekken.

Hier zeggen de auteurs:

‘[3D] Jigsaw bereikt aanzienlijke verbeteringen over alle benchmarks. Niet verwonderlijk is de grootste winst op DA-2K, een diepte-schatting-benchmark die rechtstreeks gerelateerd is aan onze diepte-volgorde-voorafgaande taak. Meer belangrijk is dat we consistente verbeteringen zien op een breed scala aan andere taken, waaronder die met enkelvoudige (bijv. 3DSRBench, [OmniSpatial]), meervoudige (bijv. ViewSpatial, All-Angles) en egocentrische video-invoer (bijv. VSI-Bench).

‘Deze resultaten demonstreren dat onze benadering niet alleen de specifieke vaardigheid van diepte-volgorde leert, maar ook effectief de algemene capaciteit van het model versterkt om 3D-ruimtelijke structuur te percipiëren en te redeneren.’

Conclusie

Wat niet geheel duidelijk is uit dit artikel, is de exacte relatie tussen beeld en beschrijving die deze verbetering in MLLM-prestaties aandrijft.

Op het eerste gezicht lijkt het proces van leren door puzzels op te lossen erg analoog aan onze eigen vroege uitstapjes en ontwikkeling. Echter, onze eigen spatiale interpretatie van de wereld voelt intuïtief minder semantisch en taal-gerelateerd, en een diepere blik op het artikel onthult de mate waarin taal MLLM’s als een intrigerende brug tussen visuele en semantische realiteiten dient.

* Houd er rekening mee dat de auteurs van het artikel de minder gebruikelijke term ‘Multimodal Large Language Models’ (MLLM’s) verkiezen, wat staat voor modellen die uitgebreid kunnen redeneren en ruimtelijk analyseren, maar geen beelden genereren. Naarmate nieuwe paradigma’s en modellen ontstaan, wordt deze lexicon voortdurend herzien.

Publicatie op donderdag 2 oktober 2025