Puzzlespiele für künstliche Intelligenz: Jigsaw-Puzzles verbessern die visuelle Argumentationsfähigkeit

Neue Forschungsergebnisse deuten darauf hin, dass künstliche Intelligenz-Modelle durch das Lösen von Puzzlespielen intelligenter im Umgang mit visuellen Informationen werden können. Das Neuordnen von zerrissenen Bildern, Videos und 3D-Szenen hilft ihnen, ihre visuellen Fähigkeiten ohne die Notwendigkeit von zusätzlichen Daten, Labels oder Werkzeugen zu schärfen.

In dem aktuellen Wettlauf, um Multimodale Großsprachmodelle (MLLMs*) voranzutreiben, gibt es wenige einfache Siege und keine kostenlosen Mahlzeiten.

Obwohl viele der beeindruckenden chinesischen Open-Source-Veröffentlichungen aus dem Jahr 2025 über geringere Entwicklungskosten und Betriebskosten verfügen, neigen okzidentale Veröffentlichungen dazu, mehr in das Problem zu investieren: mehr Daten, mehr Rechenleistung, mehr Strom (obwohl, wie wir kürzlich festgestellt haben, nicht mehr menschliche Annotatoren, da dies selbst für die $-Trillionen-Revolution der künstlichen Intelligenz zu teuer ist).

In der Forschungsliteratur bieten die meisten sogenannten “kostenlosen” Ansätze zur Evolution von KI-Architekturen nur geringe inkrementelle Verbesserungen oder Verbesserungen in Bereichen, die nicht die meistverfolgten sind. Dennoch ist die Suche nach bisher unentdeckten “grundlegenden Prinzipien”, die das Tempo der Entwicklung beschleunigen könnten, zu verlockend, um sie aufzugeben.

Aufnahme der Stücke

Während es nicht ganz in diese Kategorie fällt, behauptet eine neue akademische Zusammenarbeit zwischen chinesischen Institutionen, festgestellt zu haben, dass das Lösen von Puzzlespielen durch VLMs ihre Leistung deutlich verbessert, obwohl dieser Reinforcement-Learning-Ansatz zuvor in diesem Bereich wenig Erfolg hatte und keine zusätzlichen Systeme, Hilfsmodelle oder anderen “Anbauprocesso” erfordert:

Visual Jigsaw ist ein selbstüberwachtes Post-Training-Framework, das die visuellen Fähigkeiten in multimodalen Großsprachmodellen verbessert. Durch das Training an Puzzletasks über Bilder, Videos und 3D-Daten gewinnen die Modelle ein schärferes Feinverständnis, räumliches und kompositionales Verständnis in Bildern, stärkere zeitliche Argumentationsfähigkeit in Videos und eine verbesserte geometrische Argumentationsfähigkeit in 3D-Szenen. Die Radar-Charts im Bild oben zeigen konsistente Gewinne gegenüber dem Basis-Modell Qwen2.5-VL, mit Wertskalen, die für jeden Benchmark für Klarheit angepasst wurden. Quelle: https://arxiv.org/pdf/2509.25190

Das von den Forschern entwickelte System heißt Visual Jigsaw und beinhaltet das Training bestehender MLLMs mit Material, das in Stücke zerlegt und willkürlich verteilt wurde, wie ein Puzzle. Die Autoren entwickelten drei Modalitäten für diesen Ansatz: Bild, Video und 3D (d. h. CGI-Style Meshes), und fanden heraus, dass eine moderate Anpassung des gleichen Prozesses alle drei Bereiche begünstigte:

Eine Darstellung der drei Visual-Jigsaw-Aufgaben. Beim Bild-Jigsaw wird ein Bild in Stücke zerlegt, diese werden neu angeordnet und das Modell muss die korrekte Reihenfolge vorhersagen; beim Video-Jigsaw werden Clips neu angeordnet und das Modell muss ihre ursprüngliche Reihenfolge wiederherstellen; beim 3D-Jigsaw werden Punkte mit unterschiedlichen Tiefen neu angeordnet und das Modell muss sie von nah zu fern ordnen. Die Ausgaben des Modells werden gegen die Grundwahrheit bewertet, wobei für teilweise korrekte Lösungen Teilkredit gewährt wird.

Die Trainingsmethode von Visual Jigsaw hilft KI-Modellen, visuelle Informationen besser zu verstehen, indem sie diese zerrissenen Bilder, Videoclips oder 3D-Datenpunkte wieder zusammenfügen.

Der Prozess basiert auf Worten und nicht auf Bildern, daher muss das Modell keine Bilder generieren oder zusätzliche visuelle Komponenten verwenden. Diese Methode passt in ein System namens Reinforcement Learning from Verifiable Rewards (RLVR), wo das Modell für korrekte Antworten basierend auf klaren, automatischen Regeln belohnt wird; und wo daher keine menschliche Kennzeichnung erforderlich ist.

Dieser entscheidende Fakt ist tatsächlich schwer aus dem neuen Papier zu entnehmen: dass das System das Puzzle semantisch zusammenbaut, durch Beschreibungen, und nicht auf die Weise, wie Menschen lernen, solche Puzzles zu lösen:

Aus dem Zusatzmaterial des neuen Papiers, ein Beispiel für eine RL-Aufgabe, die die textbasierte Natur dieses Lernprozesses veranschaulicht. Die Bilder, die dem MLLM gezeigt worden wären, sind hier nicht dargestellt.

Obwohl MLLMs umfassend mit visuellen Aufgaben zu tun haben, sind sie sprachbasierte Architekturen und nicht dazu ausgelegt, Bilder, Videos oder Formen wie 3D-Netze zu generieren.

Beispiele aus der Bild-Jigsaw-Aufgabe. Jede Zeile zeigt die neu angeordneten Stücke, die das Modell in ihre ursprüngliche Anordnung zurückführen muss, mit der korrekten Anordnung rechts.

Auf jeden Fall wird diese Art von Training nach der Hauptlernphase durchgeführt, wenn das Modell bereits eine gewisse Fähigkeit hat, Bilder zu verstehen.

Frühere Ansätze wie das 2017er Schweizer Papier Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles verwendeten diesen Reinforcement-Ansatz mit eher geringem Erfolg bei konvolutionellen neuronalen Netzen (CNNs), einer deutlich anderen Art von Architektur im Vergleich zu einem modernen MLLM.

Aus der 2017er Veröffentlichung ‘Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles ‘, ein frühes Beispiel für die Verwendung von Fragmentierung als belohnungsbasierte Herausforderung für ein neuronales System. Quelle: https://arxiv.org/pdf/1603.09246

In Tests führte Visual Jigsaw zu den von den Autoren behaupteten konsistenten und messbaren Verbesserungen über eine breite Palette von Benchmarks: die Bild-Jigsaw-Aufgabe verbesserte die feinkörnige Wahrnehmung, die räumliche Anordnung und die kompositionale Argumentationsfähigkeit; die Video-Jigsaw-Aufgabe verbesserte die Fähigkeit des Modells, zeitliche Sequenzen zu verfolgen und die Reihenfolge von Ereignissen zu verstehen; und die 3D-Jigsaw-Aufgabe verbesserte das Tiefenverständnis und die räumliche Argumentationsfähigkeit unter Verwendung nur von RGB-D-Eingaben.

Über alle drei Modalitäten hinweg wiederholte das Papier, dass die neue Methode mehrere wettbewerbsfähige Baselines übertraf, obwohl sie keine architektonischen Änderungen, keine zusätzlichen visuellen Module oder keine zusätzlichen überwachten Daten erforderte:

‘Umfangreiche Experimente zeigen wesentliche Verbesserungen in der feinkörnigen Wahrnehmung, der zeitlichen Argumentationsfähigkeit und der 3D-räumlichen Argumentationsfähigkeit. Unsere Ergebnisse unterstreichen das Potenzial von selbstüberwachten, visuellen Aufgaben im Post-Training von MLLMs und zielen darauf ab, weitere Forschung auf visuelle Prätext-Designs zu inspirieren.’

Das neue Papier trägt den Titel Visual Jigsaw Post-Training verbessert MLLMs und stammt von sechs Forschern aus der Nanyang Technological University, der Linköping University und der SenseTime Research. Das Papier wird von einer Projekt-Website mit Live-Demos (und Sie können sogar Ihr eigenes Bild in die Bild-Jigsaw-Demo laden) begleitet. Der Code und die Gewichte des Projekts wurden allgemein verfügbar gemacht,

Methode

Obwohl wir uns mit der Art und Weise auseinandersetzen werden, wie die Informationen aufgeteilt werden, um die drei getesteten Modalitäten zu ermöglichen, sollten wir zunächst die Belohnungs-Design für das neue System betrachten.

Der Visual-Jigsaw-Ansatz bewertet die Antworten des Modells mit einer abgestuften Belohnung, nicht nur mit einem einfachen Bestehen oder Scheitern. Wenn das Modell die exakte korrekte Reihenfolge der Puzzleteile vorhersagt, erhält es eine volle Belohnung; wenn die Antwort größtenteils richtig, aber nicht perfekt ist, erhält das Modell einen Teil-Kredit, der durch einen Rabattfaktor angepasst wird, um zu vermeiden, dass das Modell den Prozess durch wiederholte, teilweise korrekte Antworten ausnutzt (dies verhindert, dass das Modell den Prozess durch wiederholte, teilweise korrekte Antworten ausnutzt).

Ungültige Antworten, wie z. B. der “Schummel” durch die Verwendung der gleichen Zahl wiederholt, erhalten eine Bewertung von Null. Um eine konsistente Formatierung zu fördern, muss das Modell seine Argumentation innerhalb von <think>-Tags und seine endgültige Antwort innerhalb von <answer>-Tags platzieren. Es erhält einen kleinen Bonus, wenn diese Formatierung korrekt verwendet wird.

Bilder

Um ein Puzzle für die Bild-Modalität zu erstellen, wird ein Bild zunächst in ein Raster von Stücken unterteilt, indem es in gleich große Blöcke geschnitten wird:

Beispiele von Bild-Stücken für das System zum Lösen.

Die Stücke werden in einer festen Reihenfolge von links nach rechts angeordnet, wie bei der Lesereihenfolge auf einer Seite, bevor sie mit einem zufälligen Shuffle neu angeordnet werden. Das Modell wird dann diesem neu angeordneten Satz von Stücken ausgesetzt und muss die ursprüngliche Reihenfolge vorhersagen, indem es die korrekte Permutation findet, die die ursprüngliche Anordnung wiederherstellt.

Bei der Ausbildung wurden 118.000 Bilder aus dem COCO-Datensatz verwendet, wobei jedes Bild neun Stücke (d. h. “Puzzleteile”) ergab. Der Prompt, der dem System gegeben wurde, ist oben in diesem Artikel zu sehen (das Bild mit der Beschriftung, die mit ‘Aus dem Zusatzmaterial des neuen Papiers’ beginnt).

Video

Für die Video-Jigsaw-Aufgabe wird ein Video in eine Sequenz von Clips unterteilt, indem es gleichmäßig über die Zeit geschnitten wird, und dann werden die Clip-Segmente neu angeordnet. Das Modell wird dann dieser neu angeordneten Sequenz gezeigt und muss ihre ursprüngliche chronologische Reihenfolge wiederherstellen.

Abgekürzte Beispiele der Video-Puzzle-Herausforderung, aus dem Zusatzmaterial des Papiers.

Die Ausbildung für diese Modalität verwendete 100.000 Videos aus dem LLaVA-Video-Datensatz, wobei jedes Video in sechs Clips unterteilt wurde. Um zu verhindern, dass das Modell offensichtliche Frame-Matching-Hinweise an den Clip-Grenzen ausnutzt, wurden 5 % der Frames am Anfang und Ende jedes Clips entfernt.

Die Clips enthielten nicht mehr als 12 Frames, jeweils mit einer maximalen Auflösung von 128x28x28 Pixeln. Videos, die kürzer als 24 Sekunden waren, wurden ausgeschlossen.

Der Prompt für diese Aufgabe ist unten zu sehen:

Der RL-Prompt, der dem MLLM für die Video-Aufgabe präsentiert wurde, ohne die Clips, die dem MLLM gezeigt worden wären.

3D-Daten

Eine vollständige 3D-Jigsaw-Aufgabe würde normalerweise das Zerlegen eines 3D-Raums (wie z. B. Voxel-Blöcke oder Punktwolken-Fragmente) in kleinere Teile und das Training eines Modells, um ihre ursprüngliche räumliche Anordnung wiederherzustellen.

Das durchschnittliche MLLM ist jedoch nicht in der Lage, rohe 3D-Daten direkt zu verarbeiten, sondern verlässt sich auf semantisch interpretierte Bild- oder Video-Eingaben. Um daher eine Aufgabe zu erstellen, die immer noch die 3D-Argumentationsfähigkeit anspricht, während sie mit aktuellen MLLMs kompatibel bleibt, führten die Autoren eine handhabbarere Variante unter Verwendung der oben genannten RGB-D-Bilder (d. h. 2D-Bilder, die Tiefeninformationen für jeden Pixel enthalten) ein.

Beispiele aus dem 3D-Spatial-Understanding-Benchmark, der zur Bewertung der Leistung bei relativer Blickrichtung und Kamerabewegung verwendet wird. Das 3D-Jigsaw-Modell schließt sowohl die räumliche Beziehung zwischen zwei Szenenansichten als auch die wahrscheinliche Richtung der Kamerabewegung korrekt, und übertrifft das Qwen2.5-VL-7B-Basismodell.

Von jedem RGB-D-Bild aus erhält das Modell eine zufällige Liste von Punkten, die ursprünglich unterschiedliche Tiefen hatten, von nah bis fern, wobei das Ziel darin besteht, ihre korrekte tiefenbasierte Reihenfolge unter Verwendung nur des 2D-Bildes als Referenz wiederherzustellen:

Der RL-Prompt für das 3D-Jigsaw.

Jeder Punkt ist auf dem Bild markiert (das dem Modell gezeigt wird, aber nicht im Prompt-Beispiel direkt oben visualisiert), und das Modell muss vorhersagen, welcher am nächsten, zweitnächsten usw. war, und damit die ursprüngliche Tiefenfolge ohne Zugriff auf die rohen Tiefenwerte rekonstruieren.

Die 3D-Jigsaw-Aufgabe wird auf RGB-D-Bildern aus dem ScanNet-Datensatz trainiert, wobei 300.000 Proben durch die Auswahl von sechs zufälligen Tiefenpunkten pro Bild erstellt werden.

Beispiele von Punktwolken aus dem ScanNet-Datensatz, der für das 3D-Jigsaw verwendet wird. Quelle: https://arxiv.org/pdf/1702.04405

Jeder Punkt musste innerhalb eines Tiefenbereichs von 0,1 bis 10 Metern liegen und um die Vielfalt zu fördern, durften keine zwei Punkte in einem Satz weniger als 40 Pixel in der BildEbene oder weniger als 0,2 Meter auseinander in der Tiefe sein.

Tests

Für die anfänglichen Tests verwendete das System Qwen2.5-VL-7B-Instruct als Basis-Multimodell. Die Ausbildung verwendete den Group Relative Policy Optimization (GRPO)-Algorithmus, wobei sowohl KL-Regularisierung als auch Entropie-Verlust entfernt wurden.

Für teilweise Vorhersagen wurde ein Rabattfaktor von 0,2 angewendet. Die Bild-Jigsaw-Ausbildung verwendete eine globale Batch-Größe von 256, während die Video- und 3D-Jigsaws eine Batch-Größe von 128 verwendeten. Die Lernrate wurde auf 1×10⁻⁶ festgelegt.

Für jeden Prompt generierte das Modell 16 Antworten bei einer Dekodier-Temperatur von 1,0. Sowohl die Bild- als auch die Video-Jigsaw-Aufgaben wurden für 1.000 Schritte trainiert, während die 3D-Jigsaw-Aufgabe für 800 Schritte trainiert wurde.

Bild-Jigsaw

Das Bild-Jigsaw-Modell wurde über drei Kategorien von visuellen Benchmarks getestet: für feinkörnige Wahrnehmung und Verständnis, MMVP, die feinkörnige Wahrnehmung-Untermenge von MMStar; MMBench; HR-Bench; V*; MME-RealWorld (Lite); LISA-Grounding; und OVD-Eval.

Für monokulare räumliche Verständnis wurden die Benchmarks VSR; OmniSpatial; und Depth Anything V2 (DA-2K). Für kompositionales visuelles Verständnis wurden die Tests Winoground und SugerCrepe++ eingesetzt.

Drei Baselines wurden getestet, alle abgeleitet von Qwen2.5-VL-7B: ThinkLite-VL für multimodale Argumentationsfähigkeit; VL-Cogito für allgemeine visuelle und wissenschaftliche Aufgaben; und LLaVA-Critic-R1 für Bildwahrnehmung.

Alle wurden unter Verwendung von Kurzantworten nur ausgewertet, da Chain-of-Thought (CoT)-Argumentationsfähigkeit manchmal die Leistung verringerte.

Bewertungsergebnisse auf Bild-Benchmarks. Bild-Jigsaw verbesserte sich auf dem Qwen2.5-VL-7B-Basismodell über alle Aufgabekategorien (d. h. feinkörnige Wahrnehmung und Verständnis; monokulare räumliche Verständnis; und kompositionale visuelle Argumentationsfähigkeit), und übertraf vorherige post-trainierte Baselines.

Von den Ergebnissen des Bild-Jigsaws, die oben gezeigt werden, sagen die Autoren:

‘[Das Bild oben] zeigt, dass unsere Methode konsistent die visuellen Fähigkeiten auf den drei Arten von Benchmarks verbessert. Diese Ergebnisse bestätigen, dass das Einbeziehen von Bild-Jigsaw im Post-Training die perzeptuelle Grundlage und das feinkörnige visuelle Verständnis von MLLMs über reasoning-zentrierte Post-Training-Strategien hinaus signifikant verbessert.

‘Wir führen diese Verbesserungen darauf zurück, dass das Lösen von Bild-Jigsaw das Modell dazu zwingt, lokale Stückdetails zu beachten, globale räumliche Anordnungen abzuleiten und Beziehungen zwischen Stücken zu argumentieren, was direkt das feinkörnige, räumliche und kompositionale Verständnis begünstigt.’

Video-Jigsaw

Für die Video-Jigsaw-Aufgabe wurde die Bewertung auf AoTBench; Vinoground; TOMATO; FAVOR-Bench; TUNA-Bench; Video-MME; TempCompass; TVBench; MotionBench; LVBench; VSI-Bench; Video-TT; und CVBench durchgeführt.

Video-R1 wurde als Baseline verwendet, das mit kaltem Start überwachtem Fein-Tuning und anschließendem Reinforcement-Learning für Video-Verständnis und Argumentationsfähigkeit trainiert wurde. In diesem Fall wurden die Bewertungen die vollständige Argumentationsfähigkeit einschlossen, da dies konsistent bessere Ergebnisse erzielte als direkte Antworten.

Alle Modelle wurden auf 256x28x28 Pixel beschränkt und über drei Frame-Einstellungen – 16, 32 und 64 – getestet:

Bewertungsergebnisse auf Video-Benchmarks, wobei Video-Jigsaw konsistent über alle Aufgaben und Frame-Einstellungen die Baseline übertraf.

Video-Jigsaw erzielte konsistente Verbesserungen über alle Video-Verständnis-Benchmarks und Frame-Einstellungen, wobei die Gewinne besonders stark bei Aufgaben waren, die zeitliche Argumentationsfähigkeit und Richtung erforderten, wie z. B. in AoTBench, und auch bei cross-Video-Argumentations-Benchmarks wie CVBench:

‘Diese Ergebnisse bestätigen, dass das Lösen von Video-Jigsaw-Aufgaben das Modell dazu bringt, zeitliche Kontinuität besser zu erfassen, Beziehungen zwischen Videos zu verstehen, Richtungskonsistenz zu argumentieren und sich auf holistische und generalisierbare Video-Verständnis-Szenarien zu verallgemeinern.’

3D-Daten

Für die 3D-Modalität wurde das Modell auf SAT-Real; 3DSRBench; ViewSpatial; All-Angles; die oben genannte OmniSpatial; VSI-Bench; SPARBench (klein); und die oben genannte DA-2K bewertet.

Bewertungsergebnisse auf 3D-Benchmarks: 3D-Jigsaw verbesserte die Leistung bei Tiefenvergleichsaufgaben wie DA-2K sowie bei umfassenderen 3D-Wahrnehmungs-Benchmarks, die Einzelbild-, Mehrbild- und egozentrische Video-Eingaben abdecken.

Hier sagen die Autoren:

‘[3D] Jigsaw erzielt signifikante Verbesserungen über alle Benchmarks. Nicht überraschend ist der größte Gewinn bei DA-2K, einem Tiefenschätzungsbenchmark, der direkt mit unserer Tiefenordnungs-Vorverarbeitungsaufgabe zusammenhängt. Wichtiger ist, dass wir konsistente Verbesserungen bei einer breiten Palette von anderen Aufgaben beobachten, einschließlich solcher mit Einzelbild- (z. B. 3DSRBench, [OmniSpatial]), Mehrbild- (z. B. ViewSpatial, All-Angles) und egozentrischen Video-Eingaben (z. B. VSI-Bench).

‘Diese Ergebnisse zeigen, dass unser Ansatz nicht nur die spezifische Fähigkeit des Tiefenordnens lehrt, sondern auch die allgemeine Fähigkeit des Modells, 3D-räumliche Strukturen wahrzunehmen und zu argumentieren, effektiv stärkt.’

Schlussfolgerung

Was nicht ganz klar aus diesem Papier hervorgeht, ist die genaue Beziehung zwischen Bildern und Beschreibungen, die diese Verbesserung der MLLM-Leistung antreibt.

Bei ersten Blick scheint der Prozess des Lernens durch Puzzle-Lösen sehr analog zu unseren eigenen frühen Versuchen und unserer Entwicklung. Unsere eigene räumliche Interpretation der Welt scheint jedoch weniger semantisch und sprachlich zu sein, und ein tieferer Blick auf das Papier zeigt, wie sehr die Sprache MLLMs als eine faszinierende Brücke zwischen visuellen und semantischen Realitäten dient.

* Bitte beachten Sie, dass die Autoren des Papiers den weniger gebräuchlichen Begriff ‘Multimodale Großsprachmodelle’ bevorzugen, abgekürzt als ‘MLLMs’. Dies ist ein neu entstehender oder selten verwendeter Begriff, der auf Modelle anwendbar ist, die umfassend räumlich argumentieren und Bilder analysieren können, aber keine Bilder generieren. Da neue Paradigmen und Modelle entstehen, wird diese Lexik unter ständiger Überarbeitung gehalten.

Erstveröffentlichung am Donnerstag, den 2. Oktober 2025