Les puzzles de casse-tête améliorent la raisonnement visuel de l’IA

De nouvelles recherches indiquent que les modèles d’IA peuvent devenir plus intelligents en résolvant des puzzles de casse-tête. Réorganiser des images, des vidéos et des scènes 3D mélangées les aide à affiner leurs compétences visuelles sans avoir besoin de données supplémentaires, d’étiquettes ou d’outils.

Dans la course actuelle pour faire progresser les modèles de langage multimodaux (MLLM) devant le peloton (ou au moins rester trois versions en avant du rival le plus proche), il y a peu de victoires faciles et pas de repas gratuits.

Bien que de nombreuses versions FOSS chinoises de 2025 soient rapportées comme ayant des coûts de développement et d’exécution inférieurs, les versions occidentales ont tendance à jeter plus dans le problème: plus de volume de données, plus de puissance d’inférence, plus d’électricité (bien que, comme nous l’avons récemment noté, plus d’annotateurs humains réels, car cela coûte trop cher même pour la révolution du génie artificiel à l’échelle de la trillion de dollars).

Dans la littérature de recherche, la plupart des approches soi-disant « gratuites » de l’évolution des architectures d’IA tendent à offrir seulement des améliorations incrémentielles mineures; ou bien des améliorations dans des domaines qui ne sont pas les plus critiquement poursuivis. Néanmoins, la recherche de « principes fondamentaux » jusque-là inconnus qui pourraient accélérer le rythme de développement est trop tentante pour être abandonnée.

Rassembler les morceaux

Alors que ce n’est pas exactement dans cette catégorie, une nouvelle collaboration universitaire entre institutions chinoises prétend avoir déterminé que faire des VLM résoudre des puzzles de casse-tête améliore leur performance de manière notable, même si cette approche d’apprentissage par renforcement a précédemment performé plutôt mal dans ce domaine, et même si elle ne nécessite aucun système supplémentaire, modèle auxiliaire ou processus « greffé »:

Visual Jigsaw est un cadre de formation autonome post-formation qui améliore les compétences visuelles dans les modèles de langage multimodaux. En formant sur des tâches de puzzle à travers les images, les vidéos et les données 3D, les modèles gagnent une perception plus fine, spatiale et compositionnelle dans les images, une raison temporelle plus forte dans les vidéos et une compréhension géométrique améliorée dans les scènes 3D. Les graphiques radars dans l’image ci-dessus montrent des gains constants par rapport à la base Qwen2.5-VL, avec des échelles de valeur ajustées pour chaque référence pour plus de clarté. Source: https://arxiv.org/pdf/2509.25190

Le système conçu par les chercheurs s’appelle Visual Jigsaw, et consiste à former des MLLM existants sur du matériel qui a été fragmenté et dispersé de manière aléatoire, comme un puzzle. Les auteurs ont développé trois modalités pour cette approche: image, vidéo et 3D (c’est-à-dire des maillages de style CGI), et ont constaté qu’une adaptation modérée du même processus bénéficiait aux trois domaines:

Une représentation des trois tâches de Visual Jigsaw. Dans le puzzle d’image, une image est divisée en patches, mélangée, et le modèle prédit la disposition correcte; dans le puzzle de vidéo, des extraits sont mélangés et le modèle restaure leur ordre chronologique; dans le puzzle 3D, des points avec des profondeurs différentes sont mélangés et le modèle les classe de plus proche à plus loin. Les sorties du modèle sont notées par rapport à la vérité de base, avec un crédit partiel accordé pour les solutions partiellement correctes.

La méthode de formation de Visual Jigsaw aide les modèles d’IA à améliorer leur compréhension de l’information visuelle en les faisant réassembler ces images, extraits de vidéo ou points de données 3D mélangés.

Le processus est basé sur les mots et non sur les images, et il n’y a donc pas besoin pour le modèle de générer des images ou d’utiliser des composants visuels supplémentaires. Cette méthode s’inscrit dans un système appelé Apprentissage par renforcement à partir de récompenses vérifiables (RLVR), où le modèle reçoit une récompense pour les réponses correctes basées sur des règles claires et automatiques; et où, par conséquent, aucune étiquetage humain n’est requis.

Ce fait crucial est en fait difficile à déduire du nouveau document: que le système assemble le puzzle sémantiquement, à travers des descriptions, et non de la manière représentative de forme que les humains apprennent à résoudre de tels puzzles:

À partir du matériel supplémentaire du nouveau document, un exemple de tâche RL illustrant la nature basée sur le texte de ce processus d’apprentissage subsidiaire. Les images qui auraient été présentées au MLLM ne sont pas représentées ici.

Bien que les MLLM traitent largement des tâches visuelles, ils sont basés sur le langage, et non conçus pour générer des images, des vidéos ou des représentations de forme telles que des maillages 3D.

Exemples de la tâche de puzzle d’image. Chaque ligne montre des patches mélangés que le modèle doit réorganiser dans leur disposition d’origine, avec la disposition correcte affichée à droite.

Dans tous les cas, ce type de formation est effectué après la phase d’apprentissage principale, lorsque le modèle a déjà une certaine capacité à comprendre les images.

Les approches antérieures telles que le document suisse de 2017 paper Apprentissage non supervisé de représentations visuelles en résolvant des puzzles de casse-tête ont utilisé cette approche de renforcement avec un succès plutôt limité, sur des réseaux de neurones convolutionnels (CNN), une architecture notablement différente par rapport à un MLLM moderne.

À partir de la publication de 2017 ‘Apprentissage non supervisé de représentations visuelles en résolvant des puzzles de casse-tête ‘, un exemple précoce de l’utilisation de la fragmentation comme défi basé sur la récompense pour un système neuronal. Source: https://arxiv.org/pdf/1603.09246

Dans les tests, Visual Jigsaw a conduit à ce que les auteurs affirment être des améliorations constantes et mesurables sur une large gamme de références: la tâche de puzzle d’image a amélioré la perception fine, la compréhension de la disposition spatiale et la raison compositionnelle; la tâche de puzzle de vidéo a amélioré la capacité du modèle à suivre les séquences temporelles et à raisonner sur l’ordre des événements; et la tâche de puzzle 3D a renforcé la compréhension basée sur la profondeur et la raison spatiale en utilisant uniquement des entrées RGB-D.

Sur les trois modalités, le document répète que la nouvelle méthode a surpassé plusieurs références compétitives, sans nécessiter de changements architecturaux, de modules visuels supplémentaires ou de données supervisées supplémentaires:

‘Des expériences approfondies démontrent des améliorations substantielles dans la perception fine, la raison temporelle et la compréhension spatiale 3D. Nos résultats mettent en évidence le potentiel des tâches visuelles autonome dans la post-formation des MLLM et visent à inspirer davantage de recherches sur les conceptions de prétexte visuel.’

Le nouveau document est intitulé Visual Jigsaw Post-Formation améliore les MLLM, et provient de six chercheurs de l’Université technologique de Nanyang, de l’Université de Linköping et de SenseTime Research. Le document est accompagné d’un site de projet avec des démonstrations en direct (et vous pouvez même charger votre propre image dans la démonstration de puzzle d’image). Le code et les poids du projet ont été rendus généralement disponibles,

Méthode

Bien que nous allions examiner la façon dont les informations sont divisées pour accommoder les trois modalités testées, nous devrions d’abord considérer la conception de récompense pour le nouveau système.

La méthode Visual Jigsaw évalue les réponses du modèle en utilisant une récompense graduée, et non une simple réussite ou échec. Si le modèle prédit l’ordre exact des pièces du puzzle, il reçoit une récompense complète; si la réponse est en grande partie correcte, mais pas parfaite, le modèle reçoit un crédit partiel, pondéré par un facteur de décompte pour éviter de surestimer les erreurs proches (ce qui empêche le modèle de tricher le système en répétant des suppositions qui ne sont que partiellement correctes).

Les réponses invalides, telles que le ‘triche’ consistant à utiliser le même nombre à plusieurs reprises, reçoivent une note de zéro. Pour encourager un formatage cohérent, le modèle doit placer sa raison dans des balises <think> et sa réponse finale dans des balises <answer>. Il reçoit une petite prime si ce format est utilisé correctement.

Images

Pour créer un puzzle pour la modalité images, une image est d’abord divisée en une grille de patches en la découpant en blocs de taille égale:

Exemples de patches d’image pour le système à résoudre.

Les patches sont disposés dans un ordre fixe de haut en bas, comme l’ordre de lecture d’une page, avant d’être mélangés avec un mélange aléatoire. Le modèle est ensuite exposé à cet ensemble de patches mélangés, et doit déterminer l’ordre d’origine en prédiant la permutation correcte qui restaure la disposition d’origine.

Lors de la formation, 118 000 images de l’ensemble de données COCO ont été utilisées, avec chacune produisant neuf patches (c’est-à-dire « pièces de puzzle »). La invite présentée au système est affichée plus tôt dans cet article (l’image ci-dessus avec la légende commençant par ‘À partir du matériel supplémentaire du nouveau document’).

Video

Pour la tâche de puzzle de vidéo, une vidéo est découpée en une séquence de clips en la découpant uniformément dans le temps, puis les segments de clip sont mélangés. Le modèle est ensuite présenté cette séquence mélangée, et doit déterminer leur ordre chronologique d’origine.

Exemples tronqués du défi de puzzle de vidéo, à partir du matériel supplémentaire du document.

La formation pour cette modalité a utilisé 100 000 vidéos de l’ensemble de données LLaVA-Video, avec chaque vidéo découpée en six clips. Pour empêcher le modèle d’exploiter des indices de correspondance de cadre évidents aux frontières de clip, 5 % des cadres au début et à la fin de chaque clip ont été supprimés.

Les clips contenaient au maximum 12 cadres, chacun avec une résolution maximale de 128x28x28 pixels. Les vidéos plus courtes que 24 secondes ont été exclues.

L’invite pour cette tâche est affichée ci-dessous:

L’invite d’apprentissage par renforcement présentée aux MLLM pour la tâche de vidéo, sans les clips qui auraient été présentés au MLLM..

Données 3D

Une tâche de puzzle 3D complète impliquerait généralement de diviser un espace 3D (tel que des voxels ou des nuages de points) en morceaux plus petits et former un modèle pour reconstruire leur disposition spatiale d’origine.

Cependant, le MLLM moyen n’est pas équipé pour gérer des données 3D brutes directement, mais repose plutôt sur des entrées d’image ou de vidéo interprétées sémantiquement. Par conséquent, pour créer une tâche qui exploite toujours la raison 3D tout en restant compatible avec les MLLM actuels, les auteurs ont introduit une variante plus abordable utilisant les images RGB-D (c’est-à-dire des images 2D qui incluent des informations de profondeur pour chaque pixel).

Exemples de questions de la banque de tests de compréhension spatiale 3D utilisée pour évaluer les performances sur la relation de point de vue et le mouvement de la caméra. Le modèle de puzzle 3D Jigsaw infère correctement à la fois la relation spatiale entre deux vues d’une scène et la direction probable de rotation de la caméra, surpassant la référence Qwen2.5-VL-7B.

À partir de chaque image RGB-D, le modèle reçoit une liste mélangée de points qui avaient initialement des profondeurs distinctes, allant de près à loin, l’objectif étant de récupérer leur ordre de profondeur correct en utilisant uniquement l’image 2D comme référence:

L’invite RL pour le puzzle 3D.

Chaque point est marqué sur l’image (qui est présentée au modèle, mais non visualisée dans l’exemple d’invite ci-dessus), et le modèle doit prédire lequel était le plus proche, le deuxième plus proche, et ainsi de suite, reconstruisant ainsi la séquence de profondeur d’origine sans accès aux valeurs de profondeur brutes.

La tâche de puzzle 3D est formée sur des images RGB-D de l’ensemble de données ScanNet, en utilisant 300 000 échantillons créés en sélectionnant des ensembles aléatoires de six points de profondeur par image.

Exemples de nuages de points de l’ensemble de données ScanNet utilisés dans le puzzle 3D. Source: https://arxiv.org/pdf/1702.04405

Chaque point devait se situer dans une plage de profondeur de 0,1 à 10 mètres, et pour promouvoir la diversité, aucun point dans un ensemble n’était autorisé à être plus proche que 40 pixels dans le plan d’image, ou moins de 0,2 mètre de distance dans la profondeur.

Tests

Pour les tests initiaux, le système a utilisé Qwen2.5-VL-7B-Instruct comme modèle multimodal de base. La formation a utilisé l’algorithme Group Relative Policy Optimization (GRPO), avec à la fois la régularisation KL et la perte d’entropie supprimées.

Pour les prédictions partielles, un facteur de décompte de 0,2 a été appliqué. La formation du puzzle d’image a utilisé une taille de lot globale de 256, tandis que les puzzles de vidéo et 3D ont utilisé 128. Le taux d’apprentissage a été fixé à 1×10⁻⁶.

Pour chaque invite, le modèle a généré 16 réponses à une température de décodage de 1,0. Les tâches de puzzle d’image et de vidéo ont été formées pendant 1 000 étapes, tandis que la tâche de puzzle 3D a été formée pendant 800 étapes.

Puzzle d’image

Le modèle de puzzle d’image a été testé sur trois catégories de références visuelles: pour la perception fine et la compréhension, MMVP, le sous-ensemble de perception fine de MMStar; MMBench; HR-Bench; V*; MME-RealWorld (lite); LISA-Grounding; et OVD-Eval.

Pour la compréhension spatiale monulaire, les références étaient VSR; OmniSpatial; et Depth Anything V2 (DA-2K). Pour la compréhension visuelle compositionnelle, les tests ont employé Winoground et SugerCrepe++.

Trois références ont été testées, toutes dérivées de Qwen2.5-VL-7B: ThinkLite-VL pour la raison multimodale; VL-Cogito pour les tâches visuelles et scientifiques générales; et LLaVA-Critic-R1 pour la perception d’image.

Toutes ont été évaluées en utilisant uniquement des réponses courtes, car la raison de chaîne de pensée (CoT) a parfois réduit les performances.

Résultats d’évaluation sur les références d’image. Le puzzle d’image a amélioré le modèle de base Qwen2.5-VL-7B sur toutes les catégories de tâches (c’est-à-dire la perception fine et la compréhension; la compréhension spatiale monulaire; et la raison visuelle compositionnelle), surpassant les références post-formées antérieures.

Sur les résultats du puzzle d’image, affichés ci-dessus, les auteurs déclarent:

‘[L’image ci-dessus] montre que notre méthode améliore constamment les capacités visuelles sur les trois types de références. Ces résultats confirment que l’intégration de la formation de puzzle d’image post-formation améliore considérablement les capacités de perception et de compréhension visuelle fine des MLLM au-delà des stratégies de post-formation centrées sur la raison.

‘Nous attribuons ces améliorations au fait que résoudre le puzzle d’image nécessite que le modèle prête attention aux détails locaux des patches, infère les dispositions spatiales globales, et raisonne sur les relations inter-patches, ce qui profite directement à la perception fine, spatiale et compositionnelle.’

Puzzle de vidéo

Pour le puzzle de vidéo, l’évaluation a été menée sur AoTBench; Vinoground; TOMATO; FAVOR-Bench; TUNA-Bench; Video-MME; TempCompass; TVBench; MotionBench; LVBench; VSI-Bench; Video-TT; et CVBench.

Video-R1 a été utilisé comme référence, ayant été formé avec un ajustement fin supervisé à froid suivi d’un apprentissage par renforcement pour la compréhension et la raison de vidéo. Dans ce cas, les évaluations comprenaient le processus de raisonnement complet, car cela a produit des résultats meilleurs que les réponses directes.

Tous les modèles ont été limités à 256x28x28 pixels, et testés sur trois paramètres de trame – 16, 32 et 64:

Résultats d’évaluation sur les références de vidéo, avec le puzzle de vidéo surpassant constamment la référence sur toutes les tâches et les paramètres de trame.

Le puzzle de vidéo a produit des améliorations constantes sur toutes les références de compréhension de vidéo et les paramètres de trame, avec des gains particulièrement importants sur les tâches nécessitant une raison temporelle et une directionnalité, telles que celles de AoTBench, et également dans les références de raisonnement inter-vidéo, telles que CVBench:

‘Ces résultats confirment que résoudre les tâches de puzzle de vidéo encourage le modèle à mieux capturer la continuité temporelle, à comprendre les relations entre les vidéos, à raisonner sur la cohérence directionnelle et à généraliser à des scénarios de compréhension de vidéo holistiques et généralisables.’

Données 3D

Pour la modalité 3D, le modèle a été évalué sur SAT-Real; 3DSRBench; ViewSpatial; All-Angles; la référence OmniSpatial mentionnée plus tôt; VSI-Bench; SPARBench (tiny); et la référence DA-2K mentionnée plus tôt.

Résultats d’évaluation sur les références 3D: le puzzle 3D Jigsaw améliore les performances sur les tâches de comparaison de profondeur telles que DA-2K, ainsi que sur des références de perception 3D plus larges couvrant les entrées de vue unique, multi-vue et vidéo égocentrique.

Ici, les auteurs déclarent:

‘[Le puzzle 3D] Jigsaw réalise des améliorations significatives sur toutes les références. Il n’est pas surprenant que le gain le plus important soit sur DA-2K, une référence d’estimation de profondeur qui est directement liée à notre tâche de pré-formation d’ordre de profondeur. Plus important encore, nous observons des améliorations constantes sur une large gamme d’autres tâches, notamment celles avec des entrées de vue unique (par exemple, 3DSRBench, [OmniSpatial]), des entrées multi-vue (par exemple, ViewSpatial, All-Angles) et des entrées de vidéo égocentrique (par exemple, VSI-Bench).

‘Ces résultats démontrent que notre approche n’enseigne pas seulement la compétence spécifique de l’ordre de profondeur, mais renforce également efficacement la capacité générale du modèle à percevoir et à raisonner sur la structure spatiale 3D.’

Conclusion

Ce qui n’est pas entièrement clair à partir de ce document est la relation exacte entre les images et les descriptions qui alimentent cette amélioration des performances des MLLM.

À première vue, le processus d’apprentissage par résolution de puzzles semble très analogue à nos propres premières tentatives et développement. Cependant, notre propre interprétation spatiale du monde ressemble instinctivement moins sémantique et liée au langage, et un examen plus approfondi du document révèle l’étendue à laquelle le langage sert de pont intéressant entre les réalités visuelles et sémantiques pour les MLLM.

* Veuillez noter que les auteurs du document préfèrent le terme moins courant ‘Modèles de langage multimodaux’, abrégé en ‘MLLM’. Il s’agit d’un terme émergent ou peu utilisé, et s’applique aux modèles qui peuvent raisonner et analyser spatialement les images de manière extensive, mais qui ne génèrent pas d’images. À mesure que de nouveaux paradigmes et modèles émergent, ce lexique est en constante révision.

Publié pour la première fois jeudi 2 octobre 2025