Teka-Teki Jigsaw Meningkatkan Alasan Visual AI

Penelitian baru menunjukkan bahwa model AI dapat menjadi lebih pintar dalam melihat dengan memecahkan teka-teki jigsaw. Mengatur ulang gambar, video, dan adegan 3D yang teracak membantu mereka meningkatkan keterampilan visual tanpa memerlukan data, label, atau alat tambahan.

Dalam keributan saat ini untuk mendorong Multimodal Large Language Models (MLLMs) ke depan, ada sedikit kemenangan mudah dan tidak ada makanan gratis.

Meskipun banyak rilis FOSS Tiongkok pada tahun 2025 dilaporkan memiliki biaya pengembangan dan operasional yang lebih rendah, rilis Barat cenderung melemparkan lebih ke masalah: lebih banyak volume data, lebih banyak kekuatan inferensi, lebih banyak listrik (meskipun tidak, seperti yang kita catat baru-baru ini, lebih banyak annotator manusia yang sebenarnya, karena itu terlalu mahal bahkan untuk revolusi gen-AI skala $triliun+).

Dalam literatur penelitian, sebagian besar pendekatan ‘gratis’ untuk evolusi arsitektur AI cenderung menawarkan hanya perbaikan inkremental kecil; atau perbaikan di area yang tidak paling banyak dikejar. Namun, pencarian ‘prinsip dasar’ yang belum ditemukan yang dapat mempercepat laju pengembangan terlalu menggoda untuk ditinggalkan.

Mengumpulkan Potongan-Potongan

Sementara tidak quite dalam kategori itu, sebuah kolaborasi akademis baru antara lembaga Tiongkok mengklaim telah menentukan bahwa membuat VLMs memecahkan teka-teki jigsaw meningkatkan kinerja mereka secara signifikan, meskipun pendekatan pembelajaran penguatan ini sebelumnya telah berperforma buruk di area ini, dan meskipun tidak memerlukan sistem tambahan, model ancillary, atau proses ‘bolt-on’ lainnya:

Visual Jigsaw adalah kerangka kerja pelatihan pasca-pelatihan mandiri yang meningkatkan keterampilan visual-sentris pada model bahasa besar multimodal. Dengan melatih tugas jigsaw di seluruh gambar, video, dan data 3D, model tersebut mendapatkan persepsi yang lebih tajam, spasial, dan komposisional pada gambar, alasan temporal yang lebih kuat pada video, dan pemahaman geometri yang ditingkatkan pada adegan 3D. Grafik radar di atas menunjukkan peningkatan konsisten atas Qwen2.5-VL, dengan skala nilai disesuaikan untuk setiap benchmark untuk kejelasan. Sumber: https://arxiv.org/pdf/2509.25190

Sistem yang dirancang oleh peneliti disebut Visual Jigsaw, dan melibatkan melatih MLLM yang ada pada materi yang telah dipecah dan diacak, seperti teka-teki jigsaw. Penulis mengembangkan tiga modalitas untuk pendekatan ini: gambar, video, dan 3D (yaitu, mesh gaya CGI), dan menemukan bahwa adaptasi moderat dari proses yang sama menguntungkan ketiga domain:

Representasi dari tiga tugas Visual Jigsaw. Pada Jigsaw Gambar, gambar dipotong menjadi potongan, diacak, dan model memprediksi tata letak yang benar; pada Jigsaw Video, klip diacak dan model memulihkan urutan waktu aslinya; pada Jigsaw 3D, titik dengan kedalaman yang berbeda diacak dan model memeringkatnya dari yang terdekat ke yang terjauh. Keluaran model dinilai melawan kebenaran, dengan kredit sebagian diberikan untuk solusi yang sebagian benar.

Metode pelatihan Visual Jigsaw membantu model AI meningkatkan pemahaman informasi visual dengan membuat mereka merakit kembali gambar, klip video, atau data 3D yang teracak.

Proses ini didasarkan pada kata-kata, bukan gambar, dan oleh karena itu tidak ada kebutuhan bagi model untuk menghasilkan gambar atau menggunakan komponen visual tambahan. Metode ini sesuai dengan sistem yang disebut Pembelajaran Penguatan dari Hadiah yang Dapat Diverifikasi (RLVR), di mana model mendapatkan hadiah untuk jawaban yang benar berdasarkan aturan yang jelas dan otomatis; dan di mana, oleh karena itu, tidak diperlukan pelabelan manusia.

Fakta penting ini sebenarnya sulit ditemukan dari makalah baru: bahwa sistem tersebut merakit teka-teki secara semantik, melalui deskripsi, dan bukan dengan cara representatif bentuk yang dipelajari manusia untuk memecahkan teka-teki tersebut:

Dari materi tambahan makalah baru, contoh tugas RL yang menggambarkan sifat berbasis teks dari proses pembelajaran tambahan ini. Gambar yang akan ditampilkan kepada MLLM tidak digambarkan di sini.

Meskipun MLLM banyak menangani tugas visual-sentris, mereka adalah arsitektur berbasis bahasa, bukan dirancang untuk menghasilkan gambar, video, atau representasi bentuk seperti mesh 3D.

Contoh dari tugas jigsaw gambar. Setiap baris menunjukkan potongan yang diacak yang model harus urutkan kembali ke tata letak aslinya, dengan tata letak yang benar ditampilkan di sebelah kanan.

Bagaimanapun, jenis pelatihan ini dilakukan setelah fase pelatihan utama, ketika model sudah memiliki beberapa kemampuan untuk memahami gambar.

Pendekatan sebelumnya seperti makalah Swiss 2017 Pembelajaran Mandiri dari Representasi Visual dengan Memecahkan Teka-Teki Jigsaw menggunakan pendekatan penguatan jenis ini dengan sedikit lebih sukses, pada jaringan saraf konvolusional (CNN), sebuah arsitektur yang cukup berbeda dibandingkan dengan MLLM modern.

Dari rilis 2017 ‘Pembelajaran Mandiri dari Representasi Visual dengan Memecahkan Teka-Teki Jigsaw’, contoh awal dari penggunaan fragmentasi sebagai tantangan berbasis hadiah untuk sistem saraf.

Dalam pengujian, Visual Jigsaw menghasilkan apa yang penulis klaim sebagai perbaikan konsisten dan terukur di seluruh berbagai benchmark: tugas jigsaw gambar meningkatkan persepsi halus, pemahaman tata letak spasial, dan alasan komposisional; tugas jigsaw video meningkatkan kemampuan model untuk melacak urutan waktu dan beralasan tentang urutan peristiwa; dan tugas jigsaw 3D memperkuat pemahaman berbasis kedalaman dan alasan spasial menggunakan hanya masukan RGB-D.

Di seluruh tiga modalitas, makalah tersebut mengulangi, metode baru outperform beberapa baseline kompetitif, meskipun tidak memerlukan perubahan arsitektur, modul visual tambahan, atau data terawasi tambahan:

‘Eksperimen ekstensif menunjukkan perbaikan substansial dalam persepsi halus, alasan temporal, dan pemahaman spasial 3D. Temuan kami menyoroti potensi tugas visual-sentris mandiri dalam pelatihan pasca-MLLM dan bertujuan untuk menginspirasi penelitian lebih lanjut pada desain pretext visual-sentris.’

Makalah baru ini berjudul Visual Jigsaw Pelatihan Pasca-MLLM, dan berasal dari enam peneliti di Nanyang Technological University, Linköping University, dan SenseTime Research. Makalah ini disertai dengan situs proyek dengan demo langsung (dan Anda bahkan dapat memuat gambar Anda sendiri ke demo jigsaw berbasis gambar). Kode dan berat untuk proyek telah dibuat tersedia secara umum,

Metode

Meskipun kita akan melihat cara informasi dipecah untuk menampung tiga modalitas yang diuji, kita harus pertama-tama mempertimbangkan desain hadiah untuk sistem baru.

Penelitian Visual Jigsaw memberi skor respons model menggunakan hadiah bertingkat, bukan hanya lulus atau gagal sederhana. Jika model memprediksi urutan yang tepat dari potongan teka-teki jigsaw, itu menerima hadiah penuh; jika jawabannya sebagian besar benar, tetapi tidak sempurna, model mendapatkan kredit sebagian, diskalakan oleh faktor diskon untuk menghindari overvaluasi near-misses (ini mencegah model mengambil keuntungan dari tebakan yang hanya sebagian benar).

Jawaban yang tidak valid, seperti ‘curang’ menggunakan nomor yang sama berulang-ulang, menerima skor nol. Untuk mendorong pemformatan konsisten, model harus meletakkan alasan di dalam <think> tag dan jawaban akhir di dalam <answer> tag. Ini menerima bonus kecil jika format ini digunakan dengan benar.

Gambar

Untuk membuat teka-teki untuk gambar modalitas, gambar dipotong menjadi grid potongan dengan memotongnya menjadi blok yang sama besar:

Contoh potongan gambar untuk sistem untuk diselesaikan.

Potongan-potongan tersebut diletakkan dalam urutan tetap dari kiri atas ke kanan bawah, seperti urutan membaca pada halaman, sebelum diacak dengan shuffle acak. Model kemudian diekspos pada himpunan potongan yang diacak ini, dan harus mencari tahu urutan aslinya dengan memprediksi permutasi yang benar yang mengembalikan tata letak aslinya.

Dalam pelatihan, 118.000 gambar dari dataset COCO digunakan, dengan setiap gambar menghasilkan sembilan potongan (yaitu, ‘potongan teka-teki’). Prompt yang diberikan kepada sistem ditampilkan sebelumnya dalam artikel ini (gambar di atas dengan caption yang dimulai dengan ‘Dari materi tambahan makalah baru’).

Video

Untuk tugas jigsaw video, video dipotong menjadi urutan klip dengan memotongnya secara merata di seluruh waktu, dan kemudian mengacak segmen klip. Model kemudian ditampilkan urutan klip yang diacak ini, dan harus mencari tahu urutan kronologis aslinya.

Contoh dipotong dari tantangan teka-teki video, dari materi tambahan makalah.

Pelatihan untuk modalitas ini menggunakan 100.000 video dari dataset LLaVA-Video, dengan setiap video dipotong menjadi enam klip. Untuk mencegah model mengambil keuntungan dari petunjuk pencocokan frame yang jelas di batas klip, 5% frame di awal dan akhir setiap klip dipotong.

Klip berisi tidak lebih dari 12 frame, masing-masing dengan resolusi maksimum 128x28x28 piksel. Video yang lebih pendek dari 24 detik dikecualikan.

Prompt untuk tugas ini ditampilkan di bawah:

Prompt pembelajaran penguatan yang disajikan kepada MLLM untuk tugas video, tanpa klip yang akan disajikan kepada MLLM..

Data 3D

Tugas jigsaw 3D penuh biasanya melibatkan memecah ruang 3D (seperti blok voxel atau fragmen awan titik) menjadi potongan yang lebih kecil dan melatih model untuk merekonstruksi tata letak spasial aslinya.

Namun, MLLM rata-rata tidak dilengkapi untuk menangani data 3D mentah secara langsung, melainkan bergantung pada input gambar atau video yang diinterpretasikan secara semantik. Oleh karena itu, untuk membuat tugas yang masih mengetahui alasan 3D sambil tetap kompatibel dengan MLLM saat ini, penulis memperkenalkan varian yang lebih dapat diatasi menggunakan gambar RGB-D (yaitu, gambar 2D yang menyertakan informasi kedalaman untuk setiap piksel).

Contoh pertanyaan dari Benchmark Pemahaman Spasial 3D yang digunakan untuk mengevaluasi kinerja pada alasan sudut pandang relatif dan gerakan kamera. Model Jigsaw 3D secara akurat menginfer baik hubungan spasial antara dua pandangan adegan dan arah rotasi kamera yang mungkin, outperforming baseline Qwen2.5-VL-7B.

Dari setiap gambar RGB-D, model diberikan daftar titik yang awalnya memiliki kedalaman yang berbeda, berkisar dari dekat ke jauh, dengan tujuan untuk memulihkan urutan kedalaman yang benar menggunakan hanya gambar 2D sebagai referensi:

Prompt RL untuk jigsaw 3D.

Setiap titik ditandai pada gambar (yang ditampilkan kepada model, tetapi tidak divisualisasikan dalam contoh prompt di atas), dan model harus memprediksi mana yang paling dekat, kedua terdekat, dan seterusnya, secara efektif merekonstruksi urutan kedalaman asli tanpa akses ke nilai kedalaman mentah.

Tugas jigsaw 3D dilatih pada gambar RGB-D dari dataset ScanNet, menggunakan 300.000 sampel yang dibuat dengan memilih set enam titik kedalaman per gambar.

Contoh awan titik dari dataset ScanNet yang digunakan dalam jigsaw 3D. Sumber: https://arxiv.org/pdf/1702.04405

Setiap titik harus berada dalam jangkauan kedalaman 0,1 hingga 10 meter, dan untuk mempromosikan keragaman, tidak ada dua titik dalam satu set yang diizinkan berada lebih dekat dari 40 piksel di bidang gambar, atau kurang dari 0,2 meter terpisah dalam kedalaman.

Pengujian

Untuk pengujian awal, sistem menggunakan Qwen2.5-VL-7B-Instruct sebagai model multimodal dasar. Pelatihan menggunakan algoritma Group Relative Policy Optimization (GRPO), dengan KL regularization dan entropy loss dihapus.

Untuk prediksi sebagian, faktor diskon 0,2 diterapkan. Pelatihan jigsaw gambar menggunakan ukuran batch global 256, sedangkan jigsaw video dan 3D menggunakan 128. Laju pembelajaran ditetapkan ke 1×10⁻⁶.

Untuk setiap prompt, model menghasilkan 16 respons pada suhu dekoding 1,0. Baik tugas jigsaw gambar dan video dilatih selama 1.000 langkah, sedangkan tugas jigsaw 3D dilatih selama 800 langkah.

Jigsaw Gambar

Model jigsaw gambar diuji di seluruh tiga kategori benchmark visual-sentris: untuk persepsi halus dan pemahaman, MMVP, subset persepsi halus dari MMStar; MMBench; HR-Bench; V*; MME-RealWorld (lite); LISA-Grounding; dan OVD-Eval.

Untuk pemahaman spasial monokular, benchmark yang digunakan adalah VSR; OmniSpatial; dan Depth Anything V2 (DA-2K). Untuk pemahaman visual komposisional, tes tersebut menggunakan Winoground dan SugerCrepe++.

Tiga baseline diuji, semua berasal dari Qwen2.5-VL-7B: ThinkLite-VL untuk alasan multimodal; VL-Cogito untuk tugas visual dan ilmiah umum; dan LLaVA-Critic-R1 untuk persepsi gambar.

Semua diuji menggunakan jawaban singkat saja, karena alasan rantai pikiran (CoT) terkadang mengurangi kinerja.

Hasil evaluasi pada benchmark gambar. Jigsaw Gambar meningkatkan kinerja pada model dasar Qwen2.5-VL-7B di seluruh kategori tugas (yaitu, persepsi halus dan pemahaman; pemahaman spasial monokular; dan alasan visual komposisional), outperforming baseline pasca-pelatihan sebelumnya.

Dari hasil jigsaw gambar, yang ditampilkan di atas, penulis menyatakan:

‘[Gambar di atas] menunjukkan bahwa metode kami secara konsisten meningkatkan kemampuan visual-sentris pada ketiga jenis benchmark. Hasil ini mengkonfirmasi bahwa pelatihan pasca-jigsaw gambar secara signifikan meningkatkan pemahaman visual halus dan alasan spasial MLLM di luar strategi pelatihan pasca-pelatihan yang berfokus pada alasan.’

‘Kami mengatribusikan perbaikan ini pada kenyataan bahwa memecahkan jigsaw gambar memerlukan model untuk memperhatikan detail potongan lokal, menginfer tata letak spasial global, dan beralasan tentang hubungan antar potongan, yang secara langsung menguntungkan pemahaman halus, spasial, dan komposisional.’

Jigsaw Video

Untuk jigsaw video, evaluasi dilakukan pada AoTBench; Vinoground; TOMATO; FAVOR-Bench; TUNA-Bench; Video-MME; TempCompass; TVBench; MotionBench; LVBench; VSI-Bench; Video-TT; dan CVBench.

Video-R1 digunakan sebagai baseline, yang telah dilatih dengan fine-tuning terawasi dingin diikuti dengan pembelajaran penguatan untuk pemahaman dan alasan video. Dalam kasus ini, evaluasi termasuk proses alasan penuh, karena ini secara konsisten menghasilkan hasil yang lebih baik daripada jawaban langsung.

Semua model dibatasi pada 256x28x28 piksel, dan diuji di seluruh tiga pengaturan frame – 16, 32, dan 64:

Hasil evaluasi pada benchmark video, dengan Jigsaw Video outperforming baseline secara konsisten di seluruh tugas dan pengaturan frame.

Jigsaw Video menghasilkan perbaikan konsisten di seluruh benchmark pemahaman video dan pengaturan frame, dengan keuntungan terutama kuat pada tugas yang memerlukan alasan temporal dan directionalitas, seperti yang ada di AoTBench, dan juga dalam benchmark alasan video silang, seperti CVBench:

‘Hasil ini mengkonfirmasi bahwa memecahkan tugas jigsaw video mendorong model untuk lebih baik menangkap kontinuitas temporal, memahami hubungan di seluruh video, beralasan tentang konsistensi directional, dan menggeneralisasi pada skenario pemahaman video holistik dan umum.’

Data 3D

Untuk modalitas 3D, model diuji pada SAT-Real; 3DSRBench; ViewSpatial; All-Angles; benchmark OmniSpatial yang disebutkan sebelumnya; VSI-Bench; SPARBench (tiny); dan benchmark DA-2K yang disebutkan sebelumnya.

Hasil evaluasi pada benchmark 3D: Jigsaw 3D meningkatkan kinerja di seluruh tugas perbandingan kedalaman seperti DA-2K, serta benchmark pemahaman 3D yang lebih luas yang mencakup input video tunggal, multi-view, dan egosentris.

Di sini penulis menyatakan:

‘Jigsaw [3D] mencapai perbaikan signifikan di seluruh benchmark. Tidak mengherankan, keuntungan terbesar ada pada DA-2K, benchmark estimasi kedalaman yang terkait langsung dengan tugas pelatihan pra-kedalaman kami. Lebih penting, kami mengamati perbaikan konsisten pada berbagai tugas lainnya, termasuk yang dengan input tunggal (misalnya, 3DSRBench, [OmniSpatial]), multi-view (misalnya, ViewSpatial, All-Angles), dan input video egosentris (misalnya, VSI-Bench). ‘

‘Hasil ini menunjukkan bahwa pendekatan kami tidak hanya mengajarkan keterampilan khusus pengaturan kedalaman tetapi juga secara efektif memperkuat kemampuan model untuk memahami dan beralasan tentang struktur spasial 3D.’

Kesimpulan

Apa yang tidak sepenuhnya jelas dari makalah ini adalah hubungan tepat antara gambar dan deskripsi yang memungkinkan perbaikan ini dalam kinerja MLLM.

Pada pandangan pertama, proses belajar melalui pemecahan teka-teki tampak sangat analog dengan upaya awal kita sendiri dan perkembangan. Namun, penelitian lebih lanjut terhadap makalah tersebut mengungkapkan seberapa besar bahasa berfungsi sebagai jembatan yang menarik antara realitas visual dan semantik bagi MLLM.

* Perlu diingat bahwa penulis makalah lebih suka menggunakan istilah ‘Multimodal Large Language Models’, disingkat ‘MLLMs’. Ini adalah istilah yang sedang berkembang atau jarang digunakan, dan berlaku untuk model yang dapat secara ekstensif beralasan dan menganalisis gambar secara spasial, tetapi tidak menghasilkan gambar. Ketika paradigma dan model baru muncul, leksikon ini dalam revisi konstan.

Dipublikasikan pertama kali pada hari Kamis, 2 Oktober 2025