Jigsaw Bulmacaları AI Görsel Akıl Yürütmeyi Geliştirir

Yeni araştırmalar, AI modellerinin jigsaw bulmacalarını çözmek yoluyla daha akıllı görsel akıl yürütmeye sahip olabileceğini gösteriyor. Karışık resimleri, videoları ve 3D sahneleri yeniden düzenlemek, onlara ek veri, etiketler veya araçlar olmadan görsel becerilerini keskinleştirmelerine yardımcı oluyor.

Şu anda Multimodal Büyük Dil Modellerini (MLLMs*) öne çıkarmak için yapılan yarışta, kolay kazançlar yok ve ücretsiz öğünler bulunmuyor.

2025’in etkileyici Çin FOSS sürümlerinin çoğunun daha düşük geliştirme ve çalışma maliyetlerine sahip olduğu bildirilse de, batılı sürümler genellikle problema daha fazla coisa atıyor: daha fazla veri hacmi, daha fazla çıkarım gücü, daha fazla elektrik (ancak, son olarak belirttiğimiz gibi, daha fazla gerçek insan annotatörü değil, çünkü bu çok pahalı nawet $trilyon+ ölçekli gen-AI devrimi için).

Araştırma literatüründe, AI mimarilerinin evrimine yönelik olarak sunulan çoğu sözde ‘ücretsiz’ yaklaşım, yalnızca küçük artımlı iyileştirmeler sunuyor veya en çok aranan alanlarda değil; yine de, geliştirme hızını hızlandırabilecek yeni, keşfedilmemiş ‘temel ilkeleri’ aramak çok çekici.

Parçaları Toplamak

Bu kategoride olmasa da, bir Çin kurumları arasındaki yeni bir akademik işbirliği, VLM’lerin jigsaw bulmacalarını çözmeleri sayesinde performanslarını önemli ölçüde iyileştirdiklerini iddia ediyor; bu pekiştirme öğrenimi yaklaşımı, bu alanda daha önce kötü performans göstermişti ve ayrıca ek sistemler, yardımcı modeller veya diğer ‘ek’ süreçler gerektirmedi:

Görsel Jigsaw, çok modelli büyük dil modellerinin görsel becerilerini geliştiren bir öz-üretimli post-öğretim çerçevesidir. Resimler, videolar ve 3D veriler üzerinde jigsaw görevlerine eğitim vererek, modeller resimlerde daha keskin ince detaylı, uzaysal ve bileşik algı, videolarda daha güçlü zamanlı akıl yürütme ve 3D sahnelerde daha gelişmiş geometri farkındalığı kazanır. Üstteki resimdeki radar grafikler, her benchmark için ayarlanan değer ölçekleriyle birlikte, temel Qwen2.5-VL’ye karşı tutarlı kazançlar gösterir. Kaynak: https://arxiv.org/pdf/2509.25190

Araştırmacılar tarafından geliştirilen sistem Görsel Jigsaw olarak adlandırılmış ve mevcut MLLM’leri parçalanmış ve rasgele dağıtılmış materyallerle eğitmeyi içermektedir; yazarlar bu yaklaşımın üç modu geliştirdiler: resim, video ve 3D (yani, CGI-stil meshler), ve bu sürecin orta düzeyde bir uyarlamasının tüm üç alan için faydalı olduğunu buldular:

Üç Görsel Jigsaw görevinin bir temsilcisi. Resim Jigsaw’da, bir resim parçalara bölünür, karıştırılır ve model orijinal düzeni öngörür; Video Jigsaw’da, klipler karıştırılır ve model zaman içinde sıralarını geri yükler; 3D Jigsaw’da, farklı derinliklere sahip noktalar karıştırılır ve model onları en yakından en uzağa doğru sıralar. Model çıktıları, kısmi kredi verilerek, gerçek değerle karşılaştırılır.

Görsel Jigsaw’un eğitim yöntemi, AI modellerinin görsel bilgileri anlama yeteneklerini, bu karıştırılmış resimleri, video kliplerini veya 3D verileri yeniden düzenleyerek geliştirir.

Süreç, görsel bileşenler kullanmak yerine kelimelere dayanmaktadır ve bu nedenle modelin resimler oluşturmasına veya ek görsel bileşenler kullanmasına gerek yoktur. Bu yöntem, Onaylanabilir Ödüllerden Pekiştirme Öğrenimi (RLVR) adlı bir sisteme dahildir; burada model, net, otomatik kurallara dayalı doğru cevaplar için ödüllendirilir; ve bu nedenle, insan etiketlemesine gerek yoktur.

Bu önemli gerçek, aslında yeni makaleden zor anlaşılabilir: sistem, anlamsal olarak, tanımlar yoluyla, insanların böyle bulmacaları çözmeyi öğrendikleri şekle benzer bir şekilde değil, bunları birleştiriyor:

Yeni makalenin ek malzemelerinden, metin tabanlı naturel bu öğrenme sürecini gösteren bir RL görevi örneği. Modelin sunulacağı resimler burada gösterilmemektedir.

Çok modelli büyük dil modelleri (MLLMs) görsel görevlerle yoğun olarak ilgilenirler, ancak dil tabanlı mimarilerdir, resim, video veya şekil temsilleri (3D meshler gibi) oluşturmak için tasarlanmamışlardır.

Resim jigsaw görevinden örnekler. Her satır, modelin orijinal düzenini geri yüklemesi gereken karıştırılmış parçaları gösterir, doğru düzen sağ tarafta gösterilir.

Her durumda, bu tür eğitim, modelin zaten bazı görsel anlama yeteneklerine sahip olduğu ana öğrenme aşamasından sonra yapılır.

Önceki yaklaşımlar, zoals 2017’de yayınlanan İsviçre makalesi Görsel Temsillerin Jigsaw Bulmacalarını Çözmek yoluyla Öğretimsiz Öğrenimi, bu tür bir pekiştirme yaklaşımını, modern bir MLLM’ye kıyasla oldukça farklı bir mimari olan konvolüsyonel sinir ağları (CNN’ler) üzerinde daha az başarıyla kullanmıştı.

2017’de yayınlanan ‘Görsel Temsillerin Jigsaw Bulmacalarını Çözmek yoluyla Öğretimsiz Öğrenimi’ makalesinden, bir nöral sisteme yönelik bir ödül tabanlı zorluğun erken bir örneği. Kaynak: https://arxiv.org/pdf/1603.09246

Testlerde, Görsel Jigsaw, yazarların iddia ettiği gibi, geniş bir yelpazedeki benchmark’lerde tutarlı ve ölçülebilir iyileştirmeler sağladı: resim jigsaw görevi, ince detaylı algı, uzaysal düzen anlama ve bileşik akıl yürütme yeteneklerini geliştirdi; video jigsaw görevi, modelin zamanlı dizileri izleme ve olay sırasını akıl yürütme yeteneklerini güçlendirdi; ve 3D jigsaw görevi, yalnızca RGB-D girişleri kullanarak derinlik tabanlı anlama ve uzaysal akıl yürütmeyi güçlendirdi.

Tüm üç modda, makale, bu yeni yöntemin, mimari değişiklikler, ek görsel modüller veya ek denetimli veri gerektirmeden, çeşitli rekabetçi temel çizgileri aştığını tekrarlıyor:

‘Geniş kapsamlı deneyler, ince detaylı algı, zamanlı akıl yürütme ve 3D uzaysal anlama konularında önemli iyileştirmeler gösteriyor. Bulgularımız, çok modelli büyük dil modellerinin post-öğretiminde görsel görevlerin potansiyelini vurguluyor ve görsel ön görev tasarımları üzerine daha fazla araştırmaya ilham veriyor.’

Yeni makale, Görsel Jigsaw Post-Öğretimi MLLM’leri Geliştirir olarak adlandırılmış ve Nanyang Teknoloji Üniversitesi, Linköping Üniversitesi ve SenseTime Araştırma’dan altı araştırmacı tarafından yazılmıştır. Makale, canlı demo içeren bir proje sitesiyle birlikte gelir (hatta kendi resiminizi resim tabanlı jigsaw demo’ya yükleyebilirsiniz). Projenin kodu ve ağırlıkları genel olarak erişilebilir hale getirilmiştir,

Yöntem

Önce, yeni sistemin ödül tasarımını ele alalım.

Görsel Jigsaw yaklaşımı, model cevaplarını dereceli bir ödül kullanarak puanlar, sadece basit bir geçme/kalma değil. Model, jigsaw parçalarının tam olarak doğru sıralamasını öngörürse, tam bir ödül alır; eğer cevap kısmen doğruysa, ancak mükemmel değilse, model, indirgeme faktörü tarafından ölçeklendirilen kısmi kredi alır; bu, modelin kısmen doğru cevapları tekrar tekrar denemesini önler (bu, modelin sistemi, sadece kısmen doğru cevaplar vererek oynamasını engeller).

Geçersiz cevaplar, zoals ‘hile‘ olarak, aynı numarayı tekrar tekrar kullanmak, sıfır puan alır. Model, tutarlı bir formatı teşvik etmek için, akıl yürütmelerini <think> etiketleri içinde ve nihai cevaplarını <answer> etiketleri içinde yerleştirmelidir. Doğru bir format kullanılırsa, küçük bir bonus alır.

Resimler

Resim modu için bir bulmaca oluşturmak amacıyla, bir resim önce eşit boyutlu bloklara bölünerek bir ızgara oluşturulur:

Sistem tarafından çözülmesi gereken resim tabanlı parçaların örnekleri.

Parçalar, bir sayfanın okuma düzenine benzer şekilde, üst-soldan alt-sağa doğru sabit bir sırayla düzenlenir, daha sonra rasgele bir karıştırma ile karıştırılır. Model, bu karıştırılmış parçalar kümesine maruz bırakılır ve orijinal düzeni, doğru permütasyonu öngörerek geri yüklemelidir.

Eğitimde, COCO veriseti‘nden 118.000 resim kullanılmış ve her resim dokuz parça (yani, ‘bulmaca parçaları’) üretmiştir. Sisteme verilen.prompt, bu makalenin önceki bölümünde gösterilen resimdir (yazının başladığı ‘Yeni makalenin ek malzemelerinden’ ile başlayan resim).

Video

Video jigsaw görevi için, bir video, zaman içinde eşit olarak kesilerek bir dizi klip oluşturulur ve daha sonra bu klip parçaları karıştırılır. Model, bu karıştırılmış diziyi görür ve zaman içinde orijinal sıralarını geri yüklemelidir.

Makalenin ek malzemelerinden, video bulmaca zorluğunun kesilmiş örnekleri.

Eğitim için bu modda, LLaVA-Video veriseti‘nden 100.000 video kullanılmış, her video altı klip olarak bölünmüştür. Modelin, klip sınırlarındaki açık çerçeve eşleştirme ipuçlarını sömürmesini önlemek için, her klipin başlangıç ve bitişindeki %5’lik çerçeve kısımları kesilmiştir.

Her klip en fazla 12 kare içeriyordu, her kare en fazla 128x28x28 piksel çözünürlüğe sahipti. 24 saniyeden kısa videolar dışlandı.

Bu görev için verilen prompt aşağıdaki gibidir:

MLLM’ler için video görevine sunulan pekiştirme öğrenimi prompt’u, sunulacak klipler olmadan.

3D Veri

Tam bir 3D jigsaw görevi genellikle, bir 3D uzayı (örneğin, voxel blokları veya nokta bulutu parçaları) daha küçük parçalara bölmeyi ve bir modelin orijinal uzaysal düzenini yeniden oluşturmasını gerektirir.

Ancak, ortalama bir MLLM, ham 3D verilerini doğrudan işleyemez, bunun yerine semantik olarak yorumlanan resim veya video girişlerine güvenmektedir. Bu nedenle, mevcut MLLM’lerle uyumlu bir görev oluşturmak için, yazarlar, 2D resimlere derinlik bilgisi ekleyen RGB-D resimlerini kullandılar:

3D Uzaysal Anlama Benchmark’u kullanılarak göreceli görüş ve kamera hareketi akıl yürütmesinin değerlendirilmesinde örnek sorular. 3D Jigsaw modeli, bir sahnenin uzaysal ilişkisini ve kamera rotasyonunun muhtemel yönünü doğru bir şekilde çıkarır ve Qwen2.5-VL-7B temelini aşar.

Her RGB-D resimden, model, orijinal olarak farklı derinliklere sahip noktaların karıştırılmış bir listesini alır ve bu noktaları, yalnızca 2D resme başvurarak, derinliklerine göre sıralamalıdır:

3D jigsaw için RL prompt’u.

Her nokta, modelin göreceği resimde işaretlenir (yukarıdaki resimde gösterilen prompt örneğinde görselleştirilmez), ve model, hangisinin en yakın, hangisinin ikinci en yakın olduğunu ve così weiter öngörmelidir, böylece orijinal derinlik sıralamasını, ham derinlik değerlerine erişmeden geri yükler.

3D jigsaw görevi, ScanNet veriseti‘nden RGB-D resimlerini kullanarak, her resimden altı derinlik noktası seçilerek oluşturulan 300.000 örnek üzerinden eğitilir.

3D jigsaw için kullanılan ScanNet verisetinden nokta bulutları örnekleri. Kaynak: https://arxiv.org/pdf/1702.04405

Her nokta, 0.1 ila 10 metre arasında bir derinlik aralığında olmalı ve çeşitliliği teşvik etmek için, bir set içindeki hiçbir iki nokta, görsel düzlemde 40 pikselden veya derinlikte 0.2 metreden daha yakın olmamalıdır.

Testler

İlk testler için, Qwen2.5-VL-7B-Instruct temel çok modelli model olarak kullanıldı. Eğitim, GRPO algoritması kullanılarak gerçekleştirildi, hem KL düzenleme hem de entropi kaybı kaldırıldı.

Kısmi öngörüler için, 0.2’lik bir indirgeme faktörü uygulandı. Resim jigsaw eğitimi için global toplu işleme boyutu 256 olarak ayarlanırken, video ve 3D jigsaw için 128 olarak ayarlandı. Öğrenme oranı 1×10⁻⁶ olarak belirlendi.

Her prompt için, model 16 cevap üretti, 1.0 decoding sıcaklık değerinde. Hem resim hem de video jigsaw görevleri 1.000 adımda eğitilirken, 3D jigsaw görevi 800 adımda eğitildi.

Resim Jigsaw

Resim jigsaw modeli, üç kategori görsel merkezli benchmark’lerde test edildi: ince detaylı algı ve anlama için, MMVP, MMStar‘ın ince detaylı algı alt kümesi; MMBench; HR-Bench; V*; MME-RealWorld (lite); LISA-Grounding; ve OVD-Eval.

Monocular uzaysal anlama için, benchmark’ler VSR; OmniSpatial; ve Depth Anything V2 (DA-2K) idi. Bileşik görsel anlama için, testler Winoground ve SugerCrepe++ kullanıldı.

Üç temel model test edildi, hepsi Qwen2.5-VL-7B’den türetilmiştir: ThinkLite-VL için çok modelli akıl yürütme; VL-Cogito için genel görsel ve bilimsel görevler; ve LLaVA-Critic-R1 için resim algısı.

Tüm modeller, zincirleme akıl yürütme (CoT) nedeniyle performansın bazen azalmasına neden olabileceği için, sadece kısa cevaplar kullanılarak değerlendirildi.

Resim benchmark’lerinde değerlendirme sonuçları. Resim Jigsaw, Qwen2.5-VL-7B temel modeline göre tüm görev kategorilerinde (yani, ince detaylı algı ve anlama; monocular uzaysal anlama; ve bileşik görsel akıl yürütme) iyileşme gösterdi ve önceden post-öğretim temel çizgilerini aştı.

Resim jigsaw için sonuçlar, yukarıda gösterilen, yazarlar tarafından şöyle açıklanmıştır:

‘[Yukarıdaki resim] yöntemimizin, üç benchmark türünde de görsel merkezli yetenekleri tutarlı bir şekilde iyileştirdiğini gösterir. Bu sonuçlar, resim jigsaw post-öğretiminin, akıl yürütme merkezli post-öğretim stratejilerine kıyasla MLLM’lerin algısal temellerini ve ince detaylı görsel anlama yeteneklerini önemli ölçüde geliştirdiğini teyit eder.

‘Bu iyileştirmeleri, modelin yerel parça ayrıntılarına dikkat etmesi, global uzaysal düzenleri çıkarması ve parça arasındaki ilişkileri akıl yürütmesi gerektiği gerçeğine atfetmekteyiz, bu doğrudan ince detaylı, uzaysal ve bileşik anlama yeteneklerine fayda sağlar.’

Video Jigsaw

Video jigsaw için, değerlendirme AoTBench; Vinoground; TOMATO; FAVOR-Bench; TUNA-Bench; Video-MME; TempCompass; TVBench; MotionBench; LVBench; VSI-Bench; Video-TT; ve CVBench üzerinde yapıldı.

Video-R1 soğuk başlangıçlı denetimli fine-tuning ve video anlama ve akıl yürütme için pekiştirme öğrenimi kullanılarak eğitilmiş bir temel olarak kullanıldı. Bu durumda, değerlendirmeler, daha iyi sonuçlar üretmesi nedeniyle, tam akıl yürütme sürecini içeriyordu.

Tüm modeller, 256x28x28 piksel ile sınırlı tutuldu ve üç kare ayarı üzerinden test edildi – 16, 32 ve 64:

Video benchmark’lerinde değerlendirme sonuçları, Video Jigsaw’un tüm görevlerde ve kare ayarlarında tutarlı bir şekilde baseline’ı aştığını gösteriyor.

Video Jigsaw, tüm video anlama benchmark’lerinde ve kare ayarlarında tutarlı iyileştirmeler sağladı, özellikle zamanlı akıl yürütme ve yönlülük gerektiren görevlerde, zoals AoTBench’te ve video arası akıl yürütme benchmark’lerinde, zoals CVBench’te:

‘Bu sonuçlar, video jigsaw görevlerinin çözülmesinin, modelin zamanlı devamlılığı daha iyi yakalamasını, video arasındaki ilişkileri anlamasını, yönlü tutarlılığı akıl yürütmesini ve holistik ve genel video anlama senaryolarına genellemesini teşvik ettiğini doğrular.’

3D Veri

3D modu için, model SAT-Real; 3DSRBench; ViewSpatial; All-Angles; yukarıda bahsedilen OmniSpatial; VSI-Bench; SPARBench (küçük); ve yukarıda bahsedilen DA-2K üzerinde değerlendirildi.

3D benchmark’lerinde değerlendirme sonuçları: 3D Jigsaw, DA-2K gibi derinlik karşılaştırma görevlerinde ve tek görüş, çok görüş ve egosentrik video girişlerini kapsayan daha geniş 3D algı benchmark’lerinde performansını iyileştirdi.

Yazarlar burada şöyle diyor:

‘3D Jigsaw, tüm benchmark’lerde önemli iyileştirmeler sağlar. Beklenebileceği gibi, en büyük kazanç, doğrudan derinlik sıralama ön görevine ilgili olan DA-2K’dir. Daha da önemli olarak, tek görüş (örneğin, 3DSRBench, [OmniSpatial]), çok görüş (örneğin, ViewSpatial, All-Angles) ve egosentrik video girişlerini içeren daha geniş bir görev yelpazesinde tutarlı iyileştirmeler gözlemliyoruz.

‘Bu sonuçlar, yaklaşımımızın, sadece belirli bir beceri olan derinlik sıralamasını öğretmekle kalmayıp, aynı zamanda modelin genel 3D uzaysal yapıyı algılama ve akıl yürütme yeteneklerini etkili bir şekilde güçlendirdiğini gösteriyor.’

Sonuç

Bu makalede tam olarak açık olmayan şey, MLLM performansındaki bu iyileştirmeyi sağlayan resim ve açıklamalar arasındaki ilişkidir.

İlk bakışta, bulmaca çözme yoluyla öğrenme süreci, kendi erken gelişme ve keşiflerimize çok benzer görünüyor. Ancak makaleye daha yakından bakıldığında, dilin, MLLM’ler için görsel ve semantik gerçeklikler arasındaki ilginç bir köprü olarak nasıl hizmet ettiği anlaşılıyor.

* Lütfen makale yazarlarının daha az kullanılan terimi tercih ettiğini unutmayın: ‘Çok Modelli Büyük Dil Modelleri’, ‘MLLMs’ olarak kısaltılır. Bu, görsel bilgilerde uzaysal olarak geniş çapta akıl yürütebilen ancak resim oluşturmayan modellere uygulanan, yeni ortaya çıkan veya nadiren kullanılan bir terimdir. Yeni paradigmalar ve modeller ortaya çıktıkça, bu terminoloji sürekli olarak güncellenmektedir.

İlk olarak 2 Ekim 2025 Perşembe günü yayınlandı.