ألعاب الفوضى تعزز التفكير البصري للذكاء الاصطناعي

تشير الأبحاث الجديدة إلى أن نماذج الذكاء الاصطناعي يمكن أن تصبح أكثر ذكاءً في الرؤية من خلال حل ألعاب الفوضى. إعادة ترتيب الصور والفيديوهات والمشاهد ثلاثية الأبعاد المخلوطة تساعدهم على تعزيز مهاراتهم البصرية دون الحاجة إلى بيانات إضافية أو علامات أو أدوات.

في الهرولة الحالية لدفع نماذج اللغة الكبيرة متعددة الوضعية (MLLMs*) إلى الأمام ، هناك القليل من الانتصارات السهلة ولا مجال للغداء المجاني.

على الرغم من أن العديد من الإصدارات الصينية للبرامج مفتوحة المصدر في عام 2025 تم الإبلاغ عن أن لديها تكاليف تطوير وتشغيل أقل ، فإن الإصدارات الغربية تميل إلى إلقاء المزيد من الأموال في المشكلة: المزيد من حجم البيانات ، والمزيد من قوة الاستدلال ، والمزيد من الكهرباء (على الرغم من أننا لاحظنا مؤخرًا أن لا يزال هناك المزيد من المشاهدين البشر الحقيقيين ، منذ أن يكون ذلك باهظًا جدًا حتى لثورة الذكاء الاصطناعي ذات التكلفة البالغة تريليون دولار+).

في الأدبيات البحثية ، فإن معظم النهج المزعوم “المجاني” لتطوير هندسة الذكاء الاصطناعي تُظهر تحسينات طفيفة فقط ؛ أو تحسينات في مجالات ليست الأكثر سعيًا. ومع ذلك ، فإن البحث عن مبادئ أساسية لم تكتشف بعد قد تسريع وتيرة التطوير أمر لا يمكن التخلي عنه.

التعامل مع القطع

في حين أن هذا ليس بالضبط في تلك الفئة ، فإن التعاون الأكاديمي الجديد بين المؤسسات الصينية يزعم أنه قد حدد أن جعل نماذج اللغة الكبيرة متعددة الوضعية تحل ألعاب الفوضى تحسن أدائهم بشكل ملحوظ ، على الرغم من أن هذا النهج القائم على التعزيز سجل أداء سيئًا في هذه المنطقة من قبل ، وعلى الرغم من أنه لا يتطلب أي أنظمة إضافية أو نماذج مساعدة أو عمليات “إضافة” أخرى:

Visual Jigsaw هو إطار عمل بعد التدريب ذاتي يُحسّن من مهارات الرؤية في نماذج اللغة الكبيرة متعددة الوضعية. من خلال التدريب على مهام الفوضى عبر الصور والفيديوهات والبيانات ثلاثية الأبعاد ، يكتسب النماذج رؤية دقيقة ومكانية وتركيبية أفضل في الصور ، وتعزيزًا لreasoning الزمني في الفيديوهات ، وفهماً متقدمًا للجغرافيا في المشاهد ثلاثية الأبعاد. يعرض مخطط الرادار في الصورة أعلاه مكاسب متسقة على القاعدة Qwen2.5-VL ، مع تعديل مقاييس القيمة لکل اختبار للوضوح. Source: https://arxiv.org/pdf/2509.25190

النظام الذي صممه الباحثون يُسمى Visual Jigsaw ، ويتضمن تدريب نماذج اللغة الكبيرة متعددة الوضعية الحالية على مواد تم تفتيتها وتوزيعها عشوائيًا ، مثل الفوضى. قام المؤلفون بتطوير ثلاث طرق لهذا النهج: صورة ، فيديو ، وثلاثي الأبعاد (أي شبكات) ، ووجدوا أن تعديلًا معقولاً بنفس العملية كان مفيدًا لجميع ثلاثة المجالات:

تمثيل لمهام الفوضى البصرية الثلاثة. في الفوضى الصورية ، يتم تقسيم الصورة إلى قطع ، وتمزج ، ويتوقع النموذج الترتيب الصحيح؛ في الفوضى الفيديوية ، يتم تمزج مقاطع الفيديو ، ويعيد النموذج ترتيبها الزمني؛ في الفوضى ثلاثية الأبعاد ، يتم تمزج النقاط ذات الأعماق المختلفة ، ويرتب النموذجها من الأقرب إلى الأبعد.

طريقة تدريب Visual Jigsaw تساعد نماذج الذكاء الاصطناعي على تحسين فهم المعلومات البصرية من خلال إعادة تجميع هذه الصور أو مقاطع الفيديو أو نقاط البيانات ثلاثية الأبعاد المخلوطة.

تعتمد هذه العملية على الكلمات وليس على الصور ، وبالتالي لا يتعين على النموذج توليد الصور أو استخدام أي مكونات بصرية إضافية. هذا النهج يتناسب مع نظام يُسمى التعلم بالتعزيز من المكافآت القابلة للتحقق (RLVR) ، حيث يحصل النموذج على مكافآت للاجابات الصحيحة بناءً على قواعد واضحة وآلية؛ وبالتالي ، لا يتطلب أي تعليم إضافي:

الجواب غير الصحيح ، مثل “الغش” باستخدام نفس الرقم بشكل متكرر ، يحصل على درجة صفر. لتشجيع التنسيق الثابت ، يجب على النموذج وضع استدلاله داخل علامات <think> وجهته النهائية داخل علامات <answer>. يحصل على مكافأة صغيرة إذا تم استخدام هذا التنسيق بشكل صحيح.

الصور

لإنشاء لغز للوضع الصور ، يتم تقسيم صورة إلى شبكة من القطع عن طريق تقطيعها إلى كتل متساوية الحجم:

أمثلة على قطع الصور التي يجب على النظام حلها.

تُ bốتر القطع في ترتيب ثابت من أعلى اليسار إلى أسفل اليمين ، كما هو الحال في ترتيب القراءة على الصفحة ، قبل تمزجها بتمزج عشوائي. ثم يتعرض النظام لهذه المجموعة الممزوجة من القطع ، ويجب أن يجد الترتيب الأصلي عن طريق التنبؤ بالترتيب الصحيح الذي يستعيد التخطيط الأصلي.

في التدريب ، تم استخدام 118,000 صورة من مجموعة COCO ، مع كل صورة تنتج تسع قطع (أي “قطع الفوضى”). الطلب المقدم إلى النظام موضح أعلاه (الصورة مع التعليق الذي يبدأ بـ ‘من مواد البحث الجديدة’).

الفيديو

对于 مهام الفوضى الفيديوية ، يتم تقطيع الفيديو إلى تسلسل من المقاطع عن طريق تقطيعها بشكل متساوٍ عبر الوقت ، ثم تمزج مقاطع الفيديو. ثم يعرض النظام هذه التسلسلات الممزوجة ، ويجب أن يجد الترتيب الزمني الصحيح الأصلي:

أمثلة مقطوعة من تحدي الفوضى الفيديوية ، من مواد البحث الجديدة.

تم استخدام 100,000 فيديو من مجموعة LLaVA-Video للتدريب على هذا الوضع ، مع كل فيديو مقطع إلى ست قطع. لمنع النظام من استغلال الدلائل الواضحة للمطابقة الإطارية عند حدود القطع ، تم قص 5٪ من الإطارات في بداية ونهاية كل قطعة.

كانت كل قطعة تحتوي على أكثر من 12 إطارًا ، كل منها بحد أقصى 128x28x28 بكسل. تم استبعاد الفيديوهات القصيرة جدًا (أقل من 24 ثانية).

الطلب المقدم لهذه المهمة موضح أدناه:

الطلب التعلمي المقدم إلى نماذج اللغة الكبيرة متعددة الوضعية لمهمة الفيديو ، بدون المقاطع التي تم تقديمها إلى النموذج..

البيانات ثلاثية الأبعاد

مهمة الفوضى ثلاثية الأبعاد الكاملة ستشمل عادةً كسر مساحة ثلاثية الأبعاد (مثل كتل الفوكسيل أو سحب النقاط) إلى قطع صغيرة ، وتدريب نموذج على إعادة بناء التخطيط المكاني الأصلي.

然而 ، النموذج الكبير متعددة الوضعية العادي لا يمتلك القدرة على التعامل مباشرة مع البيانات ثلاثية الأبعاد الخام ، بل يعتمد على مدخلات الصور أو الفيديوهات المفسرة семантиًا. لذلك ، لإنشاء مهمة لا تزال تستخدم التفكير ثلاثي الأبعاد مع توافقها مع نماذج اللغة الكبيرة متعددة الوضعية الحالية ، قدم المؤلفون متغيرًا أكثر قابلية للتحقيق باستخدام الصور ثنائية البعد التي تحتوي على معلومات العمق لكل بكسل (أي RGB-D).

أمثلة من أسئلة فهم الفراغ ثلاثي الأبعاد المستخدمة لتقييم الأداء في استدلال زاوية النظر والحركة الكاميرا. يُخلص نموذج الفوضى ثلاثية الأبعاد بشكل صحيح إلى العلاقة المكانية بين مشاهدتين لمشهد والاتجاه المحتمل للحركة الكاميرا ، متغلبًا على نموذج Qwen2.5-VL-7B.

من كل صورة RGB-D ، يُمنح النموذج قائمة ممزوجة من النقاط التي كانت ذات أعماق مختلفة في الأصل ، تتراوح من الأقرب إلى الأبعد ، والهدف هو استعادة ترتيب العمق الصحيح باستخدام فقط الصورة ثنائية الأبعاد كمرجع:

الطلب التعلمي للفوضى ثلاثية الأبعاد.

كل نقطة تم وضع علامة عليها على الصورة (التي يتم عرضها على النموذج ، ولكن لا يتم تمثيلها في مثال الطلب الموجود في الصورة أعلاه) ، ويجب على النموذج التنبؤ بأي نقطة كانت الأقرب ، والأقرب ثانيًا ، وهكذا ، بفعالية إعادة بناء التسلسل الأصلي للعمق دون الوصول إلى القيم الخام للعمق.

تم تدريب مهمة الفوضى ثلاثية الأبعاد على صور RGB-D من مجموعة ScanNet ، باستخدام 300,000 نموذج تم إنشاؤه bằng اختيار مجموعات عشوائية من ست نقاط العمق لكل صورة.

أمثلة على سحب النقاط من مجموعة ScanNet المستخدمة في الفوضى ثلاثية الأبعاد. Source: https://arxiv.org/pdf/1702.04405

كل نقطة كانت مطلوبة لتكون داخل نطاق عمق من 0.1 إلى 10 أمتار ، ولتعزيز التنوع ، لم يُسمح لأي نقطتين في مجموعة أن تكون أقرب من 40 بكسل في مستوى الصورة ، أو أقل من 0.2 متر في العمق.

الاختبارات

للاختبارات الأولية ، استخدم النظام Qwen2.5-VL-7B-Instruct كنموذج متعدد الوضعية الأساسي. تم استخدام خوارزمية GRPO للتدريب ، مع إزالة كل من التنظيم KL و فقدان الإントروبيا.

للتوقعات الجزئية ، تم تطبيق عامل تخفيض 0.2. استخدم التدريب على الفوضى الصورية حجم باتش عالمي من 256 ، في حين استخدمت الفوضى الفيديوية والفوضى ثلاثية الأبعاد 128. تم تعيين معدل التعلم إلى 1×10⁻⁶.

对于 كل طلب ، أنتج النموذج 16 استجابة بدرجة ترميز 1.0. تم تدريب كلا مهمة الفوضى الصورية والفيديوية لمدة 1,000 خطوة ، في حين تم تدريب مهمة الفوضى ثلاثية الأبعاد لمدة 800 خطوة.

الفوضى الصورية

تم اختبار نموذج الفوضى الصورية عبر ثلاث فئات من الاختبارات المركزة على الرؤية: للاستدلال الدقيق و الفهم ، MMVP ، جزء الاستدلال الدقيق من MMStar؛ MMBench؛ HR-Bench؛ V*؛ MME-RealWorld (lite)؛ LISA-Grounding؛ و OVD-Eval.

对于 فهم الفراغ أحادي البعد ، كانت الاختبارات VSR؛ OmniSpatial؛ و Depth Anything V2 (DA-2K).对于 الفهم المركب البصري ، تم استخدام Winoground و SugerCrepe++.

تم اختبار ثلاثة أسس ، جميعها مشتقة من Qwen2.5-VL-7B: ThinkLite-VL للاستدلال المتعدد الوضعية؛ VL-Cogito للمهام البصرية والعلمية العامة؛ و LLaVA-Critic-R1 للاستدلال البصري.

تم تقييم جميعها باستخدام إجابات قصيرة فقط ، لأن الاستدلال السلسلة الفكرية (CoT) أحيانًا يقلل الأداء.

نتائج التقييم على اختبارات الصور. تحسنت الفوضى الصورية على نموذج Qwen2.5-VL-7B الأساسي عبر جميع فئات المهام (أي الاستدلال الدقيق والفهم؛ الفهم المكاني أحادي البعد؛ والاستدلال المركب البصري)، متغلبًا على الأسس المُدرَّبة بعد الإصدار السابقة.

من بين النتائج للفوضى الصورية ، كما هو موضح أعلاه ، يقول المؤلفون:

‘[الصور أعلاه] تُظهر أن طريقةنا تحسن بشكل مستمر القدرات المركزة على الرؤية على ثلاثة أنواع من الاختبارات. هذه النتائج تؤكد أن دمج التدريب على الفوضى الصورية بعد الإصدار يعزز بشكل كبير من التمثيل البصري ونظام اللغة في نماذج اللغة الكبيرة متعددة الوضعية.

‘نسبة هذه التحسينات إلى حقيقة أن حل الفوضى الصورية يتطلب من النموذج الاهتمام بالتفاصيل المحلية للقطع ، والاستدلال عن التخطيطات المكانية العالمية ، والتفكير في العلاقات بين القطع ، مما يفيد مباشرة الفهم الدقيق والمكاني والمركب.’

الفوضى الفيديوية

对于 الفوضى الفيديوية ، تم إجراء التقييم على AoTBench؛ Vinoground؛ TOMATO؛ FAVOR-Bench؛ TUNA-Bench؛ Video-MME؛ TempCompass؛ TVBench؛ MotionBench؛ LVBench؛ VSI-Bench؛ Video-TT؛ و CVBench.

Video-R1 تم استخدامه كأساس ، تم تدريبه مع تعليم إشرافي بارد ثم تعلم تعزيزي للاستدلال والتفكير في الفيديو. في هذه الحالة ، تم تضمين عمليات التفكير الكاملة في التقييمات ، لأنها أنتجت نتائج أفضل بشكل متسق من الإجابات المباشرة.

تم تقييد جميع النماذج بحد أقصى 256x28x28 بكسل ، وتم اختبارها عبر ثلاثة إعدادات إطارية – 16 و 32 و 64:

نتائج التقييم على اختبارات الفيديو ، حيث تفوقت الفوضى الفيديوية على الأساس بشكل متسق عبر جميع المهام وإعدادات الإطارات.

أنتجت الفوضى الفيديوية تحسينات مستمرة عبر جميع اختبارات الفيديو وإعدادات الإطارات ، مع مكاسب قوية بشكل خاص في المهام التي تتطلب التفكير الزمني والاتجاهية ، مثل تلك الموجودة في AoTBench ، وأيضًا في اختبارات التفكير عبر الفيديوهات ، مثل CVBench:

‘تؤكد هذه النتائج أن حل مهام الفوضى الفيديوية يشجع النموذج على التقاط الاستمرارية الزمنية بشكل أفضل ، وفهم العلاقات عبر الفيديوهات ، والتفكير في الاتساق الاتجاهي ، والتعامل مع سيناريوهات الفيديو الشاملة والقابلة للتعميم.’

البيانات ثلاثية الأبعاد

对于 الوضع ثلاثي الأبعاد ، تم تقييم النموذج على SAT-Real؛ 3DSRBench؛ ViewSpatial؛ All-Angles؛ السابق VSI-Bench؛ SPARBench (tiny)؛ والسابقة DA-2K.

نتائج التقييم على اختبارات ثلاثية الأبعاد: تحسنت الفوضى ثلاثية الأبعاد الأداء عبر مهام المقارنة العمقية مثل DA-2K ، بالإضافة إلى اختبارات الإدراك ثلاثي الأبعاد الأوسع التي تغطي مدخلات الفيديو أحادية العرض ومتعددة العرض والمركزية.

هنا يقول المؤلفون:

‘[الفوضى ثلاثية الأبعاد] تحقق مكاسب كبيرة عبر جميع الاختبارات. كما هو متوقع ، فإن أكبر مكسب يتم تحقيقه على DA-2K ، وهو اختبار تقدير العمق يتعلق مباشرة بمهمة التدريب على الترتيب العميق. ومع ذلك ، نلاحظ تحسينات مستمرة عبر مجموعة واسعة من المهام الأخرى ، بما في ذلك تلك التي تتضمن مدخلات فيديو أحادية العرض (مثل 3DSRBench ، [OmniSpatial]) ، ومتعددة العرض (مثل ViewSpatial ، All-Angles) ، والفيديو المركزي (مثل VSI-Bench). ‘

‘تُظهر هذه النتائج أن نهجنا لا يعلم فقط المهارة المحددة للترتيب العميق ، بل يعزز أيضًا القدرة العامة للنموذج على إدراك الهياكل المكانية ثلاثية الأبعاد.’

الاستنتاج

ما لا يزال غير واضح تمامًا من هذا البحث هو العلاقة الدقيقة بين الصور والوصف التي تعمل على تحسين أداء نماذج اللغة الكبيرة متعددة الوضعية.

عند النظر الأول ، يبدو أن عملية التعلم من خلال حل الألغاز تشبه إلى حد ما محاولاتنا الأولى وتطورنا. ومع ذلك ، فإن نظرة أعمق على البحث يكشف عن مدى اعتماد نماذج اللغة الكبيرة متعددة الوضعية على اللغة كجسر مثير بين الواقع البصري والواقع السيميائي.

* يفضل مؤلفو البحث استخدام المصطلح الأقل شيوعًا ‘نماذج اللغة الكبيرة متعددة الوضعية’ ، ويرمز إليها بـ MLLMs. هذا هو مصطلح جديد أو نادر الاستخدام ، ويتعلق بنماذج يمكنها التفكير والتحليل المكاني للصور بشكل مكثف ، ولكنها لا تولد صورًا. مع ظهور أنماط ونموذج mớiة ، يتم مراجعة هذا المصطلح باستمرار. تم نشره لأول مرة يوم الخميس ، 2 أكتوبر 2025.

First published Thursday, 2 أكتوبر 2025