الذكاء الاصطناعي الذي يستخدم الصور في الاستدلال بسلسلة التفكير (CoT)

نحن نفكر كثيرًا بالصور — حسنًا، معظمنا يفعل ذلك: فقد أظهرت الأبحاث أن ضعف القدرة على التخيل البصري لدى البشر يرتبط بانخفاض الأداء الأكاديمي. أما في ما يتعلق بالحفظ (أي حاجتنا إلى تذكّر الأشياء، لا المعضلة التي تمثلها الذكريات بالنسبة إلى الذكاء الاصطناعي)، فقد استُخدمت القوة الدلالية الكبيرة للصور القوية أو الحية على مدى آلاف السنين أداةً للتعلّم:

«معبد الزمن» لإيما ويلارد (1846)، وهو تصوير تعليمي يحوّل التسلسل الزمني إلى فضاء مادي، ويرتب الفترات التاريخية والشخصيات ضمن منظور معماري يتراجع نحو الخلف. صممت ويلارد مثل هذه الصور بوصفها وسائل بصرية مساعدة على التذكر، إذ آمنت بأن التمثيلات الرسومية تساعد الطلاب على تكوين صورة ذهنية متماسكة عن التاريخ. المصدر

لكن مجال تقنيات التذكّر يتناول استيعاب البيانات لا معالجتها أو تفسيرها، وهي أمور يختلف فيها الناس كثيرًا بحسب «أساليب» التفكير التي يعتمدونها.

أما أنا شخصيًا، فأنا أفكر بالأشكال، وقد دأبت على ذلك منذ أن بدأت التفكير؛ إذ أتصور العقود والسنوات والأفكار والأشخاص بطريقة ما من خلال الهندسة النسبية والكتل الحجمية المتحركة. ويفكر آخرون أساسًا بالأرقام، فيما يفكر غيرهم بالروائح أو المذاق.

أما بالنسبة إلى الذكاء الاصطناعي، فنطاق أساليب التآلف الحسي الممكنة أضيق. فمن الطبيعي أن النموذج اللغوي الكبير (LLM) يستطيع التفكير بالنص، لأنه نوع الترميز الأصلي لديه، فوق مستوى التضمينات؛ وقد تبيّن أن النماذج اللغوية الكبيرة ترمّز الأرقام في هيئة مفاهيم بدلًا من قيم متغيرات مجردة، ما يدل على نزعة إلى «التفكير بالأرقام».

لكن إلى أي مدى يمكن القول إن النموذج اللغوي الكبير «يفكر بالأشكال» أو «يفكر بالصور» على غرار ما يميل البشر إلى فعله؟

إن تلقي إجابات مختلفة من نموذج لغوي كبير عن السؤال نفسه عند طرحه بلغات مختلفة يدل على أن هذه الروابط قد تكون شديدة التحديد وهشة، وأنها مضمّنة برمجيًا في نصوص بعينها ضمن نطاق لغة معينة (أي «الإسبانية»)، بدلًا من معالجة نطاق أوسع يتجاوز اللغة، ومع ذلك يشملها*.

لذلك، قد يتمتع نموذج لغوي كبير متعدد الوسائط (أي نموذج لغوي بصري، أو VLM) قادر على توليد الصور لمجرد استخدامها في سلسلة تفكيره الداخلية (COT) بميزة منطقية، أو على الأقل بوجهة نظر مختلفة بالمعنى الحرفي.

وجهات نظر جديدة

انطلاقًا من هذه الفكرة، طرح تعاون بحثي حديث من ألمانيا نموذجًا لغويًا بصريًا يركز على الصور يُسمى ReImaGin، ويستفيد من توليد الصور بوصفه آلية استدلال مرنة.

رغم أن أعمالًا سابقة أضافت مكونات قائمة على الصور، فإن هذه الإمكانات لم تكن جزءًا أصيلًا من سير العمل الأساسي ولا ضرورية له؛ وعلى النقيض، صُمم النظام الجديد للمؤلفين ليستفيد من القدرات الحديثة جدًا للنماذج اللغوية البصرية، فيحل محل وظائف الأدوات المتخصصة وأساليبها، مثل إدراك العمق.

في المثال أدناه، المأخوذ من الورقة البحثية الجديدة التي تحمل عنوان الاستدلال باستخدام توليد الصور، يتعين على الذكاء الاصطناعي تفسير منظورين (الصورتان الواقعتان في أقصى اليسار)، لا يحتوي أي منهما على جميع المعلومات اللازمة لحل المهمة. ولذلك يستطيع النموذج الاستفادة من المعلومات المتاحة لديه لاستيعاب صورة أوسع وأكثر اكتمالًا للمشهد (الخريطة التي تحمل العنوان الفرعي «تصوير مولّد»، وهي الثالثة من اليسار أدناه).

مثال من الورقة البحثية الجديدة على توليد ReImaGin خريطة من منظور علوي انطلاقًا من منظورين غير مكتملين، ما يمنح النموذج تمثيلًا بصريًا موحدًا يمكنه الاستدلال انطلاقًا منه. المصدر

لا يقتصر ReImaGin على نوع واحد بعينه من التحويل البصري؛ بل يستطيع استكمال الأجزاء الناقصة من الأحجية، وإزالة الأجسام الحاجبة للرؤية لإجراء عمليات العد، ورسم المسارات للتنبؤ بالتصادمات، ودمج مناظير متعددة في خرائط مكانية، وتحويل المسارات المتقطعة إلى خطوط متصلة لتتبّعها، وإنشاء خرائط للعمق بغرض الاستدلال بشأنه.

والأهم من ذلك أن النظام يستطيع تنظيم استخدامه لهذه المجموعة الداخلية من الأدوات، بما يتماشى مع القدرات الناشئة حديثًا لدى النماذج اللغوية البصرية على معالجة تحديات محددة تلقائيًا باستخدام الأدوات المناسبة، مثل تقدير العمق. وتُستدعى معظم وظائف ReImaGin، وفقًا للوصف، عبر استدعاءات إلى generate_image أداة، وهي وظيفة يمكنها التدخل بصريًا عند الحاجة، من دون إشراف بشري أو استدعاء من الإنسان.

ويذكر المؤلفون:

‘لأن generate_image يقبل تعليمات عشوائية بلغة طبيعية، ما يتيح للوكيل إجراء طيف واسع من التحويلات؛ لكن السؤال هو: أي تحويل منها يساعد فعليًا في مهمة معينة؟

‘[Standard] تتمثل إحدى الممارسات في تحديد التحويل من خلال أمثلة معدّة يدويًا داخل السياق، توضّح الاستراتيجية المطلوبة (مثل إنشاء خريطة عمق للاستدلال بالعمق). ويتطلب ذلك جهدًا يدويًا لكل مهمة، ويحدّ من إمكانية التعميم على مهام جديدة.

‘[We] نتساءل عمّا إذا كان من الممكن اكتشاف مثل هذه الاستراتيجيات تلقائيًا. وبما أن الاستراتيجية تُنقل إلى الوكيل عبر الموجّه، فإن اكتشاف استراتيجية ما يختزل إلى تحسين الموجّه: ننشئ حلقة تكرارية يولّد فيها نموذج اقتراحات موجّهات مرشحة، ويقيّمها على مجموعة تطوير صغيرة، ثم ينقّحها استنادًا إلى النجاحات والإخفاقات الملحوظة.’

عند اختباره على ثلاثة نماذج للرؤية واللغة (VLMs) وست مهام للاستدلال البصري، تفوّق ReImaGin عمومًا على كل من الاستدلال دون مساعدة وأدوات الرؤية المتخصصة، باستخدام أداة واحدة.

النهج

يعمل ReImaGin في صورة حلقة: ففي كل خطوة، ينظر نموذج الرؤية واللغة في السؤال والصور الأصلية وكل ما أنشأه بالفعل، ويقرر ما سيفعله بعد ذلك. وقد يشمل ذلك عمليات صور اعتيادية، مثل الاقتصاص أو التراكب، أو استدعاء generate_image، الذي ينشئ صورة جديدة بهدف محدد هو تسهيل الاستدلال بشأن المسألة:

توضيح خطوة بخطوة لكيفية استدلال ReImaGin في مسائل مكانية وألغاز بصرية. في كلا المثالين، ينشئ النموذج صورة جديدة أثناء الاستدلال، ثم يستخدمها مدخلًا إضافيًا في الخطوات اللاحقة وصولًا إلى الإجابة.

ثم تُعاد الصورة التي أُنشئت إلى نموذج الرؤية واللغة، لتصبح جزءًا من المواد المتاحة لخطوة الاستدلال التالية، ويمكن تكرار العملية. وتُظهر الصورة أعلاه هذه الجوانب في المهمة المكانية: إذ يدمج النموذج أولًا صورتين فوتوغرافيتين في مشهد واحد، ثم يحوّل الناتج إلى خريطة من منظور علوي قبل الإجابة عن السؤال.

أما في مهمة الألغاز، فينشئ نسخة معدّلة من اللغز تعزل المنطقة المفقودة، ثم يستخدم الطرح التقليدي للصور لتحديد الإجابة.

وبهذه الطريقة، يصبح إنشاء الصور جزءًا من عملية الاستدلال نفسها، لا منتجًا نهائيًا للمستخدم؛ بل إن هذه الصور الوسيطة مخصّصة حصريًا لعمليات التفكير المتسلسل (CoT) لدى الذكاء الاصطناعي، وليست للاستخدام المباشر من جانب المستخدم النهائي.

في كل دورة، يختار نموذج الرؤية واللغة الإجراء التالي بنفسه، استنادًا إلى السياق المتراكم حتى تلك اللحظة. وقد يكون الإجراء خطوة استدلال أخرى، أو عملية تقليدية على الصور، أو تعليمات بلغة طبيعية موجّهة إلى generate_image. وتُضاف مخرجات الأداة المختارة أيًا كانت إلى السياق، مما يتيح للنموذج فحص النتيجة وتحديد ما إذا كان سيحوّلها مرة أخرى، أو يستخدم أداة أخرى، أو ينتقل إلى إجابته النهائية.

اكتساب القدرة على التصرّف

تتمثل إحدى المشكلات الأساسية في تحديد نوع الصورة التي من شأنها فعلًا تسهيل مهمة معينة. ويحدد ReImaGin ذلك من خلال تجربة تعليمات مختلفة للوكيل، واختبار الموجّهات المرشحة على أمثلة ذات إجابات معروفة، والاستفادة من المحاولات الناجحة والفاشلة للحصول على موجّهات أفضل. وتؤدي مواصلة تكرار هذه الحلقة في نهاية المطاف إلى استراتيجيات تحقق أفضل أداء.

لا يُعاد تدريب نموذج الاستدلال أو مولّد الصور خلال هذه العملية؛ إذ يقتصر التحسين على التعليمات التي تحكم كيفية استخدام الوكيل لأدواته. لذلك، يصف الباحثون العملية بأنها «اكتشاف آلي» لاستراتيجيات الاستدلال البصري، من دون تقديم استراتيجيات خاصة بمهام بعينها أو أمثلة استدلالية.

الإعداد والاختبارات

جرى تقييم ReImaGin على ست مهام للاستدلال البصري: الاستدلال بشأن العمق (Blink – تحديد أي النقطتين أقرب إلى الكاميرا)؛ وإكمال الألغاز (Mira – اختيار القطعة المناسبة لمنطقة مفقودة من الصورة)؛ وعدّ الأجسام المحجوبة (CAPTURe – عدّ الأجسام، بما فيها الأجسام المخفية)؛ والتنبؤ بالتصادم (Spatial457 – التنبؤ بالجسم الذي سيصطدم به هدف متحرك)؛ والاستدلال المكاني (MMSI – تحديد العلاقات بين الأجسام عبر مشاهد مختلفة)؛ وتتبّع المسارات – معيار جديد يتطلب من النماذج تتبّع خطوط متقطعة تصل الأرقام بالحروف.

أمثلة لافتة على الصور البصرية في عمليات التفكير المتسلسل، مقتبسة من الورقة البحثية ‘MIRA, a Benchmark for Visual Chain-of-Thought’. المصدر

كانت نماذج VLM الأساسية التي اختُبرت هي Gemini-3.1-Pro؛ وGPT-5؛ والنموذج مفتوح الأوزان Qwen-3.5-27B. وتولّى Nano-Banana-Pro مهمة توليد الصور أساسًا، كما اختُبر أيضًا النموذجان مفتوحا الأوزان FLUX.2 [dev] وQwen-Image-Edit-2511. واستُخدم Gemini-3.1-Pro لاختيار الصور في أثناء توسيع نطاق التوليد وقت الاختبار.

أما خط الأساس الآخر من خطّي الأساس المستخدمين للمقارنة، وهو نموذج VLM «قياسي» أطلق عليه مؤلفو الورقة البحثية اسم «No Tools»، فكان يجيب مباشرةً استنادًا إلى الاستعلام والصور، من دون استخدام أدوات أو تنفيذ تعليمات برمجية. في المقابل، أتاح إصدار عام 2024 Visual Sketchpad في هذه الحالة مجموعة ثابتة من أدوات الرؤية المتخصصة ومعالجة الصور، لكنه لم يوفّر توليدًا مفتوحًا للصور.

في مهمة MMSI المكانية، مُنح كلا خطّي الأساس قدرةً حاسوبية مماثلة لما مُنح لنظام ReImaGin، وذلك بتوليد 20 إجابة من كل خط أساس، ثم اختيار الإجابة الأكثر تكرارًا.

قيس الأداء بدقة الإجابات متعددة الخيارات في جميع المهام، باستثناء مهمة عدّ العناصر المحجوبة، التي قُيّمت باستخدام متوسط الخطأ المطلق النسبي المتماثل لمقارنة الأعداد المتوقعة للعناصر بأعدادها الفعلية. وحُسب متوسط النتائج عبر ثلاث جولات، مع الإبلاغ أيضًا عن الخطأ المعياري.

نتائج اختبار تقارن ReImaGin بنظامي No Tools وVisual Sketchpad عبر ثلاثة نماذج VLM وست مهام للاستدلال البصري. تشير الدرجات الأعلى إلى أداء أفضل، باستثناء مهمة عدّ العناصر المحجوبة، حيث يكون الخطأ الأقل أفضل. وحقق ReImaGin أفضل نتيجة في غالبية التوليفات بين النماذج والمهام.

استُخدمت أمثلة الاستراتيجيات التي حدّدها البشر نفسها مع النماذج الثلاثة جميعها. وحقق ReImaGin نتائج أفضل من كلا خطّي الأساس في معظم المهام، مع مكاسب واضحة بشكل خاص في إكمال الألغاز، وعدّ العناصر المحجوبة، وتتبع المسارات.

فعلى سبيل المثال، ارتفعت دقة GPT-5 في حل الألغاز من 29.5% مع No Tools و16.7% مع Visual Sketchpad إلى 44.9% مع ReImaGin. وأكدت اختبارات الاستئصال أن مكوّن توليد الصور أساسي لأداء النظام.

اختُبرت أيضًا مولدات صور مفتوحة الأوزان بدلًا من Nano-Banana-Pro: FLUX.2 [dev] وحقق كل من Qwen-Image-Edit-2511 نتائج مماثلة في بعض المهام الأبسط، ولا سيما إكمال الأجزاء الناقصة في الصور، لكن أداءهما كان أقل اتساقًا في التحويلات الأكثر تطلبًا، مثل تقدير العمق وتتبع المسارات. وتكررت نتائج مماثلة عند استخدام Qwen-3.5-27B نموذجًا لـVLM:

نتائج اختبار تقارن مولدات الصور عند استخدام Qwen-3.5-27B نموذجًا لـVLM. حقق Nano-Banana-Pro أفضل نتيجة في خمس من أصل ست مهام، فيما حقق FLUX.2 [dev] وQwen-Image-Edit-2511 تحسنًا مقارنةً بـNo Tools في عدة مهام.

وأجرى المؤلفون أيضًا اختبارات نوعية على أربع مهام:

تُظهر أمثلة نوعية من أربع مهام كيف استُخدم ReImaGin لتعزيز استدلال Gemini-3.1-Pro. وفي كل حالة، أُدرجت تمثيلات بصرية مولّدة ضمن عملية الاستدلال للمساعدة في حل المهمة.

لم يكن ReImaGin موثوقًا في جميع الحالات؛ ففي بعض الظروف، أنتج مولّد الصور تحويلًا غير دقيق، مثل مخطط طابق وُضعت فيه العناصر في غير مواضعها الصحيحة؛ وفي حالات أخرى، أساء نموذج VLM لاحقًا قراءة صورة مولّدة دقيقة.

وفي مراجعة يدوية لـ120 صورة مولّدة، تبيّن أن 75% منها نفّذت التحويل المطلوب بدقة. وعندما تحقق ذلك، كانت الإجابة النهائية صحيحة في 87% من الحالات، مقارنةً بـ43% عندما كانت الصورة المولّدة غير دقيقة.

وخلص المؤلفون إلى ما يلي:

«تشير نتائجنا إلى استنتاجين أوسع نطاقًا. أولًا، يمكن أن يكون توليد الصور آلية عامة للتخيّل البصري ضمن الاستدلال متعدد الوسائط، بما يقلل الحاجة إلى تصميم أداة منفصلة لكل تحويل جديد.»

«ثانيًا، لا تعتمد فعالية هذا النهج على النماذج الأساسية فحسب، بل أيضًا على استراتيجية الاستدلال المستخدمة لتحديد ما ينبغي تصوّره وكيفية الاستفادة من النتيجة.»

«وتُظهر المكاسب الناتجة عن اكتشاف الاستراتيجيات تلقائيًا قدرة النماذج على توظيف فهمها للتحويلات البصرية لاكتشاف استراتيجيات مناسبة، من دون الحاجة إلى استراتيجيات خاصة بكل مهمة أو مسارات استدلال يضعها البشر.»

الخلاصة

تُعدّ القرارات المتعلقة باستخدام الأدوات ذاتيًا، من النوع الذي تتناوله هذه الدراسة، تطورًا مثيرًا للاهتمام، لا سيما أن تطوير نماذج الرؤية واللغة (VLM) يبدو أنه يتجه بطبيعته إلى هذا النهج على أي حال. وأتطلع إلى معرفة ما إذا كانت نماذج الرؤية واللغة متعددة الأغراض هذه ستؤدي في نهاية المطاف بمستوى أداء الأدوات والأطر المتخصصة، مثل منظومة Segment؛ وإذا كان الأمر كذلك، فهل سينتهي المطاف بمن يقتصر عملهم على هذه «المهام الجانبية» إلى استخدام مطرقة ثقيلة لكسر حبة جوز؟

من الصعب إلى حد ما تصديق أن نماذج الرؤية واللغة ستتمكن من تطوير الانضباط اللازم للتفوق على الحلول المتخصصة مثل الضبط الدقيق المحلي والحفاظ على تقدمها عليها، إذ يُكرَّس نموذج كامل لمهمة واحدة، وغالبًا ما يُترك بلا فائدة لأي غرض آخر نتيجة لذلك. وحده الزمن كفيل بالإجابة.

* تعريف قابل للنقاش لمجال الصور، الذي نتعلمه قبل وقت طويل من اكتساب أي مهارات لغوية.

نُشر لأول مرة يوم الاثنين، 28 سبتمبر 2026