منح فيديو الذكاء الاصطناعي شيئًا من ذكريات الماضي

في مارس الماضي، تناولنا صعوبة تذكّر مقاطع الفيديو المُولَّدة بالذكاء الاصطناعي للأشياء والأماكن التي شاهدتها، كي تتمكن من إعادة إنتاجها مرة أخرى وتحافظ على الاتساق البصري.

والنتيجة العملية لهذه المشكلة أنك قد تعبر بابًا في نموذج عالم يعمل بالذكاء الاصطناعي، ثم تستدير بعد عشر ثوانٍ لتجد أن الباب الذي دخلت منه لم يعد موجودًا.

وليست هذه هفوة بسيطة يسهل إصلاحها؛ فبما أن فيديو الذكاء الاصطناعي التوليدي يبتكر باستمرار «الشيء التالي» الذي يتعين عليه التعامل معه، فإنه لا يستطيع تذكّر ما مضى عليه وقت طويل، ولا ما خرج من نطاق نافذة السياق المحدودة لديه.

وهذا يعني أن استكشاف نموذج عالم مدرَّب بالذكاء الاصطناعي لا يشبه استكشاف بيئة رسوم حاسوبية مُنمذجة تكون خاماتها وهندستها ثابتة ومحفوظة على هيئة بيانات متجهية ونقطية؛ بل يشبه السير في حلم من الاحتمالات التقريبية، فقد تصادف الشيء نفسه مرتين، لكن ذلك لا يحدث إلا لأنه استُحضر مرة أخرى من الفضاء الكامن عبر السياق، لا لأن النموذج يتذكر فعلًا أنه أنشأه أو رآه.

وهكذا، يشبه نموذج عالم الفيديو المعتاد المُولَّد بالذكاء الاصطناعي شخصًا مصابًا بـفقدان الذاكرة التقدمي، لديه ذاكرة تامة لما قبل حدث دماغي، كالسكتة الدماغية أو الإصابة، لكنه لا يستطيع تكوين ذكريات جديدة بعد الحادث (وهي حالة ذاع صيتها بسبب إصابة شخصية غاي بيرس بها في فيلم كريستوفر نولان Memento [2000]، الذي يظهر في الصورة الرئيسية للمقال).

وبهذا المعنى، تحتفظ نماذج الفيديو بفهم عميق ومتجذر لكثير من المجالات، لكنها تفتقر إلى القدرة على تذكّر أي شيء جديد.

مسار الفتات

استند حل HyDRA الذي تناولناه في مارس إلى استخدام «بنك ذاكرة» من الرموز المرئية المضغوطة، ما يتيح للشخصيات المُولَّدة بالذكاء الاصطناعي الخروج من إطار الشاشة والعودة بالهيئة نفسها التي ظهرت بها أول مرة.

وتوجد أساليب أخرى عدة تتبع نهج «أثر الفتات» هذا؛ غير أن إنشاء هندسة ثلاثية الأبعاد معقدة وتركها وراءك يحل المشكلة على حساب حجم الملفات، فضلًا عن سرعة الاستجابة وزمن الاستجابة والاختناقات المحتملة الأخرى.

وتشمل «نماذج عوالم ثلاثية الأبعاد قائمة على الهندسة» مشروع Gen3C الذي تقوده NVIDIA؛ إذ يستخدم نهج HyDRA الطريقة الأكثر شيوعًا لمعالجة هذه المشكلة تحديدًا، وهي تحويل ما «يراه» إلى سُحب نقطية، أي إلى هندسة ثلاثية الأبعاد مبسطة في الأساس:

انقر للتشغيل. يستخدم نهج HyDRA ذاكرةً مؤقتة مستمرة لسحابة نقطية ثلاثية الأبعاد لتوجيه توليد الفيديو، والحفاظ على اتساق المشهد أثناء تحرك الكاميرا وظهور المناطق التي سبق رؤيتها من جديد. المصدر

وثمة أساليب أخرى مماثلة، مثل مشروع VMEM الذي أطلقته جامعة أكسفورد عام 2025، وتعاون SPMem الذي تقوده جامعة ستانفورد من الفترة نفسها:

انقر للتشغيل. من تعاون SPMem الذي تقوده جامعة ستانفورد، ويجمع بين خريطة ثلاثية الأبعاد مستمرة للمشاهد الثابتة وإطارات الفيديو الحديثة لتمثيل الحركة، وإطارات أقدم مختارة لإظهار التفاصيل البصرية؛ ما يساعد النموذج على تذكّر الأماكن عند زيارتها مجددًا. المصدر 

لكن التعامل مع أي هندسة ثلاثية الأبعاد يتطلب جهدًا كبيرًا، ويثقل كاهل متطلبات الاستدلال. وليس من السهل التجول في بيئة ما والعمل باستمرار على «بنائها»، كما قد يفعل فنان الرسوم الحاسوبية. وفوق ذلك، ينبغي أن تتمكن المقاطع أو زوايا الرؤية أو اللقطات الأخرى من الرجوع لاحقًا إلى الهندسة التي أُنشئت، وهذا أمر صعب التحقيق.

ملاحظات أخف

أما أحدث مشروع يتناول «ذاكرة فيديو الذكاء الاصطناعي»، فهو تعاون جديد تقوده جامعة تسينغهوا، ويحمل عنوان الذاكرة المستوية المستمرة لنماذج عوالم الفيديو:

انقر للتشغيل. من الموقع الإلكتروني لمشروع PPMem الذي تقوده جامعة تسينغهوا، مثال على عمل النظام. يستبدل PPMem الذاكرة الثلاثية الأبعاد الحجمية المستخدمة في مشروع SPMem السابق بمجموعة أكثر إحكامًا من الأسطح المستوية، ويحدّثها ويعيد استخدامها مع تحرك الكاميرا للحفاظ على اتساق البيئات التي سبق رؤيتها. المصدر 

وكما يوضح مقطع الفيديو أعلاه*، يتفوق PPMem على الأساليب السابقة باستخدام تمثيل أكثر إحكامًا للبيئة الثلاثية الأبعاد. فبدلًا من تخزين ملايين النقاط المنفردة لإعادة بناء البيئات التي سبق رؤيتها، يحدد النظام الأسطح المستوية، مثل الجدران والأرضيات والأثاث، ويخزنها على هيئة مستويات هندسية قابلة لإعادة الاستخدام تُسمى عناصر المستوى الأساسية؛ وتُضاف هذه العناصر باستمرار إلى ذاكرة محلية دائمة كلما أُنشئت أجزاء جديدة من البيئة:

مثالان على توليد PPMem للفيديو أثناء بناء ذاكرة ثلاثية الأبعاد مستمرة. يبدأ كل مثال بصورة إدخال على اليسار، ويظهر المسار الذي ستسلكه الكاميرا أسفلها. وعند قراءة الإطارات المرقّمة من اليسار إلى اليمين في الصف الأول، ثم الصف الثاني، نرى الكاميرا تستكشف متجرًا أو حديقة. وتُظهر النوافذ الصغيرة الملوّنة كيف تتراكم الأسطح ثلاثية الأبعاد المخزّنة مع تقدّم الرحلة، فتحافظ على المشاهد التي سبق استكشافها. المصدر

عندما تعود الكاميرا إلى موقع سبق أن زارته، تُسقَط المستويات المخزّنة مجددًا في مجال رؤيتها، فتوجّه توليد إطارات جديدة وتقلّل مقدار المعلومات المكانية التي يجب الاحتفاظ بها ومعالجتها. ويساعد ذلك أيضًا على منع الأجسام والمحيط المألوفين من التغيّر أو الاختفاء بين الزيارات.

يوفّر استخدام العناصر البدائية المستوية، وهي أجسام بارامترية تحددها متجهات رياضية، معالجةً أكثر مرونةً وفعاليةً لـ«نهج فتات الخبز»، بحسب ما يؤكده المؤلفون:

«يحتاج النموذج الذي يولّد عوالم كاملة، لا مقاطع قصيرة فحسب، إلى ذاكرة موجزة ومنظّمة مماثلة لما أنتجه. والعناصر البدائية المستوية مرشّح طبيعي لهذا الدور.»

«يُحدَّد كل عنصر بدائي بسبعة أرقام فقط (عمق المركز، وامتدادان مستطيلا الشكل، ورباعي دوران)، ما يمثّل البنية الهندسية ثلاثية الأبعاد تمثيلًا صريحًا، ويجعله أكثر إيجازًا بكثير من التمثيلات على مستوى كل بكسل.»

انقر للتشغيل عند الضرورة. يمكن للتراكيب الخفيفة من العناصر البدائية المستوية التي يولّدها PPMem التقاط التفاصيل والهندسة العامة والحفاظ عليهما، بينما تمر الكاميرا عبر نموذج العالم. وتُحفظ في الذاكرة الأجزاء الخضراء الظاهرة أعلاه عند تحويلها من الداكن>الأخضر.

من الطبيعي أن يكون مدى قدرة هذه المستويات على تمثيل عالم مستكشَف محدودًا بالذاكرة وغيرها من الاختناقات المتوقعة؛ لذا لن يكون ممكنًا التجوّل في العالم لساعات ثم العودة ليكون كل شيء على حاله كما تُرك. لكن هذا النوع من القيود «القائم على المراحل» مألوف لدى عشّاق ألعاب الفيديو، إذ تميل مواردهم المحلية القوية، وإن كانت محدودة، إلى تحقيق أفضل النتائج في أكثر الظروف تقييدًا:

انقر للتشغيل. في PPMem، تترك الكاميرا أثناء اجتيازها بيئةً ما «مستويات» خفيفة (تُظهرها المناطق الخضراء) تمثّل ما رأته، وتظل موجودة إذا عادت الكاميرا للتجوّل في المكان.

لذلك، نرى أعلاه مستوىً كهذا يُرسَم على هيئة خريطة، غرفةً تلو الأخرى، إلى أن يصبح الطابق بأكمله أخضر وقابلًا للاستكشاف بحرية، مع حاجة أقل (لكنها ليست معدومة) إلى توليد مزيد من المستويات.

المنهجية

طُوّر PPMem انطلاقًا من Wan2.2-TI2V-5B (بدلًا من Wan2.1-T2V-1.3B الذي استخدمه HyDRA)، وهو نموذج انتشار للفيديو يضم خمسة مليارات مُعامِل، مع إضافة نظام للتنبؤ بالهندسة مقتبس من Plana3R. وأُبقي على البنية الأساسية الحالية للفيديو، مع استحداث مسار معالجة منفصل لاستخراج المعلومات الهندسية من التمثيلات الداخلية للنموذج:

مخطط نظام PPMem لتوليد الفيديو والذاكرة ثلاثية الأبعاد. ينتج المسار العلوي الفيديو، بينما يسجّل المسار السفلي أشكال الأسطح المرئية ومواضعها. وتُضاف هذه البيانات إلى الذاكرة المخزّنة على اليمين، ثم تُستخدم لتوجيه الجزء التالي من الفيديو. وتُظهر الأسهم في الأسفل كيفية إعادة هذه المعلومات إلى النظام.

في المرحلة الأولى من مرحلتي التدريب، خضع Wan 2.2 لـضبط دقيق لتوليد فيديو تتحكم فيه الكاميرا، باستخدام إسقاطات لصورة المصدر والإطارات السابقة لتحديد حركة الكاميرا المقصودة. ثم أُبقيت البنية الأساسية للفيديو مجمّدة، ودُرّبت مكونات الهندسة الجديدة بصورة مستقلة.

استُخدم في التدريب أكثر من 80,000 مقطع من DL3DV وRealEstate10K بدقة 576×1024. واستُمدت المعلومات المرجعية عن العمق من MoGe-2، ووُوئمت المسافات المقدّرة مع عمليات إعادة البناء ثلاثية الأبعاد التي أنتجها VGGT.

وهكذا دُرّب نظام PPMem للتنبؤ بالمستويات على تقدير عمق الأسطح واتجاهها، مع التحقق من مخرجاته بمقارنتها بالهندسة المرجعية. كما طُبّق تدريب إضافي على الأسطح المُصيّرة لتحسين مدى تطابقها مع المشاهد المعاد بناؤها.

استُخدم التكييف منخفض الرتبة (LoRA) لإدخال معالجة مخصصة للهندسة من دون تعديل نموذج الفيديو الأساسي.

أثناء الاستدلال، تُستكمل عملية توليد الفيديو المعتادة مع تعطيل هذه التكييفات، ثم تُجرى مرحلة معالجة منفصلة لاستخراج الهندسة، ما يتيح إبقاء العمليتين مستقلتين إلى حد كبير.

يُولَّد الفيديو بعد ذلك على شكل مقاطع تضم نحو 25 إطارًا، وتُستخدم حركات الكاميرا المقصودة لإعداد المعلومات البصرية والمكانية اللازمة لكل تسلسل جديد. ويشمل ذلك مشاهد مُسقطة لمناظر أُنشئت سابقًا، وأقنعة تحدد المناطق المرئية، ومعلومات العمق المستمدة من الهندسة المتراكمة.

لتحسين التنبؤ بالأسطح الجديدة، تُدمج معلومات العمق المخزنة بعد ذلك مع فهم النموذج الحالي للمشهد، باستخدام محوّل بصري قائم على DINOv2-Base.

أثناء التدريب، حُجبت أجزاء من خرائط العمق باستخدام أقنعة انتقائية، ما اضطر النموذج إلى التنبؤ بهندسة الأسطح انطلاقًا من بيانات مكانية غير مكتملة، وحسّن قدرته على التعميم.

مع إنشاء هندسة جديدة، تُنقَّح مجموعة المستويات عبر التحقق من الأسطح المتداخلة والمحجوبة، مع إزالة التقديرات الأقل موثوقية عند توفر ملاحظات أفضل.  ويتيح ذلك تصحيح التمثيل المخزن تدريجيًا مع تحرك الكاميرا، بدلًا من مجرد تكديس كل التنبؤات بالأسطح إلى ما لا نهاية.

النتائج

في الاختبارات، جُرّبت الطريقة بمقارنتها مع Gen3C؛ وVoyager؛ وVMEM؛ وSPMem، باستخدام الشيفرة البرمجية والإعدادات الافتراضية للمستودعات الخاصة بكل منها.

شملت المقاييس المستخدمة ذروة نسبة الإشارة إلى الضجيج (PSNR)؛ ومقاييس التشابه الإدراكي المتعلَّم (LPIPS)؛ وتشابه CLIP؛ وتشابه DINOv2 (راجعوا الورقة للاطلاع على الاستثناءات بالتفصيل).

في الاختبار الأول، قورِن PPMem بالمنافسين باستخدام مجموعتي البيانات DL3DV وRealEstate10K، مع تقييم جودة الفيديو عبر تسلسلات من 49 و121 إطارًا:

مقارنة جودة الفيديو بين PPMem وGen3C وVoyager وVMem وSPMem على مجموعتي البيانات DL3DV وRealEstate10K، عبر 49 و121 إطارًا. حقق PPMem أفضل النتائج أو نتائج متعادلة في الصدارة ضمن المقاييس الأربعة كلها، واتسعت أفضليته عمومًا مع زيادة طول التسلسلات.

وفي معرض تعليقهم على هذه النتائج، ذكر المؤلفون:

‘يحقق PPMem أفضل النتائج في جميع المقاييس على مجموعتي البيانات ولكل من ميزانيتي الإطارات، رغم استخدامه نموذجًا أساسيًا أصغر (Wan 2.2 5B) مقارنةً بـGen3C (Cosmos 7B) وVoyager (HunyuanVideo ∼13B). T’

اختُبر PPMem أيضًا لقياس قدرته على تقدير مسافات الأجسام والأسطح من الكاميرا. ويشير المؤلفون إلى أن تقديرات العمق كانت أدق عبر 121 إطارًا من DL3DV مقارنةً بـVoyager، وهو النموذج المنافس الوحيد القادر على توليد الفيديو ومعلومات العمق معًا.

في الاختبار النوعي الثاني، قورنت قدرة النماذج المنافسة على الحفاظ على اتساق المناظر أثناء تحرك الكاميرا عبر مشاهد DL3DV على امتداد 300–400 إطار. حافظ PPMem على مظهر المحيطات التي سبق أن ظهرت وبنيتها بدرجة أكبر من النماذج المنافسة، واتسعت أفضليته مع استمرار التسلسلات:

انقر للتشغيل. مع أننا لا نستطيع عرض النتائج إلا بدقة أقل من دقة الفيديو الأصلي، رأينا أن الفيديو يوضح الفكرة أفضل من النتائج الثابتة الواردة في الورقة، ونحيل القارئ إلى النسخة الأعلى جودة على موقع مشروع PPMem.

ويذكر المؤلفون هنا:

‘يحافظ PPMem على أعلى مستوى من الأمانة الإدراكية طوال الوقت، وتتسع الفجوة بمرور الزمن — وبأكبر قدر على مقياس DINOv2، حيث يتقدم PPMem على الطريقة التالية له بفارق ∼0.27 عند الإطار 300.’

مقارنة بين إطارات فيديو ولّدتها Gen3C وVMem وSPMem وVoyager وPPMem عند ست نقاط ضمن تسلسل من 288 إطارًا، إلى جانب اللقطات الأصلية (الحقيقة المرجعية). يحافظ PPMem على مظهر حوض الزهور والمناظر المحيطة به باتساق أكبر أثناء تحرك الكاميرا، بينما تشوّه الطرق المنافسة التفاصيل أو تفقدها على نحو متزايد.

تشير الورقة إلى أنه بعد نحو 400 إطار من الفيديو، يمكن تمثيل مشهد كامل جرى استكشافه في PPMem بنحو 100,000 بدائية مستوية، لا تشغل سوى 5 ميغابايت من الذاكرة.

وبما أن هذا التمثيل أصغر بنحو ألف مرة من تخزين المناظر نفسها كنقاط منفردة في سحابة نقاط ثلاثية الأبعاد كثيفة، فإن هذه الورقة، التي ربما كان من الممكن اعتبارها تقدمًا تدريجيًا ضمن مسار بحثي راسخ في الأدبيات، تقدم فيما يبدو تحسنًا جوهريًا في الجوانب التشغيلية لهذه البنية.

الخلاصة

مع أن الورقة البحثية الجديدة تمثل تطورًا مثيرًا ضمن حدود المسألة المستهدفة ومعاييرها، فإننا ما زلنا نعمل وفق نموذج يستكشف فيه العالم العشوائي للفضاء الكامن لنموذج العالم، في نثرٍ للهندسة في كل مكان أشبه برغوة لا تنحسر؛ وهي هندسة قد يلزم استعادتها في مشاهد لاحقة أو لاستخدامها في سياقات لاحقة.

إن عملية الاستعادة هذه أشد تعقيدًا بكثير من استيراد الشبكات التقليدية للرسوم الحاسوبية ثلاثية الأبعاد (CGI) والخامات الملفوفة حولها. ويمكن وصف هذا النهج برمته بأنه «متخلف بعض الشيء»: فمن الأفضل أن تتمكن نماذج الذكاء الاصطناعي من استرجاع الأصول الثابتة والرجوع إليها عبر شكل من أشكال التوليد المعزز بالاسترجاع (RAG) أو نظام بحث، مع الاحتفاظ بمرونة التنقل في الفضاء الكامن وحرية الإبداع.

هذا مطلب كبير، لكن طريقة «فتات الخبز» تبدو لي بالفعل مكافئةً لـالحلول الغريبة التي سبقت الأخوين رايت.

* يُرجى زيارة موقع المشروع لمشاهدة الفيديو كاملًا.

نُشر لأول مرة يوم الثلاثاء، 20 أكتوبر 2026