تصحيح فهم النماذج التخيلية المحدود لمirror و الانعكاسات

منذ بداية اهتمام الجمهور بالذكاء الاصطناعي، أصبحت مجال البحث في الرؤية الحاسوبية مهتمًا بتطوير نماذج قادرة على فهم وفهم القوانين الفيزيائية وتكرارها. ومع ذلك، ظلت مشكلة تعليم أنظمة التعلم الآلي على محاكاة ظواهر مثل الجاذبية والديناميكا السائلة تحديًا كبيرًا للبحوث على مدار الخمس سنوات الماضية.

مع ظهور نماذج التخيل اللاطئة (LDMs) في عام 2022، ركز الباحثون بشكل متزايد على القدرة المحدودة لهذه النماذج على فهم وفهم الظواهر الفيزيائية. وأصبح هذا الأمر أكثر أهمية مع تطوير نموذج الفيديو التوليدي من قبل OpenAI، Sora، والنموذج المفتوح المصدر Hunyuan Video وWan 2.1.

تعكس بشكل سيئ

معظم الأبحاث التي تهدف إلى تحسين فهم النماذج التخيلية للفيزياء ركزت على مجالات مثل محاكاة المشي والفيزياء الجزيئية والحركة النيوتونية. وقد جذبت هذه المجالات الانتباه لأن عدم الدقة في السلوكيات الفيزيائية الأساسية سوف يؤدي إلى تقويض مصداقية الفيديو التوليدي.

ومع ذلك، هناك فرع بحثي صغير يتزايد يركز على واحدة من أضعف نقاط النماذج التخيلية – عدم قدرتهم على إنتاج انعكاسات دقيقة.

من الورقة البحثية في يناير 2025 ‘Reflecting Reality: تمكين النماذج التخيلية من إنتاج انعكاسات مرآة دقيقة’ Source: https://arxiv.org/pdf/2409.14677

هذه المشكلة كانت تحديًا أيضًا خلال عصر الرسومات الحاسوبية وتظل كذلك في مجال ألعاب الفيديو، حيث يتم استخدام خوارزميات تتبع الأشعة لتحاكي مسار الضوء عند التفاعل مع الأسطح. وتحسب تتبع الأشعة كيفية انعكاس أو مرور الأشعة الضوئية عبر الأجسام لإنشاء انعكاسات واضحة وضبابية وأشكال ظل.

مشاكل الصورة

لذلك، ظلت الإطارات التي كانت شائعة قبل ظهور النماذج التخيلية، مثل مجالات الإشعاع العصبي، تواجه صعوبات في تمثيل الانعكاسات بطريقة طبيعية.

مشروع REF²-NeRF提出了 طريقة لتمثيل المشاهد التي تحتوي على حالة زجاجية. في هذه الطريقة، تم تمثيل الانعكاس والانكسار باستخدام عناصر تعتمد على منظور المشاهد وآخرون لا يعتمدون عليه. سمح هذا النهج للباحثين بتقدير السطوح حيث يحدث الانكسار، خاصة السطوح الزجاجية، وتمكين فصل وتمثيل مكونات الضوء المباشرة والمنعكسة.

أمثلة من ورقة Ref2Nerf Source: https://arxiv.org/pdf/2311.17116

مرآة الفضاء

من الصعب على النماذج التخيلية احترام منطق الانعكاس. في النماذج التخيلية، من المحتمل أن يتم دمج قاعدة من هذا النوع بشكل موثوق إذا كانت بيانات التدريب تحتوي على العديد من الأمثلة المتنوعة عبر مجموعة واسعة من السيناريوهات، مما يجعلها تعتمد بشكل كبير على توزيع وجودة مجموعة البيانات الأصلية.

عادة ما يتم إضافة سلوكيات معينة من هذا النوع من خلال LoRA أو تعديل النموذج الأساسي. ومع ذلك، هذه ليست حلول مثالية، لأن LoRA تميل إلى تحويل الإخراج نحو بياناتها الخاصة، حتى بدون تنبيه، بينما التعديلات – بالإضافة إلى كونها مكلفة – يمكن أن تفرع نموذجًا رئيسيًا بشكل لا يمكن إصلاحه بعيدًا عن التيار الرئيسي، ويمكن أن يؤدي إلى Appearance مجموعة من الأدوات المخصصة التي لن تعمل مع أي سلالة أخرى من النموذج، بما في ذلك الأصلي.

الطريقة

لقد لاحظ الباحثون من البداية صعوبة النماذج مثل Stable Diffusion وFlux في احترام الانعكاسات القائمة على التنبيهات.

من الورقة: النماذج التخيلية الحالية، SD3.5 وFlux، أظهرت تحديات كبيرة في إنتاج انعكاسات متسقة ومتوافقة هندسيًا عند الطلب لإنشاء انعكاسات في المشهد.

لقد طور الباحثون MirrorFusion 2.0، نموذج توليدي قائم على التخيل يهدف إلى تحسين الواقعية والدقة الهندسية للانعكاسات المرآة في الصور التخيلية. تم تدريب النموذج على مجموعة بيانات جديدة، MirrorGen2، المصممة لمعالجة الضعف في التعميم الملاحظ في النهج السابقة.

البيانات والاختبارات

SynMirrorV2

تم تصميم مجموعة بيانات SynMirrorV2 لتحسين التنوع والواقعية لبيانات تدريب الانعكاسات المرآة، وتتميز بوجود 3D من Objaverse وAmazon Berkeley Objects (ABO) datasets.

تم تطبيق تقنيات التأطير والتموضع العشوائي لضمان أن تظل الانعكاسات معقولة عبر مجموعة واسعة من أوضاع وتركيبات الكائنات بالنسبة لسطح المرآة.

عملية التدريب

تم تدريب MirrorFusion 2.0 على مجموعة بيانات SynMirrorV2، مع ثلاث مراحل من التعلم التعاوني.

في المرحلة الأولى، تم 초기化 أوزان النموذج بالточك المستقرة من Stable Diffusion v1.5، وتم تعديل النموذج على جزء التدريب من مجموعة بيانات SynMirrorV2.

الاختبار

تم تقييم MirrorFusion 2.0 ضد النموذج السابق، MirrorFusion، وتم إجراء تجارب على مجموعة بيانات MirrorBenchV2.

تم استخدام معايير مثل Peak Signal-to-Noise Ratio (PSNR) وStructural Similarity Index (SSIM) وLearned Perceptual Image Patch Similarity (LPIPS) لتقييم جودة الانعكاسات.

الاستنتاج

على الرغم من أن بعض النتائج المظهرة في الورقة هي تحسينات ملحوظة على الحالة الحالية، فإن الحالة الحالية لهذا السعي هي بائسة لدرجة أن حتى حلًا غير مقنع يمكن أن يفوز بجهود معقولة.

ومع ذلك، يظل إضافة البيانات إلى النماذج الحالية هو الطريقة القياسية لمعالجة النقص في أداء النماذج التخيلية، مع جميع العيوب المذكورة سابقًا.

ومع ذلك، من المعقول أن نفترض أنه إذا كانت مجموعات البيانات الكبيرة في المستقبل سوف تضع المزيد من الاهتمام على توزيع ونظام بيانات الانعكاسات، يمكننا أن نتوقع أن النماذج الناتجة سوف تتعامل مع هذا السيناريو بشكل أفضل.

ومع ذلك، نفس الشيء صحيح للعديد من المشاكل الأخرى في مخرجات النماذج التخيلية – من يمكن أن يقول أي منها يستحق الجهد والمال المطلوبين في نوع الحل الذي يقترحه مؤلفو الورقة الجديدة هنا؟

منشور لأول مرة يوم الإثنين، 28 أبريل 2025. يوم الثلاثاء، 29 أبريل: تم إجراء تصحيح قواعدي في الفقرات النهائية.