NeRF: تعاون بين جامعة فيرجينيا للتقنية وجوجل يطور تركيب فيديو ثابت وديناميكي مختلط

تعاون بين جامعة فيرجينيا للتقنية وجوجل حل أحد التحديات الرئيسية في تركيب فيديو NeRF: خلط الصور الثابتة والديناميكية والفيديو بحرية في مجالات الإشعاع العصبي (NeRF).

يمكن النظام توليد مشاهد قابلة للملاحة التي تتميز بالعناصر الديناميكية للفيديو والبيئات الثابتة، كل ذلك مسجل على الموقع، ولكن منفصل إلى جوانب قابلة للتحكم في بيئة افتراضية:

علاوة على ذلك، يتحقق ذلك من وجهة نظر واحدة، دون الحاجة إلى نوع المجموعة المتعددة الكاميرات التي يمكن ربط مبادرات مثل هذه بالبيئة الاستوديو.

الورقة، بعنوان تركيب عرض ديناميكي من فيديو وحيد العين، ليست الأولى لتطوير تدفق عمل NeRF وحيد العين، ولكنها تبدو الأولى التي تدرب نموذجًا متغيرًا مع الوقت ونموذجًا ثابتًا مع الوقت من نفس الإدخال، وتوليد إطار يسمح بوجود فيديو الحركة داخل موقع NeRF “مسبق الخريطة”، مشابه للبيئات الافتراضية التي غالبًا ما تحيط بالممثلين في أفلام الخيال العلمي ذات الميزانية الكبيرة.

ما وراء D-NeRF

لقد اضطر الباحثون إلى إعادة إنشاء مرونة NeRF الديناميكي بشكل أساسي مع وجهة نظر واحدة فقط، وليس تعدد الكاميرات التي يستخدمها D-NeRF. لحل هذه المشكلة، قاموا بتوقع تدفق المشهد الأمامي والخلفي واستخدموا هذه المعلومات لتطوير مجال إشعاع مشوه يتوافق مع الوقت.

مع وجود وجهة نظر واحدة فقط، كان من الضروري استخدام تحليل التدفق البصري ثنائي الأبعاد للحصول على نقاط ثلاثية الأبعاد في إطارات المرجعية. ثم يتم إعادة توجيه النقطة الثلاثية الأبعاد المحسوبة إلى الكاميرا الافتراضية من أجل إنشاء “تدفق مشهد” يطابق التدفق البصري المحسوب مع التدفق البصري المقدر.

في وقت التدريب، يتم مصالحة العناصر الديناميكية والثابتة في نموذج كامل كجوانب منفصلة يمكن الوصول إليها.

من خلال تضمين حساب لفقدان ترتيب العمق، وتطبيق تنظيم صارم للتنبؤ بتدفق المشهد في D-NeRF، يتم التخفيف بشكل كبير من مشكلة التمويه الحركي.

على الرغم من أن البحث يقدم الكثير فيما يتعلق بتنظيم حساب NeRF، ويتحسن بشكل كبير على مرونة وسهولة استكشاف الإخراج من وجهة نظر واحدة، فإن ما يلاحظ على الأقل هو فصل واعادة دمج عناصر NeRF الديناميكية والثابتة.

NeRF – ثابت أو فيديو؟

لقد نظرنا مؤخرًا إلى بعض الأبحاث الجديدة المثيرة حول NeRF من الصين التي يمكنها فصل العناصر في مشهد NeRF ديناميكي مسجل بкамيرا 16.

ST-NeRF (في الأعلى) يسمح للمشاهد بإعادة وضع العناصر الفردية في المشهد، وحتى تغيير حجمها، وتغيير معدل التشغيل، وتجميدها أو تشغيلها إلى الوراء. بالإضافة إلى ذلك، يسمح ST-NeRF للمستخدم “تمرير” أي جزء من القوس البالغ 180 درجة المسجلة بواسطة الكاميرات الـ 16.

然而، يعترف الباحثون في ورقة ST-NeRF أن الوقت دائمًا يعمل في اتجاه أو آخر في هذا النظام، وأنه من الصعب تغيير الإضاءة وتطبيق التأثيرات على البيئات التي هي في الواقع فيديو، بدلاً من بيئات NeRF “ممسوحة ضوئيًا بشكل ثابت” التي لا تحتوي على مكونات متحركة، ولا تحتاج إلى تسجيلها كفيديو.

بيئات NeRF الثابتة القابلة للتحرير بدرجة عالية

مشهد NeRF الثابت، الآن معزول عن أي مقاطع فيديو متحركة، أسهل في المعالجة والتكامل بطرق عديدة، بما في ذلك إعادة الإضاءة، كما اقترحها NeRV (حقول الانعكاس والرؤية العصبية من أجل إعادة الإضاءة وتركيب العرض) في وقت سابق من هذا العام، والتي تقدم خطوة أولى في تغيير الإضاءة و/أو текстуриات بيئة أو كائن NeRF:

من خلال تضمين حساب لفقدان ترتيب العمق، وتطبيق تنظيم صارم للتنبؤ بتدفق المشهد في D-NeRF، يتم التخفيف بشكل كبير من مشكلة التمويه الحركي.

على الرغم من أن البحث يقدم الكثير فيما يتعلق بتنظيم حساب NeRF، ويتحسن بشكل كبير على مرونة وسهولة استكشاف الإخراج من وجهة نظر واحدة، فإن ما يلاحظ على الأقل هو فصل واعادة دمج عناصر NeRF الديناميكية والثابتة.

تعتمد على كاميرا واحدة، لا يمكن أن تكرر مثل هذا النظام وجهة نظر كاميرا متعددة، ولكن يمكنها الذهاب إلى أي مكان، ودون حاجة إلى شاحنة.

تعتمد على كاميرا واحدة، لا يمكن أن تكرر مثل هذا النظام وجهة نظر كاميرا متعددة، ولكن يمكنها الذهاب إلى أي مكان، ودون حاجة إلى شاحنة.