يتحرك NeRF خطوة أخرى أقرب إلى استبدال CGI

أحرز الباحثون في معهد ماساتشوستس للتكنولوجيا وجوجل خطوة كبيرة في حل واحدة من أكبر العقبات الأساسية للتكنولوجيا الناشئة التي تقودها الذكاء الاصطناعي والتي قد تحل في النهاية محل CGI – فصل الصور التي تم الحصول عليها باستخدام مجال الإشعاع العصبي (NeRF) إلى مكوناتها البصرية ، بحيث يمكن إعادة تلوين الصور وإعادة إضاءتها.

المنهج الجديد ، الذي يسمى NeRFactor ، يقسم الصور التي تم الحصول عليها فعليًا إلى أجزاء منفصلة لكل كائن (حيث يمكن تعيين النماذج ثلاثية الأبعاد) ، وضوح الرؤية ، ودرجة انعكاس الضوء (النسبة المئوية للضوء الساقط التي تنعكس بعيدًا عن السطح) ووظائف الانعكاس ثنائية الاتجاه.

باستخدام هذه الجوانب المنفصلة ، من الممكن ليس فقط تغيير النماذج ثلاثية الأبعاد للأجسام أو مجموعات الأجسام ، ولكن أيضًا إضافة مصادر إضاءة جديدة وفريدة من نوعها وتنفيذ الظلال ، مع تجاهل أي مما تم التقاطه بواسطة مصفوفات الكاميرا المتعددة التي تولد الإدخال لصور NeRF.

المستويات العادية ، والرؤية ، ودرجة انعكاس الضوء ، ووظائف الانعكاس ثنائية الاتجاه المنفصلة باستخدام NeRFactor. مصدر: https://www.youtube.com/watch?v=UUVSPJlwhPg

يدعم المنهج الظلال الناعمة أو الصلبة من مصادر الإضاءة التعريفية للمستخدم ، ويفصل الجوانب الأربعة للفيديو الذي تم الحصول عليه برمجيًا ، باستخدام خسارة البناء ، وبيانات الحسابات السابقة لوظائف الانعكاس ثنائية الاتجاه ، وتنظيم بسيط للنعومة.

عملية NeRFactor ، واستخراج جوانب الصور التي تم الحصول عليها من مصفوفات الكاميرا المتعددة. مصدر: https://arxiv.org/pdf/2106.01970.pdf

يستخدم NeRFactor مسبارًا ضوئي عالي الدقة ، وهو نهج راسخ الذي انتشر في الصناعة الفنية منذ تقديمه في عام 1998 ، لتقييم مسارات الأشعة المحتملة ، مما يتيح الإضاءة التعريفية.

استخدام نموذجين من نموذج مجال الإشعاع العصبي لتحديد خمس نماذج إضاءة ممكنة باستخدام NeRFactor. انقر على الصورة للحصول على دقة أعلى.

سبب للتأمل

الأبحاث الجديدة هي ربما الأكثر أهمية في فصل طبقات الصور التي تم الحصول عليها والتي تتحكم في الانعكاس. لا تزال هذه واحدة من أكبر التحديات لمجال الإشعاع العصبي ، حيث سيتطلب نظام NeRF حقيقي وممكن أن يكون مرنًا ليس فقط القدرة على استبدال النماذج ثلاثية الأبعاد ، ولكن أيضًا بعض الطرق لانعكاس الأجسام المتحركة (بخلاف البيئة الثابتة فقط) التي يتم عادةً حسابها في تدفق عمل CGI.

لقد لوحظ مؤخرًا أن هذه القضية تتعلق بأبحاث شركة Intel الجديدة في تحويل مقاطع فيديو ألعاب الفيديو إلى فيديو متوافق مع الواقع من خلال شبكات العصبية التلافيفية.

لذا ، فإن عزل طبقات فيديو NeRF التي تسهل الانعكاس يأتي به NeRF خطوة أقرب إلى حل تحدي “الانعكاس”.

التصوير الفوتوغرامetri مع NeRF

يستخدم مجال الإشعاع العصبي صورًا تم الحصول عليها من زوايا متعددة لإنشاء مساحة ثلاثية الأبعاد كاملة باستخدام تحليل الذكاء الاصطناعي.

استخدمت مخططات NeRF المختلفة التي ظهرت في العام الماضي عددًا متنوعًا من أجهزة الكاميرا المساهمة ؛ بعضها يستخدم 16 كاميرا أو أكثر ، والبعض الآخر يستخدم كاميرا واحدة أو كاميرتين فقط.

NeRF في سياق “CGI جديد”

يتم إنشاء صور مجال الإشعاع العصبي مباشرة من صور العالم الحقيقي ، بما في ذلك الصور المتحركة للأشخاص والأجسام والمناظر. في المقابل ، تتطلب منهجية CGI “دراسة” وتفسير العالم ، مما يتطلب من العمال المهرة بناء الشبكات والهياكل والنماذج ثلاثية الأبعاد التي تستخدم صور العالم الحقيقي.

علاوة على ذلك ، واجه CGI مشاكل مستمرة فيما يسمى “وادي الغريب” في محاولاته لإعادة إنشاء الشبهات البشرية ، وهو ما لا يعيق نهج NeRF الذي يلتقط ببساطة مقاطع فيديو أو صورًا لأشخاص حقيقيين ويعالجها.

تحديات NeRF

تأتي هذه الأبحاث الجديدة من معهد ماساتشوستس للتكنولوجيا وجوجل في سياق فيضان من أوراق NeRF خلال العام الماضي ، والتي قدمت العديد من الحلول للتحديات المختلفة التي أثيرت في الورقة الأولية لعام 2020.

في أبريل ، قدمت الابتكارات من اتحاد بحثي صيني طريقة لتحديد جداول زمنية منفصلة للجوانب في مشهد NeRF ، بما في ذلك الأشخاص.

البحث الصيني يسمح للمستخدمين بنسخ ولصق وتحجيم عناصر تم الحصول عليها ، وتنسيقها من الجدول الزمني الخطي للفيديو الأصلي. مصدر: https://www.youtube.com/watch?v=Wp4HfOwFGP4

هذا النهج لا يسمح فقط بإعادة تخيل المشهد من أي زاوية تم الحصول عليها بواسطة مصفوفة الكاميرا (وليس فقط المنظر الواحد المتمثّل في التقاط الفيديو العادي) ، ولكن أيضًا يسمح بالتركيب المرن – وحتى القدرة على تمثيل جانبين من نفس الفيديو الذي يعمل في إطارات زمنية منفصلة (أو حتى يعمل بالعكس إذا لزم الأمر).

متى سيكون NeRF لحظة “جوراسيك بارك”?

على الرغم من وتيرة التقدم السريع في синтез الصور عبر مجالات الإشعاع العصبي ، إلا أنه فقط في هذه الفترة سيتم إنشاء نوع من “قانون الثرموديناميكا” لتحديد مدى قدرة NeRF على النشر. فيما يتعلق بالجدول الزمني الشبيه بتاريخ CGI ، يطفو NeRF حاليًا حول عام 1973 ، قبل أول استخدام ل CGI في فيلم Westworld.

ذلك لا يعني أن NeRF سيتعين عليه بالضرورة الانتظار تسع سنوات لتحقيق خطوته الشبيهة بخطوة Wrath Of Khan ، أو عقود لتحقيق الانجازات التي حققها CGI تحت رعاية جيمس كاميرون الحماسية في فيلم The Abyss عام 1989 أو فيلم Terminator 2 عام 1991 – ثم لحظة انطلاق التكنولوجيا الحقيقية في فيلم Jurassic Park عام 1993.

لقد تغير مشهد التصوير بشكل كبير منذ فترة طويلة من الركود لتقنيات التأثيرات البصرية الكيميائية ، والتي домنت على إنتاج الأفلام والتلفزيون منذ ولادة السينما حتى التسعينيات. أدت ثورة الكمبيوتر وتسارع قانون مور إلى ثورة CGI ، والتي ربما كان من الممكن أن تحدث في وقت مبكر مثل الستينيات.

يظل من غير المعروف ما إذا كان هناك حاجز ما يمكن أن يمنع تقدم NeRF لفترة طويلة – وما إذا كانت الابتكارات المستقبلية في رؤية الكمبيوتر قد تحل محل NeRF كمنافس رئيسي على تاج CGI ، مما يجعل مجالات الإشعاع العصبي مثل جهاز الفاكس القصير الأجل لتركيب الصور العصبية.

حتى الآن ، لم يتم استخدام NeRF في أي سياق خارج البحث الأكاديمي ؛ ومع ذلك ، من الجدير بالذكر أن لاعبين رئيسيين مثل جوجل ريسيرش و许多 من معامل البحث البارزة في رؤية الكمبيوتر يتنافسون على أحدث اختراق ل NeRF.

لقد بدأت العديد من أكبر عقبات NeRF في التغلب عليها مباشرة هذا العام ؛ إذا قدمت الأبحاث اللاحقة حلاً لمشكلة “الانعكاس” ، وتم تجميع مسارات البحث المثلى ل NeRF في حل حاسم لمطالب المعالجة والتخزين الكبيرة للتكنولوجيا ، فإن NeRF لديه فرصة حقيقية لتحقيق “CGI الجديد” في السنوات الخمس القادمة.