CGI الجديد: إنشاء مجاورات عصبية مع Block-NeRF

تسمح مجالات الإشعاع العصبية (NeRF) بإعادة إنشاء الكائنات واستكشافها داخل الشبكات العصبية باستخدام صور متعددة من وجهات نظر مختلفة كمدخل، دون تعقيدات وتكاليف الطرق التقليدية لتقنيات الرسومات الحاسوبية.

然而، عملية إنشاء هذه المجالات مكلفة حسابيًا، مما حدّ من بيئات NeRF في البداية إلى سيناريوهات نموذجية على الطاولة. ومع ذلك، تم تبني NeRF من قبل مجتمع بحثي مخصص، حتى فرط، والذي قدّم خلال العام الماضي إعادة بناء خارجية بالإضافة إلى بشر عصبويين قابلين للتعديل، بالإضافة إلى العديد من الابتكارات الأخرى.

الآن، مبادرة بحثية جديدة، والتي تشمل مشاركة بحث جوجل، تعترف بالحدود الصعبة المحتملة لتحسين NeRF، وتركز بدلاً من ذلك على خياطة بيئات NeRF معًا لإنشاء مجاورات حسب الطلب تتكون من عدة مثيلات NeRF منسقة.

منظر من شبكة Block-NeRF من NeRFs المترابطة. انظر الفيديو المضمن في نهاية المقال، وكذلك الرابط المصدر لفيديوهات إضافية عالية الدقة. المصدر: https://waymo.com/research/block-nerf/

التنقل في شبكة NeRFs المترابطة بشكل فعال يجعل NeRF قابلاً للتطوير والتعديل، مما يوفر بيئات قابلة للتنقل التي تحمل أجزاء إضافية من المجاورة حسب الحاجة، بطريقة مشابهة لطرق تحسين الموارد في ألعاب الفيديو، حيث يتم تحميل ما يوجد حول الزاوية فقط عندما يصبح واضحًا أن البيئة سوف تكون ضرورية.

في جهود كبيرة لفصل جوانب منفصلة مثل الطقس والساعة، يقدم Block-NeRF أيضًا “رموز المظهر”، مما يجعل من الممكن تغيير وقت اليوم ديناميكيًا:

تغيير وقت اليوم مع Block-NeRF. انظر الفيديو المضمن في نهاية المقال، وكذلك الرابط المصدر لفيديوهات إضافية عالية الدقة. المصدر: https://waymo.com/research/block-nerf/

يقترح البحث الجديد أن تحسين NeRF يقترب من حده الحراري، وأن التطبيقات المستقبلية لبيئات الإشعاع العصبية في الواقع الافتراضي، والأنواع الأخرى من الكرات التفاعلية، والعمل على التأثيرات البصرية، من المحتمل أن تعتمد على العمليات المتوازية، مشابهة لطريقة التي أصبحت بها قانون مور في النهاية يعتمد على معمارية متعددة النواة، وتحسينات متوازية، ونهج جديدة للتخزين المؤقت.

مؤلفو الورقة (المسمى Block-NeRF:合成 المشهد الكبير العصبي القابل للتطوير) استخدموا 2.8 مليون صورة لإنشاء أكبر مشهد عصبي تمت محاولته – سلسلة من الأحياء في سان فرانسيسكو.

Block-NeRF يتنقل في كاتدرائية غريس في سان فرانسيسكو. انظر الفيديو المضمن في نهاية المقال، وكذلك الرابط المصدر لفيديوهات إضافية عالية الدقة. المصدر: https://waymo.com/research/block-nerf/

المؤلف الرئيسي للورقة، الذي يمثل جامعة كاليفورنيا، بيركلي، هو ماثيو تانكيك، مخترع مجالات الإشعاع العصبية، الذي قام بالعمل أثناء تدريبه في شركة تكنولوجيا السيارات المستقلة Waymo، مضيفًا صفحة المشروع، صفحة المشروع. وتقدم المبادرة أيضًا لمحة فيديو على يوتيوب، مضمنة في نهاية هذا المقال، بالإضافة إلى العديد من الأمثلة الإضافية والفيديوهات الداعمة على صفحة المشروع.

الورقة من تأليف عدة من أصل مخترعي NeRF، بما في ذلك بن ميلدن هال (جوجل ريسيرش)، براتول ب. سري نيفاسان (جوجل ريسيرش)، وجوناثان تي. بارون (جوجل ريسيرش). المساهمون الآخرون هم فينسنت كاسير، شينشين يان، سابيك برادان، هنريك كريتزشمار، وفينسنت كاسير، جميعهم من Waymo.

تم تطوير Block-NeRF في الأساس كبحوث في البيئات الافتراضية لأنظمة المركبات المستقلة، بما في ذلك السيارات والطائرات بدون طيار.

طريق إمباركاديرو من زاوية 180 درجة في Block-NeRF. انظر الفيديو المضمن في نهاية المقال، وكذلك الرابط المصدر لفيديوهات إضافية عالية الدقة. المصدر: https://waymo.com/research/block-nerf/

العوامل الأخرى التي يمكن تغييرها ديناميكيًا في Block-NeRF هي فتحة العدسة (انظر الصورة أعلاه)، الطقس، والفصول.

التصيير المروع

إذا نظرت إلى الفيديو المضمن في النهاية، ستلاحظ قلة كثافة في بيئة Block-NeRF المترابطة، على غرار قلة كثافة في مسلسل ال 死亡؛ بسبب أسباب مختلفة، لا سيما لتوفير بيئة محاكاة بداية لنظم الروبوت، تم محو السيارات والمشاة والكائنات العابرة الأخرى عمدًا من المواد المصدر، مما ترك بعض الآثار مثل ظلال المركبات المحذوفة:

ظل سيارة محذوفة. المصدر: https://waymo.com/research/block-nerf/

للمواءمة مع مجموعة من بيئات الإضاءة مثل النهار أو الليل، تم تدريب الشبكات على دمج تدفقات البيانات المنفصلة المتعلقة بكل حالة مرغوبة. في الصورة أدناه، نرى التدفقات المساهمة لقطات Block-NeRF لطريق سريع في النهار والليل:

الجوانب المطلوبة لتصيير Block-NeRF الواضح، مما يسمح للمستخدم بالتبديل إلى الليل حسب الحاجة. المصدر: https://waymo.com/research/block-nerf/

الاعتبارات البيئية والاخلاقية

خلال السنوات القليلة الماضية، بدأت المقالات البحثية في تضمين تحذيرات وتنويهات بشأن الآثار البيئية والاخلاقية المحتملة للعمل المقترح. في حالة Block-NeRF، يشير المؤلفون إلى أن متطلبات الطاقة عالية، وأن احتساب الكائنات العابرة قصيرة الأجل وطويلة الأجل (مثل أوراق الشجر والعمل الإنشائي، على التوالي) سيتطلب مسحًا دوريًا للبيانات المصدر، مما يؤدي إلى زيادة “مراقبة” في المناطق الحضرية التي تحتاج إلى تحديث نماذجها العصبية.

يذكر المؤلفون:

‘اعتمادًا على النطاق الذي يتم تطبيق هذا العمل عليه، يمكن أن تؤدي متطلبات الحوسبة إلى ضرر بيئي أو تدهور إذا أدت الطاقة المستخدمة في الحوسبة إلى زيادة انبعاثات الكربون. كما هو مذكور في الورقة، نتوقع مزيدًا من العمل، مثل أساليب التخزين المؤقت، التي يمكن أن تقلل من متطلبات الحوسبة وبالتالي تقلل من الضرر البيئي.’

بخصوص المراقبة، ي续ون:

‘قد تؤدي التطبيقات المستقبلية لهذا العمل إلى جهود جمع بيانات أكبر، مما يثير مخاوف إضافية بشأن الخصوصية. في حين يمكن العثور على صور مفصلة للطرقات العامة على خدمات مثل جوجل ستريت فيو، يمكن أن تؤدي طريقةنا إلى مسح متكرر وأكثر انتظامًا للبيئة. كما أن بعض الشركات في مجال السيارات المستقلة معروفة بتحقيق مسح区域 منتظم باستخدام أسطولها من المركبات؛ ومع ذلك، قد تستخدم بعضها فقط مسح LiDAR، وهو أقل حساسية من جمع صور الكاميرا.’

الأساليب والحلول

يمكن تقليل حجم بيئات NeRF الفردية، نظريًا، إلى أي حجم قبل تجميعها في مصفوفة Block-NeRF. هذا يفتح الطريق للاستخدام الدقيق للمحتوى الذي يخضع للتغيير، مثل الأشجار، وتحديد وإدارة الأعمال الإنشائية، التي قد تستمر في الوقت على مدار سنوات من إعادة التقاطها، ولكنها من المحتمل أن تتطور وت trởي كيانات متسقة في النهاية.

然而، في هذه المبادرة البحثية الأولية، تُحدد كتلة NeRF المنفصلة بكتلة مدينة لكل بيئة موضحة، متصلة بفجوة بنسبة 50٪ لضمان انتقالات متسقة من كتلة إلى أخرى أثناء التنقل في الشبكة.

كل كتلة مقيدة بمرشح جغرافي. يشير المؤلفون إلى أن جزء الإطار هذا مفتوح للتحسين التلقائي، ومما يثير الدهشة أن تنفيذهم يعتمد على OpenStreetMap بدلاً من خرائط جوجل.

نصف قطر تقاطع مساحة العرض الفعّالة ل Block-NeRF. المصدر: Waymo

تُتدرب الكتل بشكل موازي، مع تقديم الكتل المطلوبة عند الطلب. كما يتم تنسيق رموز المظهر المبتكرة بين مجموعة الكتل، مما يضمن عدم السفر بشكل غير متوقع إلى طقس أو وقت أو حتى موسم مختلف.

مقاطع Block-NeRF مشروطة على التعرض بطريقة مشابهة لمدى الديناميكية العالي (HDR) في المواد المصدر الفوتوغرافية. المصدر: Waymo

القدرة على تغيير الإضاءة والمتغيرات البيئية الأخرى مستمدة من التحسينات اللاتنتيجة المقدمة في NeRF في البرية (NeRF-W)، والتي اشتققت بدورها الطريقة من ورقة بحثية فيسبوك الإصدارية عام 2019 تحسين الفضاء اللاتنتي للشبكات التوليدية.

تم استخدام نموذج التجزئة الدلالية الذي تم إنشاؤه في البانوراما-ديب لاب في عام 2020 لإلغاء عناصر غير مرغوب فيها (مثل الأشخاص والمركبات)

البيانات

عندما وجد الباحثون أن مجموعات البيانات الحضرية الشائعة مثل CityScapes لم تكن مناسبة للتفاصيل الكثيرة مثل Block-NeRF، قاموا بإنشاء مجموعة بيانات خاصة بهم. تم التقاط بيانات الصور من 12 كاميرا تغطي منظورًا بزاوية 360 درجة، مع لقطات تم أخذها بسرعة 10 هرتز وقيمة تعرض скаляر.

تم تغطية أحياء سان فرانسيسكو وهي Alamo Square وMission Bay. بالنسبة لقطات Alamo Square، تم تغطية منطقة تبلغ تقريبًا 960م × 570م، مقسمة إلى 35 مثيلًا من Block-NeRF، كل منها مدرب على بيانات من 38 إلى 48 جولة لجمع بيانات مختلفة، مع وقت قيادة إجمالي يتراوح بين 18-28 دقيقة.

كان عدد الصور المساهمة لكل كتلة Block-NeRF يتراوح بين 64,575 و 108,216، وتمثلت وقت القيادة الإجمالي المتمثّل لمنطقة Alamo Square ب 13.4 ساعة عبر 1,330 جولة لجمع بيانات مختلفة. هذا أدى إلى 2,818,745 صورة تدريبية فقط ل Alamo Square. انظر الورقة للحصول على مزيد من التفاصيل حول جمع البيانات لميشن باي.

نُشر لأول مرة في 11 فبراير 2022.