زاوية Anderson

تقنيات CGI الجديدة: إنشاء نماذج عصبية للأحياء باستخدام Block-NeRF

Martin Anderson
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةتقوم Block-NeRF بدمج مثيلات NeRF المنفصلة في أحياء قابلة للتنقل وقابلة للتوسع يتم…
عرض المزيد
  • تقوم Block-NeRF بدمج مثيلات NeRF المنفصلة في أحياء قابلة للتنقل وقابلة للتوسع يتم تحميلها حسب الطلب.
  • تسمح رموز المظهر في Block-NeRF بإجراء تغييرات ديناميكية مثل الوقت من اليوم دون إعادة تدريب المشهد بأكمله.
  • استخدم المشروع 2.8 مليون صورة من Waymo لإنشاء أكبر مشهد عصبي لمربعات سان فرانسيسكو.

تسمح مجالات الإشعاع العصبية (NeRF) بإعادة إنشاء الكائنات واستكشافها داخل الشبكات العصبية باستخدام صور متعددة من وجهات نظر مختلفة كمدخل، دون تعقيدات وتكاليف الطرق التقليدية لتقنيات الرسومات الحاسوبية.

لكن عملية إنشاء هذه المجالات مكلفة حسابيًا، مما حدّ من بيئات NeRF في البداية إلى سيناريوهات نماذج توضع على الطاولة. ومع ذلك، تم تبني NeRF من قبل مجتمع بحثي متفانٍ، بل شديد الحماس، والذي قدّم خلال العام الماضي إعادة بناء خارجية بالإضافة إلى نماذج بشرية عصبية قابلة للتعديل، بالإضافة إلى العديد من الابتكارات الأخرى.

الآن، مبادرة بحثية جديدة، والتي تشمل مشاركة بحث جوجل، تعترف بالحدود الصعبة المحتملة لتحسين NeRF، وتركز بدلاً من ذلك على خياطة بيئات NeRF معًا لإنشاء مجاورات حسب الطلب تتكون من عدة مثيلات NeRF منسقة.

منظر من شبكة Block-NeRF من NeRFs المترابطة. انظر الفيديو المضمن في نهاية المقال، وكذلك الرابط المصدر لفيديوهات إضافية عالية الدقة. المصدر: https://waymo.com/research/block-nerf/

منظر من شبكة Block-NeRF من NeRFs المترابطة. انظر الفيديو المضمن في نهاية المقال، وكذلك الرابط المصدر لفيديوهات إضافية عالية الدقة. المصدر: https://waymo.com/research/block-nerf/

التنقل في شبكة NeRFs المترابطة بشكل فعال يجعل NeRF قابلاً للتوسع والتركيب من وحدات، مما يوفر بيئات قابلة للتنقل التي تحمل أجزاء إضافية من المجاورة حسب الحاجة، بطريقة مشابهة لطرق تحسين الموارد في ألعاب الفيديو، حيث يتم تحميل ما يوجد حول الزاوية فقط عندما يصبح واضحًا أن البيئة سوف تكون ضرورية.

في إطار جهود واسعة لفصل جوانب مستقلة مثل الطقس والساعة، يقدم Block-NeRF أيضًا “رموز المظهر”، مما يجعل من الممكن تغيير وقت اليوم ديناميكيًا:

تغيير وقت اليوم مع Block-NeRF. انظر الفيديو المضمن في نهاية المقال، وكذلك الرابط المصدر لفيديوهات إضافية عالية الدقة. المصدر: https://waymo.com/research/block-nerf/

تغيير وقت اليوم مع Block-NeRF. انظر الفيديو المضمن في نهاية المقال، وكذلك الرابط المصدر لفيديوهات إضافية عالية الدقة. المصدر: https://waymo.com/research/block-nerf/

يقترح البحث الجديد أن تحسين NeRF يقترب من حده الحراري، وأن التطبيقات المستقبلية لبيئات الإشعاع العصبية في الواقع الافتراضي، والأنواع الأخرى من البيئات التفاعلية، والعمل على التأثيرات البصرية، من المحتمل أن تعتمد على العمليات المتوازية، على غرار إفساح قانون مور المجال في النهاية لمعمارية متعددة النوى، وتحسينات متوازية، ونهج جديدة للتخزين المؤقت.

مؤلفو الورقة (المعنونة Block-NeRF: توليد عصبي قابل للتوسع لمناظر مشاهد كبيرة) استخدموا 2.8 مليون صورة لإنشاء أكبر مشهد عصبي تمت محاولته – سلسلة من الأحياء في سان فرانسيسكو.

Block-NeRF يتنقل في كاتدرائية غريس في سان فرانسيسكو. انظر الفيديو المضمن في نهاية المقال، وكذلك الرابط المصدر لفيديوهات إضافية عالية الدقة. المصدر: https://waymo.com/research/block-nerf/

Block-NeRF يتنقل في كاتدرائية غريس في سان فرانسيسكو. انظر الفيديو المضمن في نهاية المقال، وكذلك الرابط المصدر لفيديوهات إضافية عالية الدقة. المصدر: https://waymo.com/research/block-nerf/

المؤلف الرئيسي للورقة، الذي يمثل جامعة كاليفورنيا، بيركلي، هو ماثيو تانكيك، أحد مخترعي مجالات الإشعاع العصبية، الذي قام بالعمل أثناء تدريبه في شركة تكنولوجيا السيارات المستقلة Waymo التي تستضيف صفحة المشروع. وتقدم المبادرة أيضًا لمحة فيديو على يوتيوب، مضمنة في نهاية هذا المقال، بالإضافة إلى العديد من الأمثلة الإضافية والفيديوهات الداعمة على صفحة المشروع.

الورقة من تأليف عدة من أصل مخترعي NeRF، بما في ذلك بن ميلدن هال (جوجل ريسيرش)، براتول ب. سري نيفاسان (جوجل ريسيرش)، وجوناثان تي. بارون (جوجل ريسيرش). المساهمون الآخرون هم فينسنت كاسير، شينشين يان، سابيك برادان، هنريك كريتزشمار، جميعهم من Waymo.

تم تطوير Block-NeRF في الأساس كبحوث في البيئات الافتراضية لأنظمة المركبات المستقلة، بما في ذلك السيارات والطائرات بدون طيار.

طريق إمباركاديرو من زاوية 180 درجة في Block-NeRF. انظر الفيديو المضمن في نهاية المقال، وكذلك الرابط المصدر لفيديوهات إضافية عالية الدقة. المصدر: https://waymo.com/research/block-nerf/

طريق إمباركاديرو من زاوية 180 درجة في Block-NeRF. انظر الفيديو المضمن في نهاية المقال، وكذلك الرابط المصدر لفيديوهات إضافية عالية الدقة. المصدر: https://waymo.com/research/block-nerf/

العوامل الأخرى التي يمكن تغييرها ديناميكيًا في Block-NeRF هي تعريض العدسة (انظر الصورة أعلاه)، الطقس، والفصول.

لكن تغيير الفصل قد يؤدي إلى تغيرات مرتبطة في البيئة، مثل الأشجار الخالية من الأوراق، مما يتطلب مجموعة بيانات إدخال أوسع مما استُخدم في Block-NeRF. وتقول الورقة:

‘تتغير [أوراق الشجر] موسميًا وتتحرك مع الرياح؛ وهذا يؤدي إلى تمثيلات ضبابية للأشجار والنباتات. وبالمثل، لا تُعالَج تلقائيًا أوجه عدم الاتساق الزمني في بيانات التدريب، مثل أعمال البناء، وتتطلب إعادة تدريب الكتل المتأثرة يدويًا.’

تصيير يشبه عالم ما بعد الكارثة

إذا نظرت إلى الفيديو المضمن في النهاية، ستلاحظ فراغًا في بيئة Block-NeRF المترابطة يشبه أجواء مسلسل الموتى السائرون؛ بسبب أسباب مختلفة، لا سيما لتوفير بيئة محاكاة بداية لنظم الروبوت، تم محو السيارات والمشاة والكائنات العابرة الأخرى عمدًا من المواد المصدر، مما ترك بعض الآثار مثل ظلال المركبات المحذوفة:

ظل سيارة محذوفة. المصدر: https://waymo.com/research/block-nerf/

ظل سيارة محذوفة. المصدر: https://waymo.com/research/block-nerf/

للمواءمة مع مجموعة من بيئات الإضاءة مثل النهار أو الليل، تم تدريب الشبكات على دمج تدفقات البيانات المنفصلة المتعلقة بكل حالة مرغوبة. في الصورة أدناه، نرى التدفقات المساهمة في لقطات Block-NeRF لطريق سريع في النهار والليل:

المكونات المتاحة حسب الطلب خلف تصيير Block-NeRF الذي يبدو محسوبًا مسبقًا، مما يسمح للمستخدم بالتبديل إلى الليل حسب الحاجة. المصدر: https://waymo.com/research/block-nerf/

المكونات المتاحة حسب الطلب خلف تصيير Block-NeRF الذي يبدو محسوبًا مسبقًا، مما يسمح للمستخدم بالتبديل إلى الليل حسب الحاجة. المصدر: https://waymo.com/research/block-nerf/

الاعتبارات البيئية والاخلاقية

خلال السنوات القليلة الماضية، بدأت المقالات البحثية في تضمين تحذيرات وتنويهات بشأن الآثار البيئية والاخلاقية المحتملة للعمل المقترح. في حالة Block-NeRF، يشير المؤلفون إلى أن متطلبات الطاقة عالية، وأن احتساب الكائنات العابرة قصيرة الأجل وطويلة الأجل (مثل أوراق الشجر والعمل الإنشائي، على التوالي) سيتطلب مسحًا دوريًا للبيانات المصدر، مما يؤدي إلى زيادة “مراقبة” في المناطق الحضرية التي تحتاج إلى تحديث نماذجها العصبية.

يذكر المؤلفون:

‘اعتمادًا على النطاق الذي يتم تطبيق هذا العمل عليه، يمكن أن تؤدي متطلبات الحوسبة إلى ضرر بيئي أو تدهور إذا أدت الطاقة المستخدمة في الحوسبة إلى زيادة انبعاثات الكربون. كما هو مذكور في الورقة، نتوقع مزيدًا من العمل، مثل أساليب التخزين المؤقت، التي يمكن أن تقلل من متطلبات الحوسبة وبالتالي تقلل من الضرر البيئي.’

بخصوص المراقبة، يتابعون:

‘قد تؤدي التطبيقات المستقبلية لهذا العمل إلى جهود جمع بيانات أكبر، مما يثير مخاوف إضافية بشأن الخصوصية. في حين يمكن العثور على صور مفصلة للطرقات العامة على خدمات مثل جوجل ستريت فيو، يمكن أن تؤدي طريقتنا إلى مسح متكرر وأكثر انتظامًا للبيئة. كما أن بعض الشركات في مجال السيارات المستقلة معروفة بإجراء مسح منتظم للمناطق باستخدام أسطولها من المركبات؛ ومع ذلك، قد تستخدم بعضها فقط مسح LiDAR، وهو قد يكون أقل حساسية من ناحية الخصوصية من جمع صور الكاميرا.’

الأساليب والحلول

يمكن تقليل حجم بيئات NeRF الفردية، نظريًا، إلى أي حجم قبل تجميعها في مصفوفة Block-NeRF. هذا يفتح الطريق للاستخدام الدقيق للمحتوى الذي يخضع للتغيير، مثل الأشجار، وتحديد وإدارة الأعمال الإنشائية، التي قد تستمر في الوقت على مدار سنوات من إعادة التقاطها، ولكنها من المحتمل أن تتطور وتصبح أجزاء ثابتة من البيئة في النهاية.

لكن في هذه المبادرة البحثية الأولية، تُحدد كتلة NeRF المنفصلة بكتلة مدينة لكل بيئة موضحة، موصولة مع تداخل بنسبة 50٪ لضمان انتقالات متسقة من كتلة إلى أخرى أثناء التنقل في الشبكة.

كل كتلة مقيدة بمرشح جغرافي. يشير المؤلفون إلى أن جزء الإطار هذا قابل للأتمتة، ومما يثير الدهشة أن تنفيذهم يعتمد على OpenStreetMap بدلاً من خرائط جوجل.

نصف قطر تقاطع مساحة العرض الفعّالة ل Block-NeRF. المصدر: Waymo

نصف قطر تقاطع مساحة العرض الفعّالة ل Block-NeRF. المصدر: Waymo

تُتدرب الكتل بشكل موازي، مع تقديم الكتل المطلوبة عند الطلب. كما يتم تنسيق رموز المظهر المبتكرة بين مجموعة الكتل، مما يضمن عدم السفر بشكل غير متوقع إلى طقس أو وقت أو حتى موسم مختلف.

مقاطع Block-NeRF مشروطة على التعرض بطريقة مشابهة لمدى الديناميكية العالي (HDR) في المواد المصدر الفوتوغرافية. المصدر: Waymo

مقاطع Block-NeRF مشروطة على التعرض بطريقة مشابهة لمدى الديناميكية العالي (HDR) في المواد المصدر الفوتوغرافية. المصدر: Waymo

القدرة على تغيير الإضاءة والمتغيرات البيئية الأخرى مستمدة من التحسينات التوليدية في الفضاء الكامن المقدمة في NeRF في البرية (NeRF-W)، والتي اشتققت بدورها الطريقة من ورقة بحثية فيسبوك الإصدارية عام 2019 تحسين الفضاء الكامن للشبكات التوليدية.

يُستخدم نموذج تجزئة دلالية مشتق من Panoptic-DeepLab لعام 2020 لاستبعاد العناصر غير المرغوب فيها، مثل الأشخاص والمركبات.

البيانات

عندما وجد الباحثون أن مجموعات البيانات الحضرية الشائعة مثل CityScapes لم تكن مناسبة للتفاصيل الكثيرة مثل Block-NeRF، قاموا بإنشاء مجموعة بيانات خاصة بهم. تم التقاط بيانات الصور من 12 كاميرا تغطي منظورًا بزاوية 360 درجة، مع لقطات تم أخذها بسرعة 10 هرتز وقيمة تعريض عددية مفردة.

تم تغطية أحياء سان فرانسيسكو وهي Alamo Square وMission Bay. بالنسبة لقطات Alamo Square، تم تغطية منطقة تبلغ تقريبًا 960م × 570م، مقسمة إلى 35 مثيلًا من Block-NeRF، كل منها مدرب على بيانات من 38 إلى 48 جولة لجمع بيانات مختلفة، مع وقت قيادة إجمالي يتراوح بين 18-28 دقيقة.

كان عدد الصور المساهمة لكل كتلة Block-NeRF يتراوح بين 64,575 و 108,216، وتمثلت وقت القيادة الإجمالي المتمثّل لمنطقة Alamo Square ب 13.4 ساعة عبر 1,330 جولة لجمع بيانات مختلفة. هذا أدى إلى 2,818,745 صورة تدريبية فقط ل Alamo Square. انظر الورقة للحصول على مزيد من التفاصيل حول جمع البيانات لميشن باي.

 

نُشر لأول مرة في 11 فبراير 2022.

كاتب في مجال تعلم الآلة، متخصص في توليد صور البشر. كان رئيسًا سابقًا لمحتوى البحث في Metaphysic.ai، حتى دمجه في Brahma.ai التابعة لـ DNEG.
الموقع الإلكتروني: martinanderson.ai
للتواصل: martin@martinanderson.ai