هل يمكن لبيئات الواقع المعزز من أبل HDR حل انعكاسات Neural Rendering؟

استثمار أبل الطموح والطويل الأمد في تقنيات الواقع المعزز يتسارع هذا العام ، مع مجموعة جديدة من أدوات المطورين لالتقاط وتنسيق الكائنات الحقيقية في أجزاء الواقع المعزز ، ومعتقد صناعي متزايد أن النظارات المخصصة للواقع المعزز قادمة لدعم التجارب الغامرة التي يمكن أن تتيحها هذه العاصفة من البحث والتطوير.

من بين مجموعة من المعلومات الجديدة حول جهود أبل في الواقع المعزز ، يظهر بحث جديد من قسم أبحاث الرؤية الحاسوبية في الشركة طريقة لاستخدام الصور البانورامية عالية الدقة (HDR) لتقديم انعكاسات ومصادر ضوئية محددة للمشهد للكائنات التي تُضاف إلى مشاهد الواقع المعزز.

المسمى تقدير خريطة بيئة HDR لبيئات الواقع المعزز في الوقت الفعلي ، يقترح البحث ، من قبل مهندس أبحاث الرؤية الحاسوبية في أبل جوري سومانات ومتخصص إدارة التعلم الآلي دانيال كورز ، إنشاء بيئات HDR حقيقية في الوقت الفعلي عبر شبكة عصبونية تConvolutional (CNN) تعمل في بيئة معالجة محمولة. النتيجة هي أن الكائنات الانعكاسية يمكن أن تعكس فعلا بيئات جديدة غير موصوفة عند الطلب:

في سير عمل توليد كائنات أبل الجديدة للواقع المعزز ، يتم إنشاء غلاية الضغط بواسطة التصوير الفوتوغرافي مع بيئتها المحيطة ، مما يؤدي إلى انعكاسات مقنعة لا يتم “خَبْز”ها في النسيج. مصدر: https://docs-assets.developer.apple.com/

الطريقة ، التي تم الكشف عنها في CVPR 2021 ، تأخذ صورة للمشهد بأكمله وتستخدم EnvMapNet CNN لتقدير صورة بانورامية HDR مكتملة بصريًا ، والمعروفة أيضًا باسم “مسبار ضوئي”.

تحدد الخريطة مصادر الضوء القوية (محددة في نهاية الرسوم المتحركة أعلاه) وتakesها في الاعتبار عند تقديم الكائنات الافتراضية.

هندسة EnvMapNet ، التي تعالج الصور المحدودة في خريطة ضوئية بانورامية HDR كاملة. مصدر: https://arxiv.org/pdf/2011.10687.pdf

يمكن للخوارزمية تشغيل في أقل من 9 مللي ثانية على iPhone XS ، وقادرة على تقديم كائنات انعكاسية في الوقت الفعلي ، مع تقليل الخطأ الاتجاهي بنسبة 50٪ مقارنة بالمناهج السابقة والمختلفة لهذا المشكل.

مسبارات الضوء

لقد كانت بيئات الإضاءة HDR عاملاً في التأثيرات البصرية منذ أن أصبحت الصور عالية الدقة (المخترعة في عام 1986) قوة ملحوظة من خلال التقدم في تقنية الحاسوب في التسعينيات. قد لاحظ أي شخص يشاهد لقطات خلف الكواليس وجود تقنيين يحملون كرات معززة على أعواد – صور مرجعية لدمجها كعوامل بيئية عند إعادة بناء عناصر CGI للمشهد.

مصدر: https://beforesandafters.com/

然而 ، استخدام الكرات الكرومية لتعيين انعكاسات النسيج يسبق التسعينيات ، ويعود إلى ورقة SIGGRAPH 1983 البارامترات الهرمية ، التي قدمت صورًا ثابتة لرو