نحو إنشاء أشخاص حقيقيين بالذكاء الاصطناعي مع تقنية Neural Lumigraph Rendering

على الرغم من موجة الاهتمام الحالية بتقنية Neural Radiance Fields (NeRF)، وهي تقنية قادرة على إنشاء بيئات و أجسام ثلاثية الأبعاد بواسطة الذكاء الاصطناعي، إلا أن هذه التقنية لا تزال تتطلب وقتًا طويلاً للتدريب، و تفتقر إلى تطبيق يمكنه إنشاء واجهات مستجيبة في الوقت الفعلي.

然而، تعاون بين بعض الأسماء المتميزة في الصناعة و الأكاديمية يقدم نظرة جديدة على هذا التحدي (المعروف بشكل عام باسم Novel View Synthesis أو NVS).

الورقة البحثية المعنية، التي تحمل عنوان Neural Lumigraph Rendering، تدعي تحقيق تحسن على الحالة الحالية بمقدار حوالي两个 ترتيب من حيث الحجم، مما يمثل خطوات عديدة نحو تقديم رسومات حاسوبية في الوقت الفعلي عبر أنابيب الذكاء الاصطناعي.

تقنية Neural Lumigraph Rendering (على اليمين) توفر دقة أفضل لتحليل التلاشي و معالجة الحجب أكثر من الطرق السابقة. مصدر.

على الرغم من أن الورقة البحثية تذكر فقط جامعة ستانفورد و شركة Raxium (التي تعمل حاليًا في وضع سرية)، إلا أن المساهمين يشملون مهندسًا رئيسيًا للتعلم الآلي في جوجل، و عالم حاسوب في أدوبي، و مديرًا تقنيًا في StoryFile (التي أصبحت حديث الأيام مؤخرًا بإنشاء نسخة ذكاء اصطناعي من ويليام شاتنر).

فيما يتعلق بالحملة الإعلامية الأخيرة لشاتنر، يبدو أن شركة StoryFile تستخدم تقنية NLR في عملية جديدة لإنشاء كيانات تفاعلية محسنة بواسطة الذكاء الاصطناعي بناءً على سمات و قصص الأفراد.

تتخيل شركة StoryFile استخدام هذه التقنية في عروض المتاحف، و القصص التفاعلية على الإنترنت، و العروض الهولوجرافية، و الواقع المعزز (AR)، و توثيق التراث – و تظهر أيضًا أنها تبحث عن تطبيقات جديدة لتقنية NLR في مقابلات التوظيف و التطبيقات العاطفية:

استخدامات مقترحة من فيديو على الإنترنت بواسطة StoryFile. مصدر: https://www.youtube.com/watch?v=2K9J6q5DqRc

التقاط الحجمي من أجل واجهات Novel View Synthesis و الفيديو

مبدأ التقاط الحجمي، عبر مجموعة من الأوراق البحثية التي تتراكم حول هذا الموضوع، هو فكرة أخذ صور ثابتة أو فيديوهات لموضوع، و استخدام التعلم الآلي لملء وجهات النظر التي لم يتم تغطيتها بواسطة مصفوفة الكاميرات الأصلية.

مصدر: https://research.fb.com/wp-content/uploads/2019/06/Neural-Volumes-Learning-Dynamic-Renderable-Volumes-from-Images.pdf

في الصورة أعلاه، التي تم أخذها من بحث جوجل في عام 2019 (انظر أدناه)، نرى المراحل الأربع للتقاط الحجمي: الكاميرات المتعددة تحصل على صور / مقاطع فيديو؛ هيكل التشفير / فك التشفير (أو هياكل أخرى) يحسب و يرتبط بالعلاقة بين وجهات النظر؛ خوارزميات المسار الحجمي تحسب وحدات الفوكسيل (أو وحدات هندسية ثلاثية الأبعاد الأخرى) لكل نقطة في الفضاء الحجمي؛ و (في معظم الأوراق الحديثة) يتم تدريب لتحقيق كيان كامل يمكن تعامله في الوقت الفعلي.

هذه المرحلة الشاملة و المليئة بالبيانات من التدريب هي التي أبقت حتى الآن تقنية Novel View Synthesis خارج نطاق التقاط أو الحصول على استجابة في الوقت الفعلي.

الواقع أن تقنية Novel View Synthesis تخلق خريطة ثلاثية الأبعاد كاملة للفضاء الحجمي، مما يجعل من السهل نسبيًا ربط هذه النقاط معًا في شبكة حاسوبية تقليدية، و بالتالي التقاط و التعبير عن كيان حاسوبي منشأ (أو أي كيان آخر ذي حدود) في الوقت الفعلي.

المناهج التي تستخدم NeRF تعتمد على سحب النقاط و خرائط العمق لتحقيق الاستدلالات بين وجهات النظر النادرة للأجهزة التي يتم التقاطها:

NeRF يمكن أن يولد عمقًا حجميًا من خلال حساب خرائط العمق، بدلاً من إنشاء شبكات حاسوبية. مصدر: https://www.youtube.com/watch?v=JuH79E8rdKc

على الرغم من أن NeRF قادر على حساب الشبكات، إلا أن معظم التطبيقات لا تستخدم هذا لإنشاء مشاهد حجمية.

من ناحية أخرى، منهج العرض المحدد التفاضلي (IDR)، الذي تم نشره بواسطة معهد وايزمان للعلوم في أكتوبر 2020، يعتمد على استغلال معلومات الشبكة ثلاثية الأبعاد التي تم إنشاؤها تلقائيًا من مصفوفات التقاط:

أمثلة على التقاط IDR الذي تم تحويله إلى شبكات حاسوبية تفاعلية. مصدر: https://www.youtube.com/watch?v=C55y7RhJ1fE

على الرغم من أن NeRF يفتقر إلى قدرة IDR على تقدير الشكل، إلا أن IDR لا يمكنه مطابقة جودة الصورة التي توفرها NeRF، و يحتاج كلاهما إلى موارد مكثفة للتدريب و الجمع (على الرغم من أن الابتكارات الحديثة في NeRF بدأت في معالجة هذا).

هيكل الكاميرا المخصصة ل NLR الذي يضم 16 كاميرا GoPro HERO7 و 6 كاميرات Back-Bone H7PRO في الوسط. لتقديم العرض في الوقت الفعلي، تعمل هذه الكاميرات بحد أدنى 60 إطارًا في الثانية. مصدر: https://arxiv.org/pdf/2103.11571.pdf

بدلاً من ذلك، تستخدم تقنية Neural Lumigraph Rendering SIREN (شبكات التمثيل السينوسي) لدمج نقاط القوة من كل منهج في إطارها الخاص، الذي يهدف إلى توليد مخرجات يمكن استخدامها مباشرة في أنابيب الرسومات في الوقت الفعلي.

تم استخدام SIREN في تطبيقات مشابهة خلال العام الماضي، و，现在 يمثل呼وًا شائعًا لنداء واجهة برمجة التطبيقات في مجتمعات合成 الصور؛ ومع ذلك، فإن ابتكار NLR هو تطبيق SIREN على إشراف الصور متعددة الوجهات ثنائية الأبعاد، وهو ما يثير مشكلة بسبب مدى تخصيص SIREN لإنشاء مخرجات أكثر من التعميم.

بعد استخراج شبكة الكمبيوتر من صور المصفوفة، يتم تحويل الشبكة إلى صورة ثنائية الأبعاد عبر OpenGL، و يتم映سخ مواضع الرأس إلى البكسل المناسب، ثم يتم حساب التلاشي للخرائط المختلفة.

الشبكة الناتجة أكثر تعميمًا و تمثيلًا من تلك التي توفرها NeRF (انظر الصورة أدناه)، و تتطلب حسابات أقل، و لا تضيف تفاصيل زائدة إلى المناطق (مثل البشرة الناعمة للوجه) التي لا يمكن أن تستفيد منها:

مصدر: https://arxiv.org/pdf/2103.11571.pdf

من الجانب السلبي، لا تملك NLR حاليًا أي قدرة على الإضاءة الديناميكية أو إعادة الإضاءة، و يتم تقييد الإخراج إلى خريطة الظلال و اعتبارات الإضاءة الأخرى التي تم الحصول عليها في وقت التقاط. يعتزم الباحثون معالجة هذا الأمر في عمل مستقبلي.

علاوة على ذلك، تسلّم الورقة البحثية أن الأشكال التي تم إنشاؤها بواسطة NLR ليست دقيقة مثل بعض المناهج البديلة، مثل اختيار وجهة النظر نقطة البكسل لاستريو متعدد غير منظم، أو البحث في معهد وايزمان المذكور أعلاه.

صعود 합성 الصور الحجمية

فكرة إنشاء كيانات ثلاثية الأبعاد من سلسلة محدودة من الصور باستخدام الشبكات العصبية تسبق NeRF، مع أوراق رؤية تعود إلى عام 2007 أو قبل ذلك. في عام 2019، أنتج قسم البحث في جوجل ورقة بحثية رائدة، Neural Volumes: Learning Dynamic Renderable Volumes from Images، التي مكنت لأول مرة من إنشاء واجهات مستجيبة لكيانات بشرية اصطناعية تم إنشاؤها بواسطة التقاط الحجمي القائم على الذكاء الاصطناعي.

أبحاث جوجل في عام 2019 مكنت من إنشاء واجهة مستخدم مستجيبة لشخصية حجمية. مصدر: https://research.fb.com/publications/neural-volumes-learning-dynamic-renderable-volumes-from-images/