باحثون يستخدمون التعلم العميق لتحويل صور المعالم إلى 4D

قام باحثون في جامعة كورنيل بتطوير طريقة جديدة تستخدم التعلم العميق لتحويل صور المعالم العالمية إلى 4D. اعتمد الفريق على صور سياحية متاحة للجمهور لمعالم رئيسية مثل نافورة تريفي في روما، والنتائج هي صور ثلاثية الأبعاد يمكن تحريكها ويمكن أن تظهر التغييرات في المظهر مع مرور الوقت.

تستخدم الطريقة الجديدة آلاف الصور غير المُصنفة وغير المُؤرخة، وهي خطوة كبيرة向 الأمام للرؤية الحاسوبية.

تمت تسمية العمل بـ “Crowdsampling the Plenoptic Function“، وتم تقديمه في المؤتمر الأوروبي الافتراضي للرؤية الحاسوبية، الذي عقد بين 23-28 أغسطس.

نوح سنايلي هو أستاذ مساعد في علوم الحاسوب في كورنيل تيك وأستاذ مساعد في كلية الحاسوب والمعلومات، وهو المؤلف الرئيسي للورقة. تشمل المساهمين الآخرين طالب الدكتوراه في كورنيل郑قي لي، المؤلف الرئيسي للورقة، بالإضافة إلى أستاذ مساعد في علوم الحاسوب في كلية الحاسوب والمعلومات، وأستاذ مساعد في كورنيل تيك Wenqi Xian.

قال سنايلي: “إنها طريقة جديدة لنمذجة المشهد لا تسمح لك فقط بالتحرك ورؤية، على سبيل المثال، النافورة من زوايا مختلفة، ولكنها أيضًا توفر لك أجهزة تحكم لتغيير الوقت”.

قال سنايلي: “إذا كنت حقًا ذهبت إلى نافورة تريفي في عطلتك، فإن المظهر سوف يعتمد على الوقت الذي ذهبت فيه – في الليل، سوف تكون مضاءة بأضواء الفيضانات من الأسفل. في بعد الظهر، سوف تكون مضاءة بالشمس، إلا إذا كنت ذهبت في يوم غائم”.

قيود الرؤية الحاسوبية التقليدية

نظرًا لوجود العديد من النصوص المختلفة التي يجب إعادة إنتاجها، فإن من الصعب على الرؤية الحاسوبية التقليدية تمثيل الأماكن بدقة من خلال الصور.

قال سنايلي: “العالم الحقيقي متنوع جدًا في مظهره وله أنواع مختلفة من المواد – أشياء لامعة، ماء، هياكل رقيقة”.

إضافة إلى هذه العوائق، فإن الرؤية الحاسوبية التقليدية تكافح أيضًا مع البيانات غير المتسقة. الوظيفة البصرية هي كيف يظهر شيء من كل زاوية ممكنة في الفضاء والزمن، ولكن من أجل إعادة إنتاج ذلك، يتم الحاجة إلى مئات من الكاميرات الويب في المشهد. لا يتم ذلك فقط، ولكنها أيضًا يجب أن تكون مسجلة طوال اليوم والليلة. يمكن القيام بذلك، ولكنها مهمة ثقيلة جدًا من حيث الموارد عند النظر إلى عدد المشاهد التي تتطلب هذه الطريقة.

التعلم من الصور الأخرى

为了绕过这一点，研究人员开发了新的方法。

سنايلي قال: “قد لا يكون هناك صورة تم التقاطها في الساعة 4 مساءً من هذا المنظور بالضبط في مجموعة البيانات. لذلك، نحن بحاجة إلى التعلم من صورة تم التقاطها في الساعة 9 مساءً من موقع ما، وصورة تم التقاطها في الساعة 4:03 من موقع آخر”.

قدم الباحثون تمثيلًا جديدًا للمشهد يسمى Deep Multiplane Images لتحقيق التأثيرات ثلاثية الأبعاد في المشاهد الحقيقية.

قال سنايلي: “نحن نستخدم نفس الفكرة التي تم اختراعها لإنشاء تأثيرات ثلاثية الأبعاد في الرسوم المتحركة ثنائية الأبعاد لإنشاء تأثيرات ثلاثية الأبعاد في المشاهد الحقيقية، لإنشاء هذه الصورة متعددة الطبقات العميقة من خلال تطبيقها على جميع هذه القياسات المتنوعة من صور السياح”.

أظهرت الدراسة أن النموذج المدرب يمكن أن يخلق مشهدًا باستخدام 50,000 صورة متاحة للجمهور من مواقع مختلفة. يعتقد الفريق أن لها آثارًا في العديد من المجالات، بما في ذلك أبحاث الرؤية الحاسوبية والسياحة الافتراضية.

قال سنايلي: “يمكنك الحصول على شعور بالوجود هناك حقًا”.

تceived مشروع الدعم من الرئيس التنفيذي السابق لجوجل والمنفذ إريك شmidt، وكذلك وندت شmidt.

https://www.youtube.com/watch?v=MAVFKWX8LYo&feature=emb_title