أثبتت نماذج بناء الكائنات ثلاثية الأبعاد من منظور واحد باستخدام الشبكات العصبية القدرة على أداء مهام رائعة. وتوليد نماذج بناء الكائنات ثلاثية الأبعاد من منظور واحد يولد نموذجًا ثلاثيًا الأبعاد لأي كائن باستخدام صورة واحدة كمرجع، مما يجعله أحد المواضيع البحثية الأكثر سخونة في رؤية الكمبيوتر.

على سبيل المثال، دعونا نعتبر دراجة النار في الصورة أعلاه. يتطلب توليد هيكلها ثلاثي الأبعاد عملية معقدة تجمع بين الإشارات من الصور منخفضة المستوى مع المعلومات الدلالية عالية المستوى، ومعرفة بالترتيب الهيكلي للأجزاء.

بسبب هذه العملية المعقدة، كان بناء الكائنات ثلاثية الأبعاد من منظور واحد تحديًا رئيسيًا في رؤية الكمبيوتر. في محاولة لتعزيز كفاءة بناء الكائنات ثلاثية الأبعاد من منظور واحد، عمل المطورون على صورة بقع، وهي طريقة تهدف إلى تحقيق بناء ثلاثي الأبعاد سريع للغاية وشكل و مظهر ثلاثي الأبعاد للكائنات. في جوهره، يستخدم إطار عمل صورة بقع طريقة بقع غاوسية لتحليل التمثيلات ثلاثية الأبعاد، مستفيدًا من السرعة والجودة التي تقدمها.

في الآونة الأخيرة، تم تنفيذ طريقة بقع غاوسية من قبل العديد من نماذج بناء الكائنات ثلاثية الأبعاد متعددة المناظير لتحسين الوقت الفعلي والتماسك السريع والتدريب السريع. مع ذلك، صورة بقع هي الإطار الأول الذي يطبق طريقة بقع غاوسية لمهام بناء الكائنات ثلاثية الأبعاد من منظور واحد.

في هذا المقال، سنستكشف كيف يستخدم إطار عمل صورة بقع طريقة بقع غاوسية لتحقيق بناء ثلاثي الأبعاد سريع للغاية من خلال منظور واحد. لذا دعونا نبدأ.

صورة بقع: محاولة لتحقيق بناء ثلاثي الأبعاد سريع للغاية من خلال منظور واحد

كما ذكرنا سابقًا، صورة بقع هي نهج سريع للغاية لبناء الكائنات ثلاثية الأبعاد من منظور واحد dựa على طريقة بقع غاوسية. صورة بقع هي الإطار الأول على الإطلاق الذي يطبق طريقة بقع غاوسية لتوليد الكائنات ثلاثية الأبعاد من منظور واحد منذ أن كانت طريقة بقع غاوسية تقوي نماذج بناء الكائنات ثلاثية الأبعاد متعددة المناظير تقليديًا. ومع ذلك، ما يميز إطار عمل صورة بقع عن الأساليب السابقة هو أنه نهج قائم على التعلم، والبناء في مرحلة الاختبار يتطلب فقط تقييم/feed-forward للشبكة العصبية.

يعتمد صورة بقع بشكل أساسي على جودة تقديم وسرعة معالجة طريقة بقع غاوسية لتوليد التمثيلات ثلاثية الأبعاد. يحتوي إطار عمل صورة بقع على تصميم بسيط: يستخدم الإطار شبكة عصبية من صورة إلى صورة لتنبؤ بغاز غاوسي ثلاثي الأبعاد لكل بكسل إدخال، ويتوافق مع الصورة الإدخالية مع صورة غاز غاوسي واحدة لكل بكسل. تكون النتيجة الغازية الغاوسية على شكل صورة، تسمى صورة بقع، وتوفر أيضًا تمثيلًا بزاوية 360 درجة للصورة. يتم توضيح العملية في الصورة التالية.

على الرغم من أن العملية بسيطة وواضحة، هناك بعض التحديات الرئيسية التي تواجه إطار عمل صورة بقع عند استخدام طريقة بقع غاوسية لتوليد غاز غاوسي ثلاثي الأبعاد لتمثيلات الكائنات ثلاثية الأبعاد من منظور واحد. التحدي الرئيسي الأول هو تصميم شبكة عصبية تقبل صورة كائن كمدخلات، وتنتج خليطًا غاوسيًا يمثل جميع جوانب الصورة كخرج. لمواجهة هذا، يستفيد إطار عمل صورة بقع من حقيقة أن الخليط الغاوسي الناتج هو مجموعة أو مجموعة غير مرتبة من العناصر، ويمكن تخزينه في بنية بيانات مرتبة. وبالتالي، يستخدم الإطار صورة ثنائية الأبعاد كحاوية للغاز الغاوسي ثلاثي الأبعاد، ونتيجة لذلك، يحتوي كل بكسل في الحاوية على معلمات الغاز الغاوسي، بما في ذلك خصائصه مثل الشكل والopacity واللون.

من خلال تخزين مجموعات الغاز الغاوسي ثلاثي الأبعاد في صورة، يمكن لإطار عمل صورة بقع تقليل عقبات البناء التي تواجهها عند تعلم شبكة عصبية من صورة إلى صورة. باستخدام هذا النهج، يمكن تنفيذ عملية البناء باستخدام مشغلات ثنائية الأبعاد فقط بدلاً من الاعتماد على مشغلات ثلاثية الأبعاد. بالإضافة إلى ذلك، في إطار عمل صورة بقع، التمثيل ثلاثي الأبعاد هو خليط من الغاز الغاوسي ثلاثي الأبعاد، مما يسمح له بالاستفادة من مزايا سرعة وذاكرة تقديم طريقة بقع غاوسية التي تعزز الكفاءة في التدريب والاستدلال. بالإضافة إلى ذلك، يمكن تدريب إطار عمل صورة بقع حتى على جهاز كمبيوتر واحد على معايير الكائنات ثلاثية الأبعاد القياسية. بالإضافة إلى ذلك، يمكن توسيع إطار عمل صورة بقع ليتوافق مع عدة صور كمدخلات. يمكنه القيام بذلك عن طريق تسجيل الخلطات الغازية الفردية إلى مرجع مشترك، ثم بمزج الخلطات الغازية المتوقعة من المناظير الفردية. يضيف الإطار أيضًا طبقات انتباه متقاطع خفيفة في هيكله، مما يسمح للمناظير المختلفة بالتواصل مع بعضها البعض أثناء التنبؤ.

من وجهة نظر تجريبية، من الجدير بالذكر أن إطار عمل صورة بقع يمكن أن ينتج تمثيلًا بزاوية 360 درجة للكائن حتى لو رأى جانبًا واحدًا فقط من الكائن. ثم يخصص الإطار غازات غاوسية مختلفة في مجاورة ثنائية الأبعاد إلى أجزاء مختلفة من الكائن ثلاثي الأبعاد لترميز المعلومات بزاوية 360 درجة في الصورة ثنائية الأبعاد. بالإضافة إلى ذلك، يضبط الإطار opacity لغازات غاوسية متعددة إلى الصفر، مما يؤدي إلى تعطيلها، وبالتالي يمكن إزالتها أثناء المعالجة اللاحقة.

للمرة الأخيرة، إطار عمل صورة بقع

1. نهج جديد لتحقيق بناء الكائنات ثلاثية الأبعاد من منظور واحد من خلال نقل نهج بقع غاوسية.
2. يمتد إلى بناء الكائنات ثلاثية الأبعاد متعددة المناظير.
3. يحقق أداء بناء الكائنات ثلاثية الأبعاد مع معايير قياسية على المعايير القياسية مع سرعة و جودة استثنائية.

صورة بقع: المنهجية والهيكل

بقع غاوسية

كما ذكرنا سابقًا، بقع غاوسية هي الطريقة الرئيسية التي يطبقها إطار عمل صورة بقع لتوليد تمثيلات الكائنات ثلاثية الأبعاد من منظور واحد. بقع غاوسية هي طريقة ترسيم للصور ثلاثية الأبعاد والزمن الفعلي والتصيير للصور التي لها عدة نقاط منظر. يُشار إلى الفضاء ثلاثي الأبعاد في الصورة باسم الغاز الغاوسي، وتُستخدم تقنيات التعلم الآلي لتعلم معلمات كل غاز غاوسي. لا تتطلب بقع غاوسية التدريب أثناء التصيير، مما يسهل أوقات تصيير أسرع.

تستخدم بقع غاوسية ثلاثية الأبعاد أولاً مجموعة الصور الإدخالية لتوليد سحابة نقطية. ثم تستخدم بقع غاوسية الصور الإدخالية لتقدير المعلمات الخارجية للكاميرا مثل الميل والموقع عن طريق مطابقة البكسل بين الصور، وتستخدم هذه المعلمات بعد ذلك لحساب سحابة النقاط. ثم تُحسّن بقع غاوسية أربعة معلمات لكل غاز غاوسي، وهي: الموقع (أين يقع)، والتباين (مدى بسطها أو تحجيمها في مصفوفة 3×3)، واللون (ما هي مخطط الألوان RGB)، والopacity (قياس الشفافية). يعمل عملية التحسين على تصيير الصورة لكل موقع كاميرا ويتحقق منها لمعلمات أقرب إلى الصورة الأصلية. ونتيجة لذلك، فإن الناتج النهائي لبقع غاوسية ثلاثية الأبعاد هو صورة تسمى صورة بقع، وتشبه الصورة الأصلية أكثر عند موقع الكاميرا التي تم التقاطها منها.

علاوة على ذلك، توفر وظيفة الopacity ووظيفة اللون في بقع غاوسية مجالًا إشعاعيًا مع اتجاه المنظر للنقطة ثلاثية الأبعاد. يُ렌در الإطار مجال الإشعاع إلى صورة عن طريق التكامل للألوان المُلاحظة على طول الشعاع الذي يمر عبر البكسل. تمثل بقع غاوسية هذه الوظائف كخليط من الغاز الغاوسي الملون، حيث يساعد متوسط الغاز الغاوسي وتباين الغاز الغاوسي في تحديد شكله وحجمه. لكل غاز غاوسي خاصية opacity وخاصية لون تعتمد على المنظر، وتمثل معًا مجال الإشعاع.

صورة بقع

مكون المُ렌در يُmapped مجموعة الغاز الغاوسي ثلاثي الأبعاد إلى صورة. لأداء بناء الكائنات ثلاثية الأبعاد من منظور واحد، يبحث الإطار عن دالة عكسية للغاز الغاوسي ثلاثي الأبعاد التي تُبنى خليط الغاز الغاوسي ثلاثي الأبعاد من صورة. المفتاح هنا هو اقتراح تصميم فعال وبسيط للوظيفة العكسية. على سبيل المثال، لصورة إدخالية، يتنبأ الإطار بغاز غاوسي لكل بكسل فردي باستخدام هيكل شبكة عصبية من صورة إلى صورة لإنتاج صورة، وهي صورة بقع. يتنبأ الشبكة أيضًا بالشكل والopacity واللون.

الآن، قد يتساءل المرء عن كيفية قدرة إطار عمل صورة بقع على إعادة بناء التمثيل ثلاثي الأبعاد للكائن حتى لو كان لديه وصول إلى واحدة من مناظره فقط؟ في الوقت الفعلي، يتعلم إطار عمل صورة بقع استخدام بعض الغاز الغاوسي لإعادة بناء المنظر، ويستخدم الغاز الغاوسي المتبقي لإعادة بناء أجزاء الكائن غير المرئية تلقائيًا. لتحقيق أقصى كفاءة، يمكن للإطار تعطيل أي غاز غاوسي تلقائيًا عن طريق التنبؤ بمدى opacity هو صفر. إذا كان opacity هو صفر، فسيتم تعطيل الغاز الغاوسي، وسيتم إزالة هذه النقاط من التصيير في المعالجة اللاحقة.

خسارة المستوى الإدخالي

ميزة رئيسية للاستفادة من السرعة والكفاءة التي تقدمها طريقة بقع غاوسية هي أن الإطار يمكنه تصيير جميع الصور في كل تكرار، حتى ل دفعات ذات حجم معقول. بالإضافة إلى ذلك، يُشير إلى أن الإطار ليس فقط قادرًا على استخدام الخسائر القابلة للتفكيك، بل يمكنه أيضًا استخدام خسائر المستوى الإدخالي التي لا تفكك إلى خسائر لكل بكسل.

تطبيع الحجم

من الصعب تقدير حجم الكائن بالنظر إلى منظور واحد، وهو تحدي في حل هذا الغموض عند تدريبه بخسارة. لم يتم ملاحظة نفس القضية في مجموعات البيانات الاصطناعية لأن جميع الكائنات يتم عرضها بخصائص كاميرا متطابقة، والكائنات تكون على مسافة ثابتة من الكاميرا، مما يساعد في حل الغموض. ومع ذلك، في مجموعات البيانات الحقيقية، يكون الغموض واضحًا، ويستخدم إطار عمل صورة بقع عدة طرق مسبقة لتحديد حجم جميع الكائنات تقريبًا.

لون تعتمد على المنظر

لتمثيل الألوان التابعة للمنظر، يستخدم إطار عمل صورة بقع الترميز الكروي لتعميم الألوان ما وراء نموذج اللون اللامبرتي.对于 كل غاز غاوسي، يحدد النموذج معاملات يتنبأ بها الشبكة وترميز الترميز الكروي. يُحول تغيير المنظر اتجاهًا للرؤية في مصدر الكاميرا إلى اتجاه رؤية tương ứng في إطار المرجعية. ثم يجد النموذج المعاملات التương應 لتحويل دالة اللون.

هيكل الشبكة العصبية

معظم هيكل الشبكة العصبية التي تُmapped الإدخال إلى خليط الغاز الغاوسي متطابق مع العملية المستخدمة في إطار SongUNet. يتم استبدال الطبقة الأخيرة في الهيكل بطبقة convolutional 1×1 مع تحديد عرض القنوات الإخراجية بواسطة نموذج اللون. بالنظر إلى الصورة الإدخالية، ينتج الشبكة متجه قناة إخراج كإخراج، ولكل قناة بكسل، يُرمز المعلمات التي يتم تحويلها بعد ذلك إلى offset و opacity و rotation و depth و color. ثم يستخدم الإطار وظائف غير خطية لتنشيط المعلمات والحصول على معلمات الغاز الغاوسي.

لإعادة بناء التمثيلات ثلاثية الأبعاد متعددة المناظير، يطبق إطار عمل صورة بقع نفس الشبكة على كل منظر إدخال، ثم يستخدم نهج المنظر لدمج الإعادة البناء الفردية. بالإضافة إلى ذلك، لتمكين التنسيق والتبادل الفعال للمعلومات بين المناظير في الشبكة، يقوم إطار عمل صورة بقع بتعديلين في الشبكة. أولاً، يُشروط النموذج بمنظره الكاميرا، ويمرر متجهات عن طريق ترميز كل إدخال باستخدام تضمين موقع سينوسي، مما يؤدي إلى أبعاد متعددة. ثانيًا، يضيف الإطار طبقات انتباه متقاطع لتمكين التواصل بين ميزات المناظير المختلفة.

صورة بقع: التجارب والنتائج

يقيّم إطار عمل صورة بقع جودة إعادة البناء الخاصة به عن طريق تقييم جودة合成 المنظر الجديد، حيث يستخدم المنظر المصدر ويرسم الشكل ثلاثي الأبعاد إلى مناظير غير مرئية لإعادة البناء. يقيم الإطار أداءه عن طريق قياس معايير SSIM أو التشابه الهيكلي، وبيك سيجنال تو نويز راشيو أو PSNR، و LPIPS أو جودة الإدراك.

أداء إعادة بناء الكائنات ثلاثية الأبعاد من منظور واحد

تُظهر الجدول التالي أداء نموذج صورة بقع في مهمة إعادة بناء الكائنات ثلاثية الأبعاد من منظور واحد على معيار ShapeNet.

كما يمكن ملاحظة، يتفوق إطار عمل صورة بقع على جميع الأساليب الحتمية في جميع التمثيلات ثلاثية الأبعاد من منظور واحد. يشير ذلك إلى أن نموذج صورة بقع يولّد صورًا بإعادة بناء أكثر حدة.

تُظهر الصورة التالية القوة النوعية لإطار عمل صورة بقع، ويمكن رؤية أن النموذج يولّد إعادة بناء بجيوميتريات رقيقة ومثيرة للاهتمام، ويلتقط تفاصيل مناظير الشرط.

تُظهر الصورة التالية أن إعادة البناء التي يولدها إطار عمل صورة بقع ليس فقط أكثر حدة ولكن أيضًا أكثر دقة من النماذج السابقة، خاصة في الظروف غير التقليدية مع هياكل رقيقة وvisibility محدودة.

إعادة بناء الكائنات ثلاثية الأبعاد متعددة المناظير

للتقييم من قدرة إعادة بناء الكائنات ثلاثية الأبعاد متعددة المناظير، تم تدريب إطار عمل صورة بقع على مجموعة بيانات SpaneNet-SRN Cars للتنبؤ بمنظارين. تستخدم الأساليب الحالية حالة كاميرا مطلقة لتحديد موقع المنظر لتحديد المنظر، مما يعني أن النموذج يتعلم الاعتماد بشكل أساسي على التوجيه الكانوني للكائن. على الرغم من أن هذا يعمل، إلا أنه يقيد تطبيق النماذج لأن المنظر الكاميرا المطلق غالبًا ما يكون غير معروف لصورة جديدة للكائن.

أفكار نهائية

في هذا المقال، تحدثنا عن صورة بقع، وهي طريقة تهدف إلى تحقيق بناء ثلاثي الأبعاد سريع للغاية وشكل و مظهر ثلاثي الأبعاد للكائنات. في جوهره، يستخدم إطار عمل صورة بقع طريقة بقع غاوسية لتحليل التمثيلات ثلاثية الأبعاد، مستفيدًا من السرعة والجودة التي تقدمها. يعالج إطار عمل صورة بقع الصور باستخدام هيكل شبكة عصبية من صورة إلى صورة لتنبؤ بصور وهمية تحتوي على غاز غاوسي ملون لكل بكسل. باستخدام طريقة بقع غاوسية، يمكن لإطار عمل صورة بقع الجمع بين التصيير السريع والاستدلال السريع، مما يؤدي إلى تدريب سريع وتقييم أسرع على معايير حقيقية واصطناعية.