أدى ظهور نماذج الذكاء الاصطناعي التوليدية العميقة إلى تسريع كبير في تطوير الذكاء الاصطناعي مع قدرات ملحوظة في توليد اللغة الطبيعية وإنشاء الصور وتوليد الصوت. وقد قامت نماذج التوليد ثلاثية الأبعاد بتحويل العديد من الصناعات والتطبيقات، مما أدى إلى ثورة في المشهد الحالي لإنتاج ثلاثي الأبعاد. ومع ذلك، فإن العديد من نماذج الذكاء الاصطناعي التوليدية الحالية تواجه عقبة مشتركة: وهي وجود أسلاك معقدة وشبكات توليد النصوص التي غالباً ما تكون غير متوافقة مع خطوط الأنابيب التقليدية لل렌دينج مثل PBR (ال렌دينج المبني على الفيزياء). وتتميز نماذج التبديد، التي تنتج أصول ثلاثية الأبعاد بدون نصوص إضاءة، بقدرات ملحوظة لتوليد أصول ثلاثية الأبعاد متنوعة، مما يعزز الإطارات الحالية ثلاثية الأبعاد عبر صناعات مثل صناعة الأفلام وألعاب الفيديو والواقع المعزز/الواقع الافتراضي.

في هذه المقالة، سنناقش Paint3D، وهو إطار جديد من نوع الخشن إلى الدقيق قادر على إنتاج خرائط نصوص عالية الدقة وغنية بالتفاصيل لشبكات ثلاثية الأبعاد غير منسقة، مشروطةً على مدخلات بصرية أو نصية. وتتمثل التحدي الرئيسي الذي يعالجه Paint3D في توليد نصوص عالية الجودة بدون معلومات الإضاءة، مما يسمح للمستخدمين بإعادة تحرير أو إعادة إضاءة داخل خطوط الأنابيب الرسومية الحديثة. ولتلبية هذا التحدي، يستخدم إطار Paint3D نموذج تبديد二دي مقدم لتنفيذ اندماج نصوص متعددة الآراء وتوليد صور مشروطة بالمنظر، مما ينتج في البداية خريطة نصوص خشنة.

ومع ذلك، نظراً لأن نماذج 2D لا يمكنها إيقاف تأثيرات الإضاءة完全 أو تمثيل الأشكال ثلاثية الأبعاد، قد تظهر خريطة النص مع شذوذ الإضاءة ومناطق غير مكتملة. وفي المرحلة الثانية، يركز النموذج على توليد نصوص خالية من الإضاءة من خلال تنفيذ نهج مستخدم في نماذج التبديد المتخصصة في إزالة تأثيرات الإضاءة وتهذيب المناطق غير المكتملة الحساسة للشكل.

خلال عملية التهذيب، يستخدم إطار Paint3D معلومات الموقع من محددات التشفير والمشفرات الأخرى لتنفيذ مهام التهذيب في فضاء UV، مع تقديم قدرات UVHD (UV عالية الدقة) وUV للرسم. وتعزز UVHD الجاذبية البصرية والجمال، باستخدام مشفر تعزيز الصور ومشفر الموقع مع نموذج التبديد. ويعمل UV للرسم على ملء ثغرات النص، وتجنب مشاكل التخفي الذاتي الناجمة عن عمليات الرسومات.

من خلال دمج هذه طرق التهذيب، ينتج إطار Paint3D خرائط نصوص كاملة وغنية بالتفاصيل وعالية الدقة وخالية من الإضاءة، مما يجعله حلًا قويًا لتنسيق الأجسام ثلاثية الأبعاد.

Paint3D: مقدمة

أظهرت نماذج الذكاء الاصطناعي التوليدية العميقة قدرات استثنائية في توليد اللغة الطبيعية وإنشاء الصور وتوليد الصوت، وتم تطبيقها في التطبيقات الواقعية، مما أدى إلى ثورة في صناعة توليد ثلاثي الأبعاد. ومع ذلك، على الرغم من قدراتها الملحوظة، فإن إطارات الذكاء الاصطناعي التوليدية الحديثة غالباً ما تنتج شبكات مع أسلاك معقدة وخرائط إضاءة غير منسقة غير متوافقة مع خطوط الأنابيب الرسومية التقليدية، بما في ذلك الرسومات المبنية على الفيزياء (PBR). وبالمثل، فإن توليد النصوص قد تقدم بشكل كبير، خاصة مع استخدام نماذج التبديد 2D. وتستخدم هذه النماذج نموذج تبديد عمق-صورة مقدم وشرط نصي لتوليد نصوص عالية الجودة.

ومع ذلك، لا يزال هناك تحدي كبير: يمكن أن تؤثر النصوص المسبقة بالإضاءة بشكل سلبي على عمليات العرض النهائية للبيئة ثلاثية الأبعاد، مما يؤدي إلى أخطاء إضاءة عند تعديل الإضاءة داخل سير العمل الشائع، كما هو موضح في الصورة التالية.

كما هو موضح، تعمل خرائط النصوص بدون إضاءة مسبقة بشكل سلس مع خطوط الأنابيب الرسومية التقليدية، مما يوفر نتائج دقيقة. في المقابل، تحتوي خرائط النصوص المسبقة بالإضاءة على ظلال غير مناسبة عند تطبيق إعادة الإضاءة.

منهجية وعمارة Paint3D

يتمثل إطار Paint3D في توليد وتهذيب خرائط النصوص بشكل تدريجي لإنشاء نصوص متنوعة وعالية الجودة لنمذجة ثلاثية الأبعاد باستخدام مدخلات مشروطة مثل الصور والنصوص، كما هو موضح في الصورة التالية.

المرحلة 1: توليد النص الخشن التدريجي

في مرحلة توليد النص الخشن، يستخدم إطار Paint3D نموذج تبديد صورة 2D مقدم لتحديث صور متعددة الآراء، والتي يتم إسقاطها على سطح الشبكة لإنشاء خرائط النص الأولية.

تبدأ هذه المرحلة بإنشاء خريطة عمق من عدة مناظير الكاميرا. يستخدم النموذج شروط العمق لتحديث الصور من نموذج التبديد، والتي يتم إسقاطها على سطح الشبكة ثلاثية الأبعاد. يعزز هذا النهج البديل للرسم والتحديث والإسقاط من توافق خرائط النصوص وتساعد على توليد خريطة النص تدريجياً.

المرحلة 2: تهذيب النص في فضاء UV

على الرغم من توليد خرائط النص الخشن المنطقية، تظهر تحديات مثل ثغرات النص الناجمة عن عمليات الرسومات وأثر الإضاءة من نماذج التبديد 2D. ولتلبية هذه التحديات، يقوم إطار Paint3D بعملية تبديد في فضاء UV بناءً على خريطة النص الخشن، مما يعزز الجاذبية البصرية ويعالج القضايا.

ومع ذلك، يمكن أن يؤدي تهذيب خريطة النص في فضاء UV إلى انقطاعات بسبب تفتيت النصوص المستمرة إلى شذوز فردية. ولتخفيف هذه القضية، يهذب إطار Paint3D خريطة النص باستخدام معلومات الموقع لشذوز النص، معاملة كل عنصر غير خلفية كإحداثي نقطة ثلاثية الأبعاد.

Paint3D: التجارب والنتائج

يستخدم نموذج Paint3D نموذج الصورة إلى النص من نموذج التبديد المستقر للمساعدة في مهام توليد النص، في حين يدير مكون المشفر الصوري شروط الصورة.

مقارنة النصوص الناتجة عن النص

للتقييم أداء Paint3D، نبدأ بتحليل توليد النص عند شرط النص، مقارنةً بذلك بالإطارات الرائدة مثل Text2Tex وTEXTure وLatentPaint.

كما هو موضح في الصورة التالية، يتفوق إطار Paint3D ليس فقط في توليد تفاصيل نصوص عالية الجودة ولكن أيضًا في توليد خريطة نص خالية من الإضاءة بشكل فعال.

مقارنة الصور إلى النصوص

للتقييم القدرات التوليدية لإطار Paint3D باستخدام مدخلات بصرية، نستخدم نموذج TEXTure كقاعدة المرجعية.

كما هو موضح في الصورة التالية، ينتج إطار Paint3D نصوص رائعة بشكل ملحوظ، ويحافظ على إproducedness عالية مقارنةً بالشرط الصوري.

أفكار ختامية

في هذه المقالة، ناقشنا إطار Paint3D، وهو إطار جديد من نوع الخشن إلى الدقيق قادر على إنتاج خرائط نصوص عالية الدقة وغنية بالتفاصيل لشبكات ثلاثية الأبعاد غير منسقة، مشروطةً على مدخلات بصرية أو نصية.

تتمثل الميزة الرئيسية لإطار Paint3D في أنه قادر على توليد خرائط نصوص خالية من الإضاءة عالية الدقة ومتوافقة семantically بدون شرط مدخلات الصور أو النص. وبفضل نهج الخشن إلى الدقيق، ينتج إطار Paint3D خرائط نصوص خالية من الإضاءة وغنية بالتفاصيل وعالية الدقة، ويقدم أداءً أفضل من الإطارات الرائدة الحالية.