لقد كانت نماذج الذكاء الاصطناعي التوليدية موضوعا ساخنا للنقاش داخل صناعة الذكاء الاصطناعي منذ فترة. وقد مهدت نجاحات النماذج التوليدية ثنائية الأبعاد الحديثة الطريق لطرقنا الحالية لإنشاء المحتوى المرئي. على الرغم من أن مجتمع الذكاء الاصطناعي قد حقق نجاحات ملحوظة في النماذج التوليدية ثنائية الأبعاد، فإن توليد المحتوى ثلاثي الأبعاد لا يزال تحديا كبيرا للنماذج التوليدية العميقة. وهذا особенно صحيح مع زيادة الطلب على المحتوى ثلاثي الأبعاد الذي تم إنشاؤه، مدفوعًا بمجموعة واسعة من الألعاب المرئية والتطبيقات والواقع الافتراضي وأفلام السينما. ومن الجدير بالذكر أن هناك إطارات توليدية ثلاثية الأبعاد تقدم نتائج مقبولة لمجموعة معينة من الفئات والمهام، لكنها غير قادرة على توليد كائنات ثلاثية الأبعاد بفعالية. ويمكن أن يُعزى هذا النقص إلى نقص البيانات الثلاثية الأبعاد الشاملة لتدريب الإطارات.

في هذه المقالة، سنناقش إطار DreamCraft3D، وهو نموذج هرمي لإنشاء محتوى ثلاثي الأبعاد ينتج كائنات ثلاثية الأبعاد متسقة وذات جودة عالية. يستخدم إطار DreamCraft3D صورة مرجعية ثنائية الأبعاد لتوجيه مرحلة نحت الجيومتري، مع تحسين النسيج مع التركيز على معالجة مشاكل الاتساق التي تواجهها الإطارات أو الطرق الحالية. بالإضافة إلى ذلك، يستخدم إطار DreamCraft3D نموذج التبخير التابع للعرض لتحليل العينة، مما يساهم في نحت الجيومتري التي تساهم في عرض متسق.

سنقوم بدراسة أعمق في إطار DreamCraft3D لإنشاء محتوى ثلاثي الأبعاد. بالإضافة إلى ذلك، سنستكشف مفهوم الاستفادة من نماذج Text-to-Image (T2I) المسبقة لإنشاء محتوى ثلاثي الأبعاد ونتناول كيف يهدف إطار DreamCraft3D إلى استخدام هذا النهج لإنشاء محتوى ثلاثي الأبعاد واقعي.

DreamCraft3D : مقدمة

DreamCraft3D هو خط أنابيب هرمي لإنشاء محتوى ثلاثي الأبعاد. يحاول إطار DreamCraft3D الاستفادة من إطار T2I أو Text-to-Image التوليدي الحالي لإنشاء صور ثنائية الأبعاد عالية الجودة باستخدام نص مسبق. تسمح هذه الطريقة لإطار DreamCraft3D بتعظيم قدرات نماذج التبخير ثنائية الأبعاد الحالية في تمثيل الدلالات البصرية الموضحة في نص المسبق مع الحفاظ على الحرية الإبداعية التي تقدمها هذه الإطارات التوليدية ثنائية الأبعاد. ثم يتم رفع الصورة التي تم إنشاؤها إلى ثلاثية الأبعاد بمساعدة مراحل تعزيز النسيج الجيومتري ومراحل نحت الجيومتري، وتتم تطبيق تقنيات متخصصة في كل مرحلة بمساعدة تحليل المشكلة.

فيما يتعلق بالجيومتري، يركز إطار DreamCraft3D بشكل كبير على الهيكل ثلاثي الأبعاد العالمي والاتساق المتعدد للعرض، مما يخلق فرصة للتنازلات على النسيج المفصلي في الصور. بمجرد أن يتخلص الإطار من مشاكل الجيومتري، ينتقل إلى التركيز على تحسين النسيج المتسق والواقعي من خلال تنفيذ التبخير ثلاثي الأبعاد الذي يسبق النموذج ثلاثي الأبعاد. هناك اعتبارات تصميم رئيسية للتحسينين، وهما نحت الجيومتري وزيادة النسيج.

مع كل ماذكر، يمكن وصف DreamCraft3D بأنه إطار توليدي يعتمد على خط أنابيب إنشاء محتوى ثلاثي الأبعاد هرمي لتحويل الصور ثنائية الأبعاد إلى نظيراتها ثلاثية الأبعاد مع الحفاظ على الاتساق ثلاثي الأبعاد الشامل.

استخدام نماذج T2I أو Text-to-Image المسبقة

تم تقديم فكرة استخدام نماذج T2I أو Text-to-Image المسبقة لإنشاء محتوى ثلاثي الأبعاد لأول مرة بواسطة إطار DreamFusion في عام 2022. حاول إطار DreamFusion فرض خسارة التبخير المقطر لتحسين الإطار ثلاثي الأبعاد بطريقة تتماشى مع توزيعات الصور المشروطة بالنص كما تفسرها إطار التبخير ثنائي الأبعاد الفعال. على الرغم من أن نهج DreamFusion قدم نتائج جيدة، إلا أن هناك مشكلتين رئيسيتين، وهما الضبابية والتشبع الزائد. لمواجهة هذه المشاكل، تنفذ الأعمال الحديثة استراتيجيات تحسين चरणية لتحسين خسارة التبخير ثنائي الأبعاد، مما يؤدي في النهاية إلى صور ثلاثية الأبعاد أ meilleure جودة وأكثر واقعية.

ومع ذلك، على الرغم من النجاحات الحديثة لهذه الإطارات، فإنها لا تزال غير قادرة على مطابقة قدرة النماذج التوليدية ثنائية الأبعاد على توليد محتوى معقد. بالإضافة إلى ذلك، غالبًا ما تكون هذه الإطارات مصابة ب “مشكلة جانوس”، وهي حالة حيث تظهر صور ثلاثية الأبعاد التي تظهر بمفردها أنها محتملة، تظهر عدم الاتساق في الشكل والدلالة عند فحصها ككل.

لمواجهة المشاكل التي واجهتها الأعمال السابقة، يستكشف إطار DreamCraft3D إمكانية استخدام خط أنابيب إنشاء محتوى ثلاثي الأبعاد هرمي، ويتلهم من العملية الفنية اليدوية التي يتم فيها كتابة المفاهيم أولاً في مسودة ثنائية الأبعاد، وبعد ذلك ينحت الفنان الشكل الجيومتري الخشن، ويعمل على تفاصيل الجيومتري، ويرسم نسيجًا واقعيًا. يتبع إطار DreamCraft3D نفس النهج، حيث يقسم مهمة إنشاء الصور ثلاثية الأبعاد أو المحتوى إلى مهام إدارة أكثر.

في المرحلة الأولى، ينتج إطار DreamCraft3D نحتًا جيومتريًا لإنشاء أشكال جيومترية ثلاثية الأبعاد متسقة ومحتملة باستخدام الصورة ثنائية الأبعاد كمرجع. بالإضافة إلى ذلك، لا يستخدم المرحلة فقط خسارة التبخير المقطر لخسائر الفوتومترية والمواقف الجديدة في العرض المرجعي، ولكن الإطار cũng يقدم مجموعة من الاستراتيجيات لتعزيز الاتساق الجيومتري. يهدف الإطار إلى استخدام Zero-1-to-3، وهو نموذج ترجمة الصور مشروط بالعرض، لاستخدام الصورة المرجعية لنمذجة توزيع المواقف الجديدة. بالإضافة إلى ذلك، ينتقل الإطار من تمثيل السطح الضمني إلى تمثيل الشبكة لتحسين الجيومتري الخشن إلى الدقيق.

يستخدم المرحلة الثانية من إطار DreamCraft3D نهج التبخير المسبق لتعزيز النسيج كما أن النماذج التبخير التابعة للعرض الحالية تتدرب على كمية محدودة من البيانات ثلاثية الأبعاد، وهو السبب في أنها غالبًا ما تعاني من مطابقة أداء أو واقعية نماذج التبخير ثنائية الأبعاد. بفضل هذا القصور، يضبط إطار DreamCraft3D نموذج التبخير وفقًا لصور متعددة للinstance ثلاثي الأبعاد التي يتم تحسينها، وهذا النهج يساعد الإطار في تعزيز النسيج ثلاثي الأبعاد مع الحفاظ على الاتساق المتعدد للعرض. عندما يتدرب نموذج التبخير على هذه العروض المتعددة، فإنه يوفر توجيهًا أفضل لتحسين النسيج ثلاثي الأبعاد، وهذا النهج يساعد إطار DreamCraft3D على تحقيق كمية هائلة من التفاصيل النسيجية مع الحفاظ على الاتساق المتعدد للعرض.

كما يمكن ملاحظة الصور أعلاه، فإن إطار DreamCraft3D قادر على إنتاج صور ثلاثية الأبعاد وإبداعية مع نسيج واقعي وهياكل جيومترية معقدة. في الصورة الأولى، يظهر جسم Son Goku، شخصية أنمي مختلطة مع رأس خنزير بري متجول، في حين يظهر في الصورة الثانية كلب Beagle يرتدي زي محقق. هناك أمثلة إضافية.

DreamCraft3D : كيفية العمل والهيكل

يحاول إطار DreamCraft3D الاستفادة من إطار T2I أو Text-to-Image التوليدي الحالي لإنشاء صور ثنائية الأبعاد عالية الجودة باستخدام نص مسبق. تسمح هذه الطريقة لإطار DreamCraft3D بتعظيم قدرات نماذج التبخير ثنائية الأبعاد الحالية في تمثيل الدلالات البصرية الموضحة في نص المسبق مع الحفاظ على الحرية الإبداعية التي تقدمها هذه الإطارات التوليدية ثنائية الأبعاد. ثم يتم رفع الصورة التي تم إنشاؤها إلى ثلاثية الأبعاد بمساعدة مراحل تعزيز النسيج الجيومتري ومراحل نحت الجيومتري، وتتم تطبيق تقنيات متخصصة في كل مرحلة بمساعدة تحليل المشكلة. يُظهر الصورة التالية بشكل موجز كيفية عمل إطار DreamCraft3D.

دعونا نلقي نظرة تفصيلية على اعتبارات التصميم الرئيسية لمرحلة تعزيز النسيج ومرحلة نحت الجيومتري.

نحت الجيومتري

نحت الجيومتري هو المرحلة الأولى حيث يحاول إطار DreamCraft3D إنشاء نموذج ثلاثي الأبعاد بطريقة تتماشى مع مظهر الصورة المرجعية في نفس العرض المرجعي مع ضمان أقصى قدر من الاتساق حتى في زوايا مختلفة. لضمان أقصى قدر من الاتساق، يستخدم الإطار خسارة التبخير المقطر لتشجيع عرض الصور المتسقة لكل عرض عينة فردية يمكن أن يعترف بها نموذج التبخير المسبق. بالإضافة إلى ذلك، لاستخدام توجيه الصورة المرجعية بفعالية، يعاقب الإطار على الاختلافات الفوتومترية بين الصورة المرجعية والصور المُ렌َدرة في العرض المرجعي، ويتم حساب الخسارة فقط في منطقة الخلفية للعرض. بالإضافة إلى ذلك، لتشجيع اتساق المشهد، يطبق الإطار أيضًا خسارة масك تُ렌َدر السيلهوت. ومع ذلك، لا يزال الحفاظ على المظهر والدلالة عبر العروض الخلفية بشكل متسق يبقى تحديًا، وهو السبب في أن الإطار يطبق نهجًا إضافيًا لإنشاء جيومتري مفصل ومتسقة.

التبخير ثلاثي الأبعاد المسبق

الأساليب الأمامية لتحسين ثلاثي الأبعاد باستخدام الإشراف لكل عرض فقط هي غير محددة، وهو السبب في أن إطار DreamCraft3D يستخدم Zero-1-to-3، وهو نموذج التبخير مشروط بالعرض، كنموذج التبخير المسبق. يوفر Zero-1-to-3 وعيًا بالعرض المحسن لأنها تم تدريبها على مجموعة أكبر من البيانات ثلاثية الأبعاد. بالإضافة إلى ذلك، Zero-1-to-3 هو نموذج التبخير المحدد الذي يخيل الصورة فيما يتعلق بالموضع الكاميرا مع الصورة المرجعية.

تدريب العرض التدريجي

استخلاص العروض الحرة بشكل مباشر في 360 درجة قد يؤدي إلى تشوهات جيومترية أو عدم الاتساق، مثل ساق إضافية على الكرسي، وهو حدث قد يُعزى إلى الغموض الكامن في صورة مرجعية واحدة. لمواجهة هذا العائق، يوسع إطار DreamCraft3D مناظير التدريب تدريجياً، وبعد ذلك يتم توزيع الجيومتري المثبتة جيدًا بشكل تدريجي للحصول على نتائج في 360 درجة.

التخفيض التدريجي لخطوة التبخير

يستخدم إطار DreamCraft3D استراتيجية التخفيض التدريجي لخطوة التبخير في محاولة لتحقيق تقدم التبخير ثلاثي الأبعاد الخشن إلى الدقيق. في بداية عملية التحسين، يعطي الإطار الأولوية لتجربة خطوة التبخير الأكبر، في محاولة لتوفير الهيكل العالمي. مع تقدم الإطار في عملية التدريب، يخفض نطاق العينة بشكل خطي على مدار مئات التكرارات. بفضل استراتيجية التخفيض، يتمكن الإطار من إنشاء هيكل جيومتري عالمي متسق خلال خطوات التحسين المبكرة قبل تحسين التفاصيل الهيكلية.

تحسين الهيكل المفصلي

يحسن إطار DreamCraft3D تمثيل السطح الضمني في البداية لإنشاء هيكل خشن. ثم يستخدم الإطار هذا النتيجة ويربطها بشبكة رباعية متغيرة أو DMTet لتهيئة تمثيل شبكي ثلاثي الأبعاد مخطط، الذي يفصل بين تعلم النسيج والجيومتري. عندما ينهي الإطار تحسين الهيكل، يتمكن النموذج من الحفاظ على تفاصيل التردد العالي التي تم الحصول عليها من الصورة المرجعية من خلال تحسين النسيج فقط.

تعزيز النسيج باستخدام التبخير المسبق

على الرغم من أن مرحلة نحت الجيومتري تؤكد على تعلم الجيومتري المفصلي والمتسقة، إلا أنها قد تسبب بعض التعتيم للنسيج، وهو ما قد يكون نتيجة لاعتماد الإطار على نموذج سابق ثنائي الأبعاد يعمل بدقة خشنة مع حدة محدودة مقدمة من نموذج التبخير ثلاثي الأبعاد. بالإضافة إلى ذلك، تظهر مشاكل النسيج الشائعة، بما في ذلك التشبع الزائد والتنعيم الزائد، نتيجة لتوجيه تصنيف حر بدون قيود.

يستخدم الإطار خسارة التبخير المقطر المتغيرة لتعزيز واقعية النسيج. يختار الإطار نموذج التبخير المستقر خلال هذه المرحلة للحصول على تدرجات عالية الدقة. بالإضافة إلى ذلك، يحافظ الإطار على شبكة التتراهيدرون الثابتة لتعزيز العرض الواقعي لتحسين هيكل الشبكة بشكل عام. خلال مرحلة التعلم، لا يستخدم إطار DreamCraft3D إطار Zero-1-to-3 لأن له تأثيرًا سلبيًا على جودة النسيج، ويمكن أن تؤدي هذه النسيج غير المتسقة إلى مخرجات ثلاثية الأبعاد غريبة.

التجارب والنتائج

为了 تقييم أداء إطار DreamCraft3D، يتم 비교ه مع الإطارات الحالية، وتحليل النتائج النوعية والكمية.

المقارنة مع نماذج القاعدة

为了 تقييم الأداء، يتم比較 إطار DreamCraft3D مع 5 إطارات حديثة، بما في ذلك DreamFusion و Magic3D و ProlificDreamer و Magic123 و Make-it-3D. يتكون اختبار البenchmark من 300 صورة مدخلة وهي مزيج من الصور الحقيقية والصور التي تم إنشاؤها بواسطة إطار Stable Diffusion. كل صورة في اختبار البenchmark لها نص مسبق وخرائط عمق متوقعة وماسك ألفا للخلفية. يستمد الإطار نصوص المسبقة للصور الحقيقية من إطار تعليم الصور.

التحليل النوعي

تُظهر الصورة التالية مقارنة بين إطار DreamCraft3D والإطارات الأساسية الحالية، ويمكن رؤية أن الإطارات التي تعتمد على نهج النص إلى ثلاثي الأبعاد غالبًا ما تواجه مشاكل في الاتساق المتعدد للعرض.

من ناحية، لديك إطار ProlificDreamer الذي يقدم نسيجًا واقعيًا، لكنه يفتقر إلى توليد كائن ثلاثي الأبعاد متسق. الإطارات مثل إطار Make-it-3D التي تعتمد على نهج الصورة إلى ثلاثي الأبعاد تنجح في إنشاء مناظير أمامية عالية الجودة، لكنها لا تستطيع الحفاظ على الجيومتري المثالية للصور. الصور التي تم إنشاؤها بواسطة إطار Magic123 تقدم تحسينًا جيومتريًا أفضل، لكنها تنتج نسيجًا جيومتريًا متشبعًا ومسطحًا بشكل زائد. بالمقارنة مع هذه الإطارات، يعتمد إطار DreamCraft3D على نهج التبخير المسبق، لا فقط للحفاظ على الاتساق الدلالي، ولكن أيضًا لتحسين تنوع الخيال.

التحليل الكمي

في محاولة لإنشاء صور ثلاثية الأبعاد مقنعة لا فقط تشبه الصورة المرجعية المدخلة، ولكن أيضًا تعبر عن الدلالات بشكل متسق من مختلف الزوايا، يتم比較 تقنيات إطار DreamCraft3D مع نماذج القاعدة، وتقيم العملية أربعة مقاييس: PSNR و LPIPS لقياس الإيمانية في العرض المرجعي، والمسافة السياقية لتقييم الاتساق على مستوى البكسل، و CLIP لتقدير الاتساق الدلالي. تظهر النتائج في الصورة التالية.

الختام

في هذه المقالة، قدمنا إطار DreamCraft3D، وهو خط أنابيب هرمي لإنشاء محتوى ثلاثي الأبعاد. يهدف إطار DreamCraft3D إلى الاستفادة من إطار Text-to-Image (T2I) التوليدي الحالي لإنشاء صور ثنائية الأبعاد عالية الجودة باستخدام نص مسبق. تسمح هذه الطريقة لإطار DreamCraft3D بتعظيم قدرات نماذج التبخير ثنائية الأبعاد الحالية في تمثيل الدلالات البصرية الموضحة في نص المسبق مع الحفاظ على الحرية الإبداعية التي تقدمها هذه الإطارات التوليدية ثنائية الأبعاد. ثم يتم رفع الصورة التي تم إنشاؤها إلى ثلاثية الأبعاد بمساعدة مراحل تعزيز النسيج الجيومتري ومراحل نحت الجيومتري، وتتم تطبيق تقنيات متخصصة في كل مرحلة بمساعدة تحليل المشكلة. ونتيجة لهذا النهج، يمكن لإطار DreamCraft3D إنتاج أصول ثلاثية الأبعاد عالية الواقعية ومتسقة مع نسيج مقنع، يمكن رؤيتها من زوايا متعددة.