تحقق التطورات الحديثة في الإطارات التوليدية ثلاثية الأبعاد من خلال النص إلى تقدم كبير في نماذج التوليد. إنها تمهد الطريق لفرص جديدة في إنشاء أصول ثلاثية الأبعاد عبر سيناريوهات العالم الحقيقي العديدة. أصبحت الأصول الرقمية ثلاثية الأبعاد الآن تحتل مكانة لا غنى عنها في وجودنا الرقمي ، مما يسمح بتصور شامل وتفاعل مع بيئات ومعاني معقدة تعكس تجاربنا في العالم الحقيقي. يتم تطبيق هذه الإطارات التوليدية ثلاثية الأبعاد في مجالات مختلفة ، بما في ذلك الرسوم المتحركة والعمارة والألعاب والواقع المعزز والواقع الافتراضي ، وغيرها الكثير. كما أنها تستخدم على نطاق واسع في المؤتمرات عبر الإنترنت والتجارة الإلكترونية والتعليم والتسويق.

然而 ، على الرغم من وعد هذه التطورات في الإطارات التوليدية ثلاثية الأبعاد من النص ، فإن الاستخدام الواسع للتكنولوجيا ثلاثية الأبعاد يأتي مع مشكلة كبيرة. لا يزال إنشاء صور ثلاثية الأبعاد عالية الجودة ومحتوى وسائط متطلبًا وقتًا وجهدًا وموارد ومهارة كبيرة. حتى مع تلبية هذه المتطلبات ، غالبًا ما يفشل توليد النص إلى ثلاثية الأبعاد في تقديم نماذج ثلاثية الأبعاد مفصلة وعالية الجودة. هذه مشكلة في التوليد وإنشاء ثلاثية الأبعاد منخفضة الجودة أكثر انتشارًا في الإطارات التي تستخدم طريقة عينة التقطير الناتجة عن الدرجة (SDS). سوف نناقش في هذا المقال القصور الملحوظة في النماذج التي تستخدم طريقة SDS ، والتي تroduce عدم الاتساق وتناقضات في اتجاهات التحديث ، مما يؤدي إلى تأثير التمهيد الزائد على الإخراج المن.generated. سنقدم أيضًا إطار LucidDreamer ، وهو نهج جديد يستخدم طريقة مطابقة النتيجة الفاصلة (ISM) لتحقيق النتيجة المطلوبة. سنستكشف بنية النموذج وأدائه مقابل نماذج التوليد ثلاثية الأبعاد الحالية.

LucidDreamer3D : مقدمة في إنشاء ثلاثي الأبعاد باستخدام مطابقة النتيجة الفاصلة

السبب الرئيسي في أن نماذج التوليد ثلاثية الأبعاد قد أصبحت نقطة الحديث في صناعة الذكاء الاصطناعي التوليدي هو بسبب تطبيقاتها الواسعة عبر مجالات وصناعات مختلفة ، وقدرتها على إنتاج محتوى ثلاثي الأبعاد في الوقت الفعلي. نظرًا لتطبيقاتها العملية الواسعة ، قد اقترح المطورون العديد من نهجات إنشاء محتوى ثلاثي الأبعاد ، ومن بينها برامج توليد النص إلى ثلاثية الأبعاد التي تبرز لاستخدامها وصفات نصية لإنشاء نماذج ثلاثية الأبعاد خيالية. تنجز هذه البرامج ذلك من خلال استخدام نموذج انتشار صورة مسبق التدريب كصورة قوية قبل إشراف تدريب نموذج ثلاثي الأبعاد معلم ، مما يسمح بعرض صور ثلاثية الأبعاد بشكل متسق مع النص. هذه القدرة على عرض صور ثلاثية الأبعاد الثابتة تُستند إلى استخدام عينة التقطير الناتجة عن الدرجة بشكل أساسي ، وتسمح لطريقة SDS بالعمل كآلية أساسية لجلب نتائج ثنائية الأبعاد من نماذج الانتشار إلى نظرائهم ثلاثية الأبعاد ، مما يسمح بتدريب نماذج ثلاثية الأبعاد دون استخدام صور تدريبية. على الرغم من فعاليتها ، فإن نماذج الذكاء الاصطناعي التوليدية ثلاثية الأبعاد التي تستخدم طريقة SDS غالبًا ما تعاني من مشاكل التشويه والتمهيد الزائد التي تعيق التطبيقات العملية لإنشاء ثلاثية الأبعاد عالية الدقة.

لمواجهة مشاكل التمهيد الزائد ، يطبق إطار LucidDreamer نهج مطابقة النتيجة الفاصلة (ISM) ، وهو نهج جديد يستخدم آليتين فعالتين. أولًا ، يستخدم نهج ISM طريقة العكس DDIM لتخفيف تأثير التمهيد الناتج عن عدم الاتساق في الحقائق الأرضية الزائفة من خلال إنتاج مسار انتشار قابل للعكس. ثانيًا ، بدلاً من مطابقة الصور التي تم إنشاؤها بواسطة نموذج ثلاثي الأبعاد مع الحقائق الأرضية الزائفة ، يتم مطابقة نهج ISM بين خطوتين فاصلتين في مسار الانتشار ، مما يساعده على تجنب خطأ البناء العالي من خلال تجنب بناء واحد. يؤدي استخدام ISM على SDS إلى أداء مستمر عالي مع مخرجات واقعية ومفصلة.

بشكل عام ، يهدف إطار LucidDreamer إلى تقديم المساهمات التالية في الذكاء الاصطناعي التوليدي ثلاثي الأبعاد

1. يقدم تحليلًا عميقًا لطريقة SDS ، المفهوم الأساسي في برامج توليد النص إلى ثلاثية الأبعاد ، ويحدد قصورها الرئيسية من حيث الحقائق الأرضية الزائفة منخفضة الجودة ، ويقدم تفسيرًا لآثار التمهيد الزائد التي تواجهها هذه النماذج التوليدية ثلاثية الأبعاد.
2. لمواجهة القيود التي تطرحها نهج SDS ، يقدم إطار LucidDreamer مطابقة النتيجة الفاصلة ، وهي نهج جديدة تستخدم المطابقة الفاصلة والمسارات الانتشارية القابلة للعكس لتتفوق على SDS من خلال إنتاج مخرجات واقعية ومفصلة.
3. يحقق أداءً على مستوى الدولة من خلال دمج طريقة ISM مع تقطير غاوسي ثلاثي الأبعاد لتجاوز الطرق الحالية لإنشاء محتوى ثلاثي الأبعاد مع تكاليف تدريب منخفضة.

قيود SDS

كما ذكرنا سابقًا ، SDS هي واحدة من النهج الأكثر شعبية لبرامج توليد النص إلى ثلاثية الأبعاد ، وتسعى إلى العثور على أنماط للما بعد الشرطي في الفضاء اللاتنتي لنموذج DDPM. كما يعتمد نهج SDS على نموذج DDPM مسبق التدريب لتمثيل الما بعد الشرطي ، ويتطلع إلى تقطير التمثيلات ثلاثية الأبعاد للما بعد الشرطي التي تتحقق من خلال تقليل الانحراف KL التالي.

ومع ذلك ، غالبًا ما يتم تحديث اتجاهات التحديث في ظروف غير مرغوب فيها إلى تمثيلات ثلاثية الأبعاد تؤدي إلى نتائج ملساء. بالإضافة إلى ذلك ، يُلاحظ أن مكون DDPM حساس للإدخال ، وتتغير ميزات الحقائق الأرضية الزائفة بشكل كبير حتى مع تغيير طفيف في الإدخال. كما يمكن أن يضيف الارتياب في وضع الكاميرا ومكون الضوضاء في الإدخال إلى التقلبات التي لا يمكن تجنبها خلال التقطير. يؤدي تحسين الإدخال للحصول على حقائق أرضية زائفة غير متسقة إلى نتائج متوسطة في الميزات.

LucidDreamer : منهجية وآلية العمل

يتمثل إطار LucidDreamer ليس فقط في تقديم نهج ISM ، ولكن أيضًا في بناء المعرفة من إطارات أخرى ، بما في ذلك نماذج توليد النص إلى ثلاثية الأبعاد ونموذج الانتشار والممثلات ثلاثية الأبعاد القابلة للتفريق. مع ذلك ، دعونا نلقي نظرة تفصيلية على بنية وآلية إطار LucidDreamer.

مطابقة النتيجة الفاصلة أو ISM

يمكن أن يعزى مشاكل التمهيد الزائد وإنشاء صور منخفضة الجودة التي تواجهها معظم برامج توليد النص إلى ثلاثية الأبعاد إلى استخدامها لنهج SDS الذي يهدف إلى مطابقة الحقائق الأرضية الزائفة مع التمثيلات ثلاثية الأبعاد التي تتميز بالاتساق والجودة المنخفضة. لمواجهة هذه المشاكل ، يقدم إطار LucidDreamer مطابقة النتيجة الفاصلة أو ISM ، وهو نهج جديد يتكون من مرحلتين. في المرحلة الأولى ، يحصل مكون ISM على حقائق أرضية زائفة أكثر اتساقًا خلال التقطير بغض النظر عن الارتياب في وضع الكاميرا وضوضاء الإدخال. في المرحلة الثانية ، يولد الإطار حقائق أرضية زائفة ذات جودة أفضل.

محدودية أخرى importante لنهج SDS هي توليد حقائق أرضية زائفة باستخدام التنبؤ في خطوة واحدة لجميع الفواصل الزمنية ، مما يجعل من الصعب ضمان حقائق أرضية زائفة عالية الجودة. في نفس السياق ، يمكن اعتبار هدف نهج SDS هو مطابقة وجهة نظر نموذج ثلاثي الأبعاد مع الحقائق الأرضية الزائفة المقدرة بواسطة نموذج DDPM في خطوة واحدة ، على الرغم من أن عملية التقطير غالبًا ما تتجاهل جانبًا حاسمًا من مكون DDPM ، وهو إنتاج حقائق أرضية زائفة منخفضة الجودة وميزات غير متسقة خلال عملية التقطير.

بشكل عام ، يpromet مكون ISM تقديم عدة مزايا على الطرق السابقة المستخدمة في برامج توليد النص إلى ثلاثية الأبعاد. أولًا ، بفضل قدرة ISM على تقديم حقائق أرضية زائفة عالية الجودة بشكل متسق ، يمكنه إنتاج مخرجات التقطير عالية الدقة مع هياكل دقيقة وتفاصيل غنية ، مما يلغي الحاجة إلى توجيه كبير ، ويعزز مرونة إنشاء المحتوى ثلاثي الأبعاد. ثانيًا ، الانتقال من نهج SDS إلى نهج ISM يؤدي إلى زيادة هامشية في التكلفة الحاسوبية ، خاصةً لأن نهج ISM لا ي妥ّف من الكفاءة العامة ، على الرغم من أنه يتطلب تكاليف حاسوبية إضافية لعمليات DDIM.

تُظهر الصورة أعلاه آلية عمل نهج ISM ، وتقدم نظرة عامة على بنية إطار LucidDreamer. يبدأ الإطار بتهيئة التقطير الغاوسي ، أي التمثيلات ثلاثية الأبعاد ، باستخدام نموذج توليد النص إلى ثلاثي الأبعاد مسبق التدريب باستخدام سؤال. ثم يتم دمجه مع مكون DDPM مسبق التدريب لتعطيل وجهات نظر عشوائية إلى مسارات لاتنتي-latent غير مشروطة باستخدام عمليات DDIM ، ثم يتم تحديثه مع النتيجة الفاصلة. بفضل بنية الإطار ، تركز核心 تحسين مكون ISM على تحديث التمثيلات ثلاثية الأبعاد نحو حقائق أرضية زائفة عالية الجودة وميزات متسقة ، مع الحفاظ على الصداقة الحاسوبية. هذا المبدأ هو ما يسمح لنهج ISM بالتوافق مع الأهداف الأساسية لنهج SDS ، مع تحسين النهج الحالي.

الانعكاس DDIM

يهدف إطار LucidDreamer إلى إنتاج حقائق أرضية زائفة أكثر اتساقًا مع التمثيلات ثلاثية الأبعاد. لذلك ، بدلاً من إنتاج تمثيلات ثلاثية الأبعاد ، يستخدم إطار LucidDreamer نهج الانعكاس DDIM لتنبؤ الضوضاء اللاتنتي ثلاثية الأبعاد ، ويتنبأ بمسار لاتنتي-ضوضاء قابل للعكس بطريقة تكرارية. بالإضافة إلى ذلك ، بفضل قابلية عكس الانعكاس DDIM ، يمكن لإطار LucidDreamer زيادة اتساق الحقائق الأرضية الزائفة بشكل كبير لجميع الفواصل الزمنية.

خط أنابيب التوليد المتقدم

يقدم إطار LucidDreamer أيضًا خط أنابيب متقدم بالإضافة إلى ISM لاستكشاف العوامل التي تؤثر على جودة الصور الناتجة عن توليد النص إلى ثلاثية الأبعاد ، ويقدم تقطير غاوسي ثلاثي الأبعاد أو 3DGS كنموذج توليد ثلاثي الأبعاد ونموذج سحابة نقطية ثلاثية الأبعاد لتهيئة الإطار.

تقطير غاوسي ثلاثي الأبعاد

أشار العمل الحالي إلى أن زيادة حجم الدفعة وضبط دقة العرض لتدريب يحسن الجودة البصرية بشكل كبير. ومع ذلك ، فإن معظم التمثيلات ثلاثية الأبعاد القابلة للتعلم التي تم تبنيها لتوليد النص إلى ثلاثية الأبعاد هي وقتية ومستهلكة للذاكرة. من ناحية أخرى ، يوفر نهج التقطير الغاوسي ثلاثي الأبعاد نتائج فعالة في التحسين والتعرض ، مما يسمح لخط أنابيب التوليد المتقدم في إطار LucidDreamer بالوصول إلى حجم دفعة كبير وضبط دقة عالية حتى عند العمل مع موارد حاسوبية محدودة.

التهيئة

يتمثل نهج التهيئة في معظم نماذج توليد النص إلى ثلاثية الأبعاد الحالية في تهيئة التمثيلات ثلاثية الأبعاد بجيومتريات محدودة مثل الدائرة أو الصندوق أو الأسطوانة ، مما يؤدي غالبًا إلى نتائج غير مرغوب فيها على الأجسام غير متماثلة محوريا. من ناحية أخرى ، يعتمد إطار LucidDreamer على تقطير غاوسي ثلاثي الأبعاد كتمثيلات ثلاثية الأبعاد ، ويمكنه تبني نماذج توليد النقاط النصية بسهولة لإنشاء تهيئة خشنة مع إدخال إنساني. تعزز استراتيجية التهيئة في النهاية سرعة التقارب بشكل كبير.

LucidDreamer : التجارب والنتائج

توليد النص إلى ثلاثية الأبعاد

تُظهر الصورة أعلاه النتائج التي تم إنشاؤها بواسطة نموذج LucidDreamer باستخدام نهج الانتشار المستقر الأصلي ، بينما تتحدث الصورة التالية عن النتائج المولدة على نقاط التفتيش المعدلة.

كما يمكن ملاحظة أن إطار LucidDreamer قادر على توليد محتوى ثلاثي الأبعاد متسقًا باستخدام النص والإشارات الدلالية. بالإضافة إلى ذلك ، باستخدام ISM ، يولد إطار LucidDreamer صورًا معقدة وواقعية أكثر ، مع تجنب المشاكل الشائعة مثل الإشباع الزائد أو التمهيد الزائد ، ويتفوق في توليد كائنات شائعة ودعم الإبداعات الإبداعية.

العمومية ISM

为了 تقييم العمومية ISM ، يتم إجراء مقارنة بين ISM و SDS في التمثيلات الصريحة والضمنية ، وتُظهر النتائج في الصورة التالية.

المقارنة النوعية

为了 تحليل الكفاءة النوعية لإطار LucidDreamer ، يتم مقارنته مع نماذج خط الأساس الحالية ، و为了 ضمان المقارنة العادلة ، يستخدم إطار الانتشار المستقر 2.1 لالتقطير ، وتُظهر النتائج في الصورة التالية. كما يمكن ملاحظة أن الإطار ي提供 نتائج عالية الدقة ومتطابقة هندسيًا مع استهلاك موارد وأوقات أقل.

بالإضافة إلى ذلك ،为了 تقديم تقييم أكثر شمولا ، يتم إجراء دراسة مستخدم. يتم اختيار 28 سؤالاً واستخدام نهج مختلف لتوليد النص إلى ثلاثية الأبعاد على كل سؤال لإنشاء كائنات. يتم تصنيف النتائج من قبل المستخدمين على أساس درجة الاتساق مع السؤال المدخل وصدقها.

LucidDreamer : التطبيقات

بفضل أدائه الاستثنائي على مجموعة واسعة من مهام توليد النص إلى ثلاثية الأبعاد ، يمتلك إطار LucidDreamer عدة تطبيقات محتملة ، بما في ذلك توليد الأفاتار بدون إطلاق ، وتوليد النص إلى ثلاثية الأبعاد المخصص ، وتحرير 2D و 3D بدون إطلاق.

تُظهر الصورة العلوية في اليسار إمكانيات LucidDreamer في مهام تحرير 2D و 3D بدون إطلاق ، بينما تُظهر الصور السفلية في اليسار khả năng الإطار في توليد مخرجات النص إلى ثلاثية الأبعاد المخصصة مع LoRA ، وتُظهر الصورة في اليمين khả năng الإطار في توليد الأفاتار ثلاثية الأبعاد.

الأفكار النهائية

في هذه المقالة ، تحدثنا عن LucidDreamer ، وهو نهج جديد يستخدم مطابقة النتيجة الفاصلة أو ISM لتحقيق النتيجة المطلوبة ، وناقشنا بنية النموذج وأدائه مقابل نماذج التوليد ثلاثية الأبعاد الحالية. كما تحدثنا عن كيفية مواجهة إطار LucidDreamer لمشكلة التمهيد الزائد التي تواجهها نماذج التوليد ثلاثية الأبعاد الحالية ، وكيف يقدّم نهج ISM جديد لإنشاء صور ثلاثية الأبعاد عالية الدقة وأكثر واقعية. تشير النتائج والتقييم إلى فعالية إطار LucidDreamer على مجموعة واسعة من مهام توليد ثلاثية الأبعاد ، وكيف يتفوق الإطار بالفعل على نماذج التوليد ثلاثية الأبعاد الحالية. الأداء الاستثنائي للإطار يفتح الباب أمام مجموعة واسعة من التطبيقات العملية كما تمت مناقشتها.