ความก้าวหน้าล่าสุดในด้านการสร้าง 3D จากข้อความโดยใช้ AI มีความสำคัญอย่างมากต่อการสร้างแบบจำลองที่มีคุณภาพสูง นอกจากนี้ยังเปิดโอกาสใหม่ๆ ในการสร้างทรัพยากร 3D ในหลายๆ สถานการณ์ ทรัพยากร 3D ในรูปแบบดิจิทัลมีบทบาทสำคัญในการแสดงภาพและโต้ตอบกับสภาพแวดล้อมและวัตถุที่ซับซ้อน ซึ่งสะท้อนถึงประสบการณ์ในชีวิตจริง การใช้ AI ในการสร้าง 3D นี้ใช้กันอย่างแพร่หลายในหลายๆ ด้าน เช่น การสร้างแอนิเมชั่น สถาปัตยกรรม การเล่นเกม ความเป็นจริงเสมือน และอื่นๆ นอกจากนี้ยังใช้กันอย่างกว้างขวางในการประชุมออนไลน์ การค้าปลีก การศึกษา และการตลาด

อย่างไรก็ตาม แม้ว่าการสร้าง 3D จากข้อความจะมีความก้าวหน้า แต่ก็มีปัญหาใหญ่ในการสร้างภาพและเนื้อหาสื่อ 3D ที่มีคุณภาพสูง ซึ่งต้องใช้เวลา ความพยายาม ทรัพยากร และความเชี่ยวชาญที่สำคัญ แม้ว่าจะมีการปฏิบัติตามข้อกำหนดเหล่านี้ แต่การสร้าง 3D จากข้อความมักจะล้มเหลวในการสร้างแบบจำลอง 3D ที่มีรายละเอียดและคุณภาพสูง ปัญหานี้เกิดขึ้นบ่อยในเฟรมเวิร์กที่ใช้วิธีการ Score Distillation Sampling (SDS) ในบทความนี้จะพูดถึงข้อบกพร่องที่เห็นได้ชัดเจนในแบบจำลองที่ใช้วิธีการ SDS และจะแนะนำเฟรมเวิร์ก LucidDreamer ซึ่งเป็นวิธีการใหม่ที่ใช้ Interval Score Matching (ISM) เพื่อแก้ไขปัญหาเรื่องการสร้างภาพที่ไม่ชัดเจน

LucidDreamer3D : การสร้าง 3D โดยใช้ Interval Score Matching

สาเหตุหลักที่ทำให้การสร้าง 3D จากข้อความเป็นจุดสนใจของอุตสาหกรรม AI คือการประยุกต์ใช้ในหลายๆ ด้านและอุตสาหกรรม และความสามารถในการสร้างเนื้อหาสื่อ 3D ในเวลาจริง เนื่องจากมีการใช้งานที่หลากหลาย นักพัฒนาจึงได้เสนอแนวทางในการสร้างเนื้อหาสื่อ 3D มากมาย โดยเฉพาะอย่างยิ่งการสร้าง 3D จากข้อความที่สามารถใช้เพียงข้อความเพื่อสร้างแบบจำลอง 3D ที่มีลักษณะเฉพาะตัว

การสร้าง 3D จากข้อความสามารถทำได้โดยใช้แบบจำลองการแพร่กระจายภาพที่ได้รับการฝึกฝนล่วงหน้าเพื่อสร้างภาพที่แข็งแกร่งก่อนที่จะดูแลการฝึกอบรมของแบบจำลอง 3D ที่มีพารามิเตอร์ทางประสาท ซึ่งช่วยให้สามารถสร้างภาพ 3D ที่สอดคล้องกับข้อความได้อย่างต่อเนื่อง ความสามารถในการสร้างภาพ 3D ที่สอดคล้องกันนี้มีฐานมาจาก việcใช้ Score Distillation Sampling (SDS) ซึ่งเป็นกลไกหลักที่ทำให้สามารถนำผลลัพธ์ 2D จากแบบจำลองการแพร่กระจายมาใช้ในการสร้างแบบจำลอง 3D ได้

โดยรวมแล้ว เฟรมเวิร์ก LucidDreamer มีเป้าหมายในการสร้างสรรค์หลายๆ ด้านในด้าน AI การสร้าง 3D

1. ให้การวิเคราะห์ที่ลึกซึ้งเกี่ยวกับ SDS ซึ่งเป็นแนวคิดพื้นฐานในการสร้าง 3D จากข้อความ และระบุข้อจำกัดหลักของ SDS เช่น การสร้างภาพที่มีคุณภาพต่ำและผลลัพธ์ที่ไม่สอดคล้องกัน ซึ่งนำไปสู่ผลลัพธ์ที่มีการทำให้ภาพ模糊เกินไป
2. เพื่อตอบโต้ข้อจำกัดของวิธีการ SDS เฟรมเวิร์ก LucidDreamer นำเสนอ Interval Score Matching (ISM) ซึ่งเป็นวิธีการใหม่ที่ใช้การแมทชิ่งแบบช่วงเวลาและเส้นทางการแพร่กระจายที่สามารถกลับด้านได้เพื่อสร้างผลลัพธ์ที่มีคุณภาพสูงและรายละเอียดมากกว่า
3. การบรรลุผลลัพธ์ที่ดีที่สุดในระดับเดียวกันโดยการรวม ISM กับ 3D Gaussian Splatting เพื่อสร้างเนื้อหาสื่อ 3D ที่มีคุณภาพสูงกว่าวิธีการที่มีอยู่ โดยมีค่าใช้จ่ายในการฝึกอบรมที่ต่ำ

ข้อจำกัดของ SDS

ตามที่กล่าวไว้ก่อนหน้านี้ SDS เป็นวิธีการที่ได้รับความนิยมในการสร้าง 3D จากข้อความ และมีเป้าหมายในการหาทิศทางของการสร้างแบบจำลองในพื้นที่ 潜伏ของ DDPM นอกจากนี้ SDS ยังใช้แบบจำลอง DDPM ที่ได้รับการฝึกฝนล่วงหน้าเพื่อสร้างแบบจำลองหลังที่มีเงื่อนไข และมีเป้าหมายในการทำให้แบบจำลอง 3D สอดคล้องกับภาพที่มีเงื่อนไขโดยการลดความแตกต่างของ KL

อย่างไรก็ตาม การอัปเดตทิศทางภายใต้สภาพแวดล้อมที่ไม่เหมาะสมอาจนำไปสู่ผลลัพธ์ที่มีการทำให้ภาพ模糊เกินไป นอกจากนี้ ควรทราบว่าส่วนประกอบ DDPM มีความไวต่ออินพุต และคุณลักษณะของภาพที่มีเงื่อนไขจะเปลี่ยนแปลงอย่างมากแม้เพียงการเปลี่ยนแปลงเล็กน้อยของอินพุต

LucidDreamer : วิธีการและหลักการทำงาน

เฟรมเวิร์ก LucidDreamer นำเสนอวิธีการ ISM แต่ยังสร้างขึ้นจากความรู้ที่ได้รับจากเฟรมเวิร์กอื่นๆ รวมถึงแบบจำลองการสร้าง 3D จากข้อความ แบบจำลองการแพร่กระจาย และเฟรมเวิร์กการแสดงผล 3D ที่แตกต่างได้

Interval Score Matching หรือ ISM

ปัญหาเรื่องการทำให้ภาพ模糊เกินไปและคุณภาพต่ำที่พบในหลายๆ วิธีการสร้าง 3D จากข้อความสามารถอธิบายได้ว่าเป็นผลมาจากการใช้วิธีการ SDS ซึ่งมีเป้าหมายในการแมทชิ่งภาพที่มีเงื่อนไขกับแบบจำลอง 3D ที่ไม่สอดคล้องกันและอาจมีคุณภาพต่ำ

เพื่อตอบโต้ปัญหาเหล่านี้ เฟรมเวิร์ก LucidDreamer นำเสนอ ISM หรือ Interval Score Matching ซึ่งเป็นวิธีการใหม่ที่มีสองขั้นตอน ในขั้นตอนแรก ส่วนประกอบ ISM จะได้รับภาพที่มีเงื่อนไขที่สอดคล้องกันระหว่างการกลั่นกรอง โดยไม่คำนึงถึงความสุ่มของการวางตำแหน่งกล้องและเสียงรบกวน

DDIM Inversion

เฟรมเวิร์ก LucidDreamer มีเป้าหมายในการสร้างภาพที่มีเงื่อนไขที่สอดคล้องกับแบบจำลอง 3D ดังนั้น แทนที่จะสร้างแบบจำลอง 3D ส่วนประกอบ LucidDreamer จะใช้วิธีการ DDIM Inversion เพื่อคาดการณ์เส้นทางการแพร่กระจายที่กลับด้านได้

Advanced Generation Pipeline

เฟรมเวิร์ก LucidDreamer ยังนำเสนอการสร้างแบบจำลองที่ทันสมัยเพื่อสำรวจปัจจัยที่มีผลต่อคุณภาพการแสดงภาพของการสร้าง 3D จากข้อความ

3D Gaussian Splatting

งานวิจัยที่ผ่านมาบ่งชี้ว่าการเพิ่มขนาดแบตช์และความละเอียดในการเรนเดอร์สำหรับการฝึกอบรมสามารถปรับปรุงคุณภาพการแสดงภาพได้อย่างมาก

LucidDreamer : การทดลองและผลลัพธ์

การสร้าง 3D จากข้อความ

รูปด้านบนแสดงผลลัพธ์ที่สร้างโดยแบบจำลอง LucidDreamer โดยใช้วิธีการการแพร่กระจายที่มั่นคง

ISM Generalizability

เพื่อประเมินความสามารถในการสร้างแบบจำลองของ ISM ได้ทำการเปรียบเทียบระหว่าง ISM และ SDS ในทั้งการแสดงผลแบบชัดเจนและไม่ชัดเจน

การเปรียบเทียบคุณภาพ

เพื่อวิเคราะห์ประสิทธิภาพเชิงคุณภาพของเฟรมเวิร์ก LucidDreamer ได้ทำการเปรียบเทียบกับแบบจำลองที่มีคุณภาพสูงสุดในปัจจุบัน

LucidDreamer : การประยุกต์ใช้

เนื่องจากประสิทธิภาพที่ดีเยี่ยมในการสร้าง 3D จากข้อความ เฟรมเวิร์ก LucidDreamer จึงมีการประยุกต์ใช้หลายๆ ด้าน เช่น การสร้างอวตารแบบ Zero-shot การสร้าง 3D จากข้อความที่มีลักษณะเฉพาะตัว และการแก้ไข 2D และ 3D แบบ Zero-shot

ข้อสรุป

ในบทความนี้ เราได้พูดถึง LucidDreamer ซึ่งเป็นวิธีการใหม่ที่ใช้ Interval Score Matching เพื่อแก้ไขปัญหาเรื่องการทำให้ภาพ模糊เกินไป และได้พูดถึงสถาปัตยกรรมและประสิทธิภาพของแบบจำลองนี้เมื่อเทียบกับแบบจำลองการสร้าง 3D จากข้อความที่มีคุณภาพสูงสุดในปัจจุบัน