ความก้าวหน้าล่าสุดในกรอบงาน AI ที่สร้างข้อความเป็น 3D ถือเป็นก้าวสำคัญในแบบจำลองเชิงกำเนิด พวกเขาปูทางไปสู่ความเป็นไปได้ใหม่ๆ ในการสร้างเนื้อหา 3 มิติในสถานการณ์จริงมากมาย ปัจจุบัน สินทรัพย์ 3 มิติดิจิทัลถือเป็นตำแหน่งที่ขาดไม่ได้ในการนำเสนอทางดิจิทัลของเรา ช่วยให้เกิดการแสดงภาพและการโต้ตอบที่ครอบคลุมกับสภาพแวดล้อมและวัตถุที่ซับซ้อนซึ่งสะท้อนประสบการณ์ในโลกแห่งความเป็นจริงของเรา เฟรมเวิร์ก AI เจนเนอเรชั่น 3 มิติเหล่านี้นำไปใช้ในโดเมนต่างๆ รวมถึงแอนิเมชัน สถาปัตยกรรม เกม ความเป็นจริงเสริมและความเป็นจริงเสมือน และอื่นๆ อีกมากมาย นอกจากนี้ยังใช้กันอย่างแพร่หลายในการประชุมออนไลน์ การค้าปลีก การศึกษา และการตลาด

อย่างไรก็ตาม แม้จะมีคำมั่นสัญญาถึงความก้าวหน้าเหล่านี้ในเฟรมเวิร์กการสร้างข้อความเป็น 3D แต่การใช้เทคโนโลยี 3D อย่างแพร่หลายก็มาพร้อมกับปัญหาสำคัญ การสร้างภาพ 3 มิติคุณภาพสูงและเนื้อหาสื่อยังคงต้องใช้เวลา ความพยายาม ทรัพยากร และความเชี่ยวชาญที่มีทักษะอย่างมาก แม้ว่าจะเป็นไปตามข้อกำหนดเหล่านี้ การสร้างข้อความเป็น 3D ก็มักจะล้มเหลวในการแสดงโมเดล 3D ที่มีรายละเอียดและมีคุณภาพสูง ปัญหาการเรนเดอร์และการสร้าง 3D คุณภาพต่ำนี้พบได้ทั่วไปในเฟรมเวิร์กที่ใช้วิธี Score Distillation Sampling (SDS) บทความนี้จะกล่าวถึงข้อบกพร่องที่เห็นได้ในแบบจำลองโดยใช้วิธี SDS ซึ่งทำให้เกิดความไม่สอดคล้องกันและทิศทางการอัปเดตคุณภาพต่ำ ส่งผลให้เอาต์พุตที่สร้างขึ้นมีความราบรื่นมากเกินไป นอกจากนี้เรายังจะแนะนำกรอบงาน LucidDreamer ซึ่งเป็นแนวทางใหม่ที่ใช้วิธีการจับคู่คะแนนช่วง (ISM) เพื่อแก้ไขปัญหาที่ราบรื่นเกินไป เราจะสำรวจสถาปัตยกรรมของโมเดลและประสิทธิภาพของโมเดลเทียบกับเฟรมเวิร์กการสร้างข้อความเป็น 3D ที่ล้ำสมัย เอาล่ะ มาเริ่มกันเลย

LucidDreamer3D : ข้อมูลเบื้องต้นเกี่ยวกับการสร้าง 3 มิติโดยใช้การจับคู่คะแนนช่วงเวลา

เหตุผลสำคัญที่ทำให้โมเดลการสร้าง 3 มิติเป็นจุดพูดคุยของอุตสาหกรรม generative AI ก็เนื่องมาจากการใช้งานที่แพร่หลายในโดเมนและอุตสาหกรรมต่างๆ และความสามารถในการสร้างเนื้อหา 3 มิติแบบเรียลไทม์ เนื่องจากการใช้งานจริงที่แพร่หลาย นักพัฒนาได้เสนอแนวทางการสร้างเนื้อหา 3D มากมาย ซึ่งกรอบงานการสร้างข้อความเป็น 3D โดดเด่นจากที่อื่นเนื่องจากความสามารถในการใช้อะไรเลยนอกจากคำอธิบายข้อความเพื่อสร้างโมเดล 3D ที่สร้างสรรค์ เฟรมเวิร์กการสร้างข้อความเป็น 3D บรรลุเป้าหมายนี้โดยใช้ข้อความที่ได้รับการฝึกอบรมล่วงหน้า แบบจำลองการแพร่กระจายภาพ ให้เป็นภาพที่ชัดเจนก่อนที่จะดูแลการฝึกอบรมโมเดล 3 มิติที่มีพารามิเตอร์ทางประสาท ซึ่งช่วยให้สามารถเรนเดอร์ภาพ 3 มิติได้อย่างสม่ำเสมอและสอดคล้องกับข้อความ ความสามารถในการเรนเดอร์ภาพ 3 มิติอย่างต่อเนื่องนี้มีพื้นฐานมาจากการใช้ Score Distillation Sampling โดยพื้นฐาน และอนุญาตให้ SDS ทำหน้าที่เป็นกลไกหลักในการนำผลลัพธ์ 2 มิติจากโมเดลการแพร่กระจายมาสู่โมเดล 3 มิติ ดังนั้นจึงทำให้สามารถฝึกโมเดล 3 มิติได้โดยไม่ต้องใช้ภาพฝึก แม้จะมีประสิทธิภาพ 3D กรอบงาน AI สร้างสรรค์ การใช้วิธี SDS มักจะประสบปัญหาการบิดเบือนและการปรับให้เรียบมากเกินไป ซึ่งเป็นอุปสรรคต่อการใช้งานจริงของการสร้าง 3D ที่มีความแม่นยำสูง 

เพื่อจัดการกับปัญหาที่มากเกินไป เฟรมเวิร์ก LucidDreamer จึงนำแนวทาง ISM หรือ Interval Score Matching มาใช้ ซึ่งเป็นแนวทางใหม่ที่ใช้กลไกที่มีประสิทธิภาพสองกลไก ประการแรก วิธี ISM ใช้วิธีการผกผัน DDIM เพื่อลดผลกระทบโดยเฉลี่ยที่เกิดจากความไม่สอดคล้องกันของความจริงหลอกโดยการสร้างวิถีการแพร่กระจายแบบกลับหัวได้ ประการที่สอง แทนที่จะจับคู่ภาพที่เรนเดอร์โดยโมเดล 3 มิติกับ Ground Truth เทียม วิธี ISM จะจับคู่ภาพเหล่านั้นระหว่างสองขั้นตอนในวิถีการแพร่กระจาย ซึ่งจะช่วยหลีกเลี่ยงข้อผิดพลาดในการสร้างใหม่ที่สูงโดยหลีกเลี่ยงการสร้างใหม่เพียงขั้นตอนเดียว การใช้ ISM บน SDS ส่งผลให้มีประสิทธิภาพสูงอย่างต่อเนื่อง พร้อมเอาต์พุตที่มีรายละเอียดสมจริงและละเอียดสูง 

โดยรวมแล้ว กรอบงาน LucidDreamer มีเป้าหมายที่จะสนับสนุน AI ที่สร้าง 3 มิติดังต่อไปนี้

1. ให้การวิเคราะห์เชิงลึกของ SDS ซึ่งเป็นแนวคิดพื้นฐานในข้อความไปจนถึงเฟรมเวิร์กการสร้าง 3 มิติ และระบุข้อจำกัดที่สำคัญของ Pseudo-Ground Truth ที่มีคุณภาพต่ำ และให้คำอธิบายสำหรับเอฟเฟกต์ที่ปรับให้เรียบเกินไปที่สิ่งเหล่านี้ต้องเผชิญ เฟรมเวิร์กกำเนิด 3 มิติ. 
2. เพื่อตอบโต้ข้อจำกัดที่เกิดจากแนวทาง SDS กรอบงาน LucidDreamer ได้แนะนำ Interval Score Matching ซึ่งเป็นแนวทางใหม่ที่ใช้การจับคู่ตามช่วงเวลาและวิถีการแพร่กระจายแบบกลับด้านได้ เพื่อให้มีประสิทธิภาพเหนือกว่า SDS โดยการสร้างเอาต์พุตที่มีรายละเอียดสมจริงและมีรายละเอียดสูง 
3. บรรลุประสิทธิภาพที่ล้ำสมัยโดยการผสานรวมวิธี ISM เข้ากับ 3D Gaussian Splatting เพื่อให้เหนือกว่าวิธีการที่มีอยู่สำหรับการสร้างเนื้อหา 3D ด้วยต้นทุนการฝึกอบรมที่ต่ำ 

ข้อจำกัดด้าน SDS

ตามที่กล่าวไว้ข้างต้น SDS เป็นหนึ่งในแนวทางที่ได้รับความนิยมมากที่สุดสำหรับข้อความไปยังโมเดลการสร้าง 3 มิติ และจะค้นหาโหมดสำหรับการโพสต์แบบมีเงื่อนไขก่อนที่จะอยู่ในพื้นที่แฝงของ DDPM แนวทาง SDS ยังใช้ DDPM ที่ได้รับการฝึกมาล่วงหน้าเพื่อสร้างแบบจำลองส่วนหลังแบบมีเงื่อนไข และมีเป้าหมายที่จะกลั่นกรอง การแสดงภาพ 3 มิติ สำหรับด้านหลังแบบมีเงื่อนไขซึ่งทำได้โดยการลดความแตกต่างของ KL ต่อไปนี้ให้เหลือน้อยที่สุด นอกจากนี้ แนวทาง SDS ยังนำวัตถุประสงค์การจับคู่คะแนน denoising แบบถ่วงน้ำหนักมาใช้ซ้ำสำหรับการฝึกอบรม DDP วัตถุประสงค์หลักของแนวทาง SDS ยังสามารถมองว่าเป็นการจับคู่มุมมองของแบบจำลอง 3 มิติกับความจริงเทียมที่ DDPM ประเมินในขั้นตอนเดียว อย่างไรก็ตาม นักพัฒนาได้ตั้งข้อสังเกตว่ากระบวนการกลั่นมักจะมองข้ามประเด็นสำคัญของ DDPM และตัวเลขต่อไปนี้แสดงให้เห็นว่า DDPM ที่ได้รับการฝึกอบรมล่วงหน้ามีแนวโน้มที่จะทำนายความจริงหลอกด้วยคุณลักษณะที่ไม่สอดคล้องกัน และสร้างผลลัพธ์คุณภาพต่ำในระหว่างกระบวนการกลั่นได้อย่างไร 

อย่างไรก็ตาม การอัปเดตทิศทางภายใต้สถานการณ์ที่ไม่พึงประสงค์จะได้รับการอัปเดตเป็นการนำเสนอ 3 มิติ ซึ่งท้ายที่สุดจะนำไปสู่ผลลัพธ์ที่ราบรื่นเกินไป นอกจากนี้ เป็นที่น่าสังเกตว่าองค์ประกอบ DDPM นั้นไวต่ออินพุต และคุณสมบัติของความจริงหลอกจะเปลี่ยนแปลงอย่างมีนัยสำคัญ แม้ว่าจะมีการเปลี่ยนแปลงอินพุตเพียงเล็กน้อยก็ตาม นอกจากนี้ ความสุ่มทั้งในตำแหน่งกล้องและองค์ประกอบสัญญาณรบกวนของอินพุตอาจเพิ่มความผันผวนซึ่งหลีกเลี่ยงไม่ได้ในระหว่างการกลั่น การปรับอินพุตให้เหมาะสมสำหรับความจริงภาคพื้นดินหลอกที่ไม่สอดคล้องกันส่งผลให้เกิดผลลัพธ์ที่มีค่าเฉลี่ยที่โดดเด่น ยิ่งไปกว่านั้น วิธีการ SDS ยังได้รับความจริงหลอกด้วยการคาดการณ์ขั้นตอนเดียวสำหรับช่วงเวลาทั้งหมด และไม่คำนึงถึงข้อจำกัดของส่วนประกอบ DDPM ขั้นตอนเดียวที่ไม่สามารถสร้างผลลัพธ์คุณภาพสูงซึ่งบ่งชี้ว่า การกลั่นเนื้อหาหรือรูปภาพ 3 มิติด้วยส่วนประกอบ SDS อาจไม่ใช่แนวทางที่เหมาะสมที่สุด 

LucidDreamer: ระเบียบวิธีและการทำงาน

เฟรมเวิร์ก LucidDreamer แนะนำแนวทาง ISM แต่ยังสร้างจากการเรียนรู้จากเฟรมเวิร์กอื่นๆ รวมถึงข้อความไปจนถึงโมเดลกำเนิด 3 มิติ โมเดลการแพร่กระจาย และเฟรมเวิร์กการแสดง 3 มิติที่แตกต่าง จากที่กล่าวไปแล้ว เรามาดูรายละเอียดเกี่ยวกับสถาปัตยกรรมและวิธีการของเฟรมเวิร์ก LucidDreamer กันดีกว่า 

การจับคู่คะแนนช่วงหรือ ISM

ปัญหาเอาต์พุตที่ราบรื่นและคุณภาพต่ำที่เผชิญโดยข้อความส่วนใหญ่ไปยังเฟรมเวิร์กการสร้าง 3D อาจเกิดจากการใช้แนวทาง SDS ที่มีจุดมุ่งหมายเพื่อจับคู่ความจริงภาคพื้นดินหลอกกับการนำเสนอ 3D ที่ไม่สอดคล้องกัน และมักจะเป็นข้อความย่อย -คุณภาพเทียบเท่า เพื่อตอบโต้ปัญหาที่ SDS เผชิญ เฟรมเวิร์ก LucidDreamer ได้แนะนำ ISM หรือ Interval Score Matching ซึ่งเป็นแนวทางใหม่ที่มีขั้นตอนการทำงานสองขั้นตอน ในขั้นตอนแรก ส่วนประกอบ ISM จะได้รับความจริงเทียมที่มีความสม่ำเสมอมากขึ้นในระหว่างการกลั่น โดยไม่คำนึงถึงความสุ่มในท่าทางของกล้องและสัญญาณรบกวน ในขั้นตอนที่สอง กรอบการทำงานจะสร้างความจริงเทียมที่มีคุณภาพดีขึ้น 

ข้อจำกัดที่สำคัญอีกประการหนึ่งของ SDS คือการสร้างความจริงหลอกด้วยการทำนายขั้นตอนเดียวสำหรับช่วงเวลาทั้งหมด ซึ่งทำให้การรับประกันความจริงหลอกคุณภาพสูงเป็นเรื่องที่ท้าทาย และเป็นพื้นฐานในการปรับปรุงคุณภาพการมองเห็นของหลอกพื้นดิน ความจริง ในแง่ที่คล้ายกัน วัตถุประสงค์ SDS สามารถมองเห็นได้ว่าเป็นการจับคู่มุมมองของแบบจำลอง 3 มิติกับความจริงเทียมที่ประเมินโดย DDPM ในขั้นตอนเดียว แม้ว่ากระบวนการกลั่นจะมองข้ามแง่มุมที่สำคัญของส่วนประกอบ DDPM เช่น มันสร้างความจริงหลอกคุณภาพต่ำพร้อมคุณสมบัติที่ไม่สอดคล้องกันในระหว่างกระบวนการกลั่น 

โดยรวมแล้ว ส่วนประกอบ ISM สัญญาว่าจะมอบข้อได้เปรียบหลายประการเหนือวิธีการก่อนหน้านี้ที่ใช้ในข้อความถึงโมเดลการสร้าง 3 มิติ ประการแรก เนื่องจากความสามารถของ ISM ในการจัดหาความจริงเทียมคุณภาพสูงอย่างสม่ำเสมอ ทำให้สามารถผลิตผลลัพธ์การกลั่นที่มีความเที่ยงตรงสูงด้วยโครงสร้างที่ละเอียดยิ่งขึ้นและรายละเอียดที่สมบูรณ์ยิ่งขึ้น จึงขจัดความจำเป็นในการใช้สเกลนำทางขนาดใหญ่ และเพิ่มความยืดหยุ่นสำหรับ 3D การสร้างเนื้อหา ประการที่สอง การเปลี่ยนจากแนวทาง SDS มาเป็นแนวทาง ISM มีค่าใช้จ่ายในการคำนวณเพียงเล็กน้อย โดยเฉพาะอย่างยิ่งเนื่องจากแนวทาง ISM ไม่ได้ประนีประนอมกับประสิทธิภาพโดยรวม แม้ว่าจะต้องการต้นทุนการคำนวณเพิ่มเติมสำหรับการผกผันของ DDIM ก็ตาม 

รูปด้านบนแสดงให้เห็นถึงการทำงานของแนวทาง ISM และให้ภาพรวมของสถาปัตยกรรมของกรอบงาน LucidDreamer เฟรมเวิร์กจะเริ่มต้น Gaussian Splatting เป็นครั้งแรก เช่น การแสดงภาพ 3 มิติโดยใช้เครื่องสร้างข้อความเป็น 3 มิติที่ได้รับการฝึกล่วงหน้าโดยใช้พร้อมท์ จากนั้นจะรวมเข้ากับส่วนประกอบ DDPM 2D ที่ได้รับการฝึกล่วงหน้าเพื่อรบกวนมุมมองแบบสุ่มไปยังวิถีวิถีแฝงที่ไม่มีเงื่อนไขที่มีเสียงดังโดยใช้การกลับด้าน DDIM จากนั้นอัปเดตด้วยคะแนนช่วงเวลา ด้วยสถาปัตยกรรม แกนหลักของการปรับองค์ประกอบ ISM ให้เหมาะสมมุ่งเน้นไปที่การอัปเดตการแสดงภาพ 3 มิติไปสู่ความจริงเทียมที่มีคุณภาพสูงและมีคุณสมบัติสอดคล้องกัน แต่เป็นมิตรกับการคำนวณ หลักการนี้คือสิ่งที่ช่วยให้ ISM สอดคล้องกับวัตถุประสงค์พื้นฐานของแนวทาง SDS ในขณะเดียวกันก็ปรับปรุงวิธีการที่มีอยู่ 

การผกผัน DDIM

กรอบงาน LucidDreamer มุ่งหวังที่จะสร้างความจริงเทียมที่สอดคล้องกันมากขึ้น โดยสอดคล้องกับการแสดงภาพ 3 มิติ ดังนั้น แทนที่จะสร้างการแสดงภาพ 3 มิติ กรอบงาน LucidDreamer จึงใช้วิธีการผกผัน DDIM เพื่อคาดการณ์การแสดงภาพ 3 มิติแฝงของสัญญาณรบกวน และคาดการณ์วิถีโคจรแฝงของสัญญาณรบกวนที่กลับด้านได้ในลักษณะวนซ้ำ นอกจากนี้ เป็นเพราะความกลับด้านของการผกผันของ DDIM ทำให้เฟรมเวิร์ก LucidDreamer สามารถเพิ่มความสอดคล้องของความจริงหลอกได้อย่างมีนัยสำคัญสำหรับทุกช่วงเวลา 

ไปป์ไลน์การสร้างขั้นสูง

กรอบงาน LucidDreamer ยังแนะนำไปป์ไลน์ขั้นสูงนอกเหนือจาก ISM เพื่อสำรวจปัจจัยที่ส่งผลต่อคุณภาพของการมองเห็นของการสร้างข้อความเป็น 3D และแนะนำ 3D Gaussian Splatting หรือ 3DGS เป็นการสร้าง 3D และโมเดลการสร้างคลาวด์พอยต์ 3D สำหรับการเริ่มต้น 

การสาดแบบเกาส์เซียน 3 มิติ

ผลงานที่มีอยู่ระบุว่าการเพิ่มขนาดแบทช์และความละเอียดในการเรนเดอร์สำหรับการฝึกอบรมช่วยปรับปรุงคุณภาพของภาพได้อย่างมาก อย่างไรก็ตาม การแสดงภาพ 3 มิติที่เรียนรู้ได้ส่วนใหญ่ที่นำมาใช้สำหรับการสร้างข้อความเป็น 3 มิตินั้นต้องใช้เวลาและหน่วยความจำมาก ในทางกลับกัน วิธี 3D Gaussian Splatting ให้ผลลัพธ์ที่มีประสิทธิภาพทั้งการปรับให้เหมาะสมและการเรนเดอร์ที่ช่วยให้ Advanced Generation Pipeline ในเฟรมเวิร์ก LucidDreamer บรรลุขนาดแบทช์ขนาดใหญ่รวมถึงการเรนเดอร์ความละเอียดสูง แม้ในขณะที่ดำเนินการด้วยทรัพยากรการคำนวณที่จำกัด 

การเขียนอักษรย่อ

เฟรมเวิร์กการสร้างข้อความเป็น 3 มิติที่ทันสมัยส่วนใหญ่เริ่มต้นการนำเสนอ 3 มิติด้วยรูปทรงเรขาคณิตที่จำกัด เช่น วงกลม กล่อง หรือทรงกระบอก ซึ่งมักส่งผลให้เกิดผลลัพธ์ที่ไม่พึงประสงค์บนวัตถุสมมาตรที่ไม่ใช่แนวแกน ในทางกลับกัน เนื่องจากเฟรมเวิร์ก LucidDreamer แนะนำ 3D Gaussian Splatting เป็นการแทนค่า 3 มิติ เฟรมเวิร์กจึงสามารถนำไปใช้กับข้อความหลายตัวเพื่อชี้เฟรมเวิร์กการสร้างตามธรรมชาติเพื่อสร้างการเริ่มต้นแบบหยาบด้วยอินพุตของมนุษย์ กลยุทธ์การเริ่มต้นจะช่วยเพิ่มความเร็วการบรรจบกันอย่างมากในท้ายที่สุด 

LucidDreamer : การทดลองและผลลัพธ์

การสร้างข้อความเป็น 3D

รูปด้านบนแสดงผลลัพธ์ที่สร้างโดยโมเดล LucidDreamer ด้วยแนวทางการแพร่กระจายที่เสถียรแบบเดิม ในขณะที่รูปต่อไปนี้พูดถึงผลลัพธ์ที่สร้างขึ้นบนจุดตรวจที่ได้รับการปรับแต่งอย่างละเอียดต่างๆ 

ดังที่เห็นได้ว่าเฟรมเวิร์ก LucidDreamer สามารถสร้างเนื้อหา 3 มิติที่มีความสอดคล้องสูงโดยใช้ข้อความอินพุตและตัวชี้นำความหมาย นอกจากนี้ ด้วยการใช้ ISM กรอบงาน LucidDreamer จะสร้างภาพที่สลับซับซ้อนและสมจริงยิ่งขึ้น ในขณะเดียวกันก็หลีกเลี่ยงปัญหาทั่วไป เช่น ความอิ่มตัวของสีมากเกินไป หรือการปรับให้เรียบมากเกินไป ในขณะที่สร้างวัตถุทั่วไปได้อย่างดีเยี่ยม เช่นเดียวกับการสนับสนุนการสร้างสรรค์ที่สร้างสรรค์ 

ลักษณะทั่วไปของ ISM

ในการประเมินความสามารถทั่วไปของ ISM จะมีการเปรียบเทียบระหว่างวิธี ISM และ SDS ทั้งในรูปแบบที่ชัดเจนและโดยนัย และผลลัพธ์จะแสดงในภาพต่อไปนี้ 

การเปรียบเทียบเชิงคุณภาพ

เพื่อวิเคราะห์ประสิทธิภาพเชิงคุณภาพของเฟรมเวิร์ก LucidDreamer โดยเปรียบเทียบกับโมเดลพื้นฐาน SoTA ปัจจุบัน และเพื่อให้มั่นใจว่ามีการเปรียบเทียบที่ยุติธรรม จึงใช้เฟรมเวิร์ก Stable Diffusion 2.1 สำหรับการกลั่น และผลลัพธ์จะแสดงในภาพต่อไปนี้ ดังที่เห็นได้ว่า กรอบการทำงานนี้ให้ผลลัพธ์ที่มีความเที่ยงตรงสูงและแม่นยำทางเรขาคณิต ในขณะที่ใช้ทรัพยากรและเวลาน้อยลง 

นอกจากนี้ เพื่อให้การประเมินครอบคลุมยิ่งขึ้น นักพัฒนายังได้ดำเนินการศึกษาผู้ใช้ด้วย การประเมินจะเลือกพรอมต์ 28 รายการและใช้ข้อความที่แตกต่างกันในแนวทางการสร้าง 3 มิติในแต่ละพรอมต์เพื่อสร้างออบเจ็กต์ จากนั้นผู้ใช้จะจัดอันดับผลลัพธ์ตามระดับความสอดคล้องกับพร้อมท์อินพุต และความเที่ยงตรงของผลลัพธ์ 

LucidDreamer : แอพพลิเคชั่น

เนื่องจากประสิทธิภาพที่ยอดเยี่ยมกับข้อความที่หลากหลายไปจนถึงงานการสร้าง 3 มิติ เฟรมเวิร์ก LucidDreamer จึงมีแอปพลิเคชันที่เป็นไปได้หลายอย่าง รวมถึงการสร้างอวาตาร์ Zero-shot ข้อความส่วนบุคคลไปจนถึงการสร้าง 3 มิติ และการแก้ไข 2D และ 3D แบบ Zero-shot 

รูปภาพด้านซ้ายบนแสดงให้เห็นถึงศักยภาพของ LucidDreamer ในงานแก้ไข 2D และ 3D แบบ Zero-shot ในขณะที่รูปภาพด้านล่างซ้ายแสดงให้เห็นถึงความสามารถของเฟรมเวิร์กในการสร้างข้อความส่วนบุคคลไปยังเอาท์พุต 3D ด้วย LoRA ในขณะที่รูปภาพทางด้านขวาแสดงความสามารถของเฟรมเวิร์กในการสร้าง 3D อวตาร 

ข้อคิด

ในบทความนี้ เราได้พูดคุยเกี่ยวกับ LucidDreamer ซึ่งเป็นแนวทางใหม่ที่ใช้ Interval Score Matching หรือวิธี ISM เพื่อเอาชนะปัญหาที่ราบรื่นเกินไป และหารือเกี่ยวกับสถาปัตยกรรมแบบจำลอง และประสิทธิภาพของมันเทียบกับข้อความที่ล้ำสมัยไปจนถึงเฟรมเวิร์ก 3D generative นอกจากนี้เรายังได้พูดคุยกันเกี่ยวกับวิธีการ SDS หรือ Score Distillation Sampling ซึ่งเป็นแนวทางทั่วไปที่นำมาใช้ในข้อความที่ทันสมัยส่วนใหญ่ไปจนถึงโมเดลการสร้าง 3D มักจะส่งผลให้ภาพที่สร้างขึ้นมีความเรียบเนียนมากเกินไป และวิธีที่เฟรมเวิร์ก LucidDreamer ตอบโต้ปัญหานี้ด้วยการแนะนำ วิธีการใหม่ ISM หรือ Interval Score Matching เพื่อสร้างภาพ 3 มิติที่มีความเที่ยงตรงสูงและสมจริงยิ่งขึ้น ผลลัพธ์และการประเมินบ่งชี้ถึงประสิทธิผลของเฟรมเวิร์ก LucidDreamer ในงานการสร้าง 3D ที่หลากหลาย และวิธีที่เฟรมเวิร์กทำงานได้ดีกว่าโมเดลกำเนิด 3D ที่ทันสมัยในปัจจุบัน ประสิทธิภาพที่ยอดเยี่ยมของเฟรมเวิร์กทำให้เกิดการใช้งานจริงที่หลากหลายตามที่ได้กล่าวไว้แล้ว