โมเดล AI ที่สร้างข้อมูลใหม่ๆ ได้ถูกพูดถึงกันอย่างมากในอุตสาหกรรม AI ในช่วงไม่กี่ปีที่ผ่านมา ความสำเร็จล่าสุดของโมเดลการสร้างข้อมูล 2D ได้เปิดทางให้กับวิธีการสร้างเนื้อหาที่เราใช้ในปัจจุบัน แม้ว่าชุมชน AI จะประสบความสำเร็จอย่างมากกับโมเดลการสร้างข้อมูล 2D แต่การสร้างเนื้อหาที่มี 3 มิติยังคงเป็นความท้าทายที่สำคัญสำหรับเฟรมเวิร์กการสร้างข้อมูลที่ลึกซึ้ง นี่เป็นเรื่องที่น่าสนใจโดยเฉพาะอย่างยิ่ง เนื่องจากความต้องการเนื้อหาที่มี 3 มิติเพิ่มขึ้นอย่างมาก โดยขับเคลื่อนโดยเกมที่มีภาพที่สวยงาม อプリเคชั่น วิดีโอเสมือนจริง และแม้แต่ภาพยนตร์ สิ่งสำคัญที่ควรทราบคือ แม้ว่าจะมีเฟรมเวิร์ก AI ที่สร้างข้อมูล 3 มิติซึ่งให้ผลลัพธ์ที่ยอมรับได้ในบางหมวดหมู่และงาน แต่พวกมันก็ไม่สามารถสร้างวัตถุ 3 มิติได้อย่างมีประสิทธิภาพ ความล้มเหลวครั้งนี้สามารถอธิบายได้ว่าเนื่องจากการขาดข้อมูล 3 มิติที่กว้างขวางสำหรับการฝึกอบรมเฟรมเวิร์ก ล่าสุด ผู้พัฒนาได้เสนอแนวคิดในการใช้คำแนะนำจากโมเดลการสร้างข้อมูลจากข้อความถึงภาพที่ได้รับการฝึกอบรมล่วงหน้า ซึ่งเป็นแนวทางที่แสดงให้เห็นถึงผลลัพธ์ที่น่าหวัง

ในบทความนี้ เราจะพูดถึงเฟรมเวิร์ก DreamCraft3D ซึ่งเป็นโมเดลลำดับชั้นสำหรับการสร้างเนื้อหาที่มี 3 มิติ ซึ่งผลิตวัตถุ 3 มิติที่สอดคล้องกันและมีคุณภาพสูง เฟรมเวิร์ก DreamCraft3D ใช้ภาพอ้างอิง 2 มิติเพื่อชี้นำขั้นตอนการแกะสลักทางเรขาคณิต โดยเพิ่มเนื้อหาที่มีเนื้อหาและเน้นการแก้ไขปัญหาความสอดคล้องที่พบในเฟรมเวิร์กหรือวิธีการปัจจุบัน นอกจากนี้ เฟรมเวิร์ก DreamCraft3D ยังใช้โมเดลการกระจายที่ขึ้นอยู่กับมุมมองสำหรับการกลั่นกรองคะแนน ซึ่งช่วยในการแกะสลักทางเรขาคณิตที่ส่งผลต่อการแสดงภาพที่สอดคล้องกัน

เราจะพิจารณาเฟรมเวิร์ก DreamCraft3D สำหรับการสร้างเนื้อหาที่มี 3 มิติอย่างละเอียดมากขึ้น นอกจากนี้ เรายังจะสำรวจแนวคิดในการใช้โมเดลการสร้างข้อมูลจากข้อความถึงภาพที่ได้รับการฝึกอบรมล่วงหน้าสำหรับการสร้างเนื้อหาที่มี 3 มิติ และตรวจสอบว่าเฟรมเวิร์ก DreamCraft3D มีเป้าหมายที่จะใช้แนวทางนี้เพื่อสร้างเนื้อหาที่มี 3 มิติที่สมจริงหรือไม่

DreamCraft3D : การแนะนำ

DreamCraft3D เป็นเฟรมเวิร์กที่มีลำดับชั้นสำหรับการสร้างเนื้อหาที่มี 3 มิติ เฟรมเวิร์ก DreamCraft3D พยายามที่จะใช้เฟรมเวิร์กการสร้างข้อมูลจากข้อความถึงภาพที่มีคุณภาพสูงเพื่อสร้างภาพ 2 มิติที่มีคุณภาพสูงโดยใช้คำสั่งจากข้อความ คำสั่งนี้ช่วยให้เฟรมเวิร์ก DreamCraft3D สามารถใช้ความสามารถของโมเดลการกระจาย 2 มิติที่มีคุณภาพสูงในการแสดงถึงความหมายเชิงภาพที่อธิบายไว้ในคำสั่งจากข้อความ ในขณะเดียวกันก็รักษาความสามารถในการสร้างสรรค์ที่มีให้โดยเฟรมเวิร์กการสร้างข้อมูล 2 มิติเหล่านี้ ภาพที่สร้างขึ้นนั้นถูกยกขึ้นเป็น 3 มิติ โดยใช้เทคนิคการเพิ่มเนื้อหาทางเรขาคณิตและแกะสลักทางเรขาคณิต และใช้เทคนิคพิเศษที่แตกต่างกันในแต่ละขั้นตอน โดยมีการแบ่งปัญหาเพื่อช่วยเหลือ

สำหรับเรขาคณิต เฟรมเวิร์ก DreamCraft3D มุ่งเน้นไปที่โครงสร้าง 3 มิติทั่วไปและความสอดคล้องของมุมมองหลายมุม ซึ่งทำให้มีพื้นที่สำหรับการประนีประนอมในเรื่องเนื้อหาที่มีรายละเอียดในภาพ เมื่อเฟรมเวิร์กแก้ไขปัญหาเกี่ยวกับเรขาคณิตแล้ว ก็จะเปลี่ยนความสนใจไปที่การเพิ่มเนื้อหาที่สอดคล้องกันและสมจริงโดยการนำการกระจายที่ตระหนักถึง 3 มิติ ซึ่งเป็นการบูตสตรัปการเพิ่มเนื้อหาที่มี 3 มิติ มีแนวคิดการออกแบบที่สำคัญสองประการสำหรับการเพิ่มเนื้อหาทางเรขาคณิตและแกะสลักทางเรขาคณิต

เมื่อพิจารณาทั้งหมดแล้ว จะสามารถอธิบาย DreamCraft3D ได้ว่าเป็นเฟรมเวิร์กการสร้างข้อมูลที่ใช้ลำดับชั้นในการสร้างเนื้อหาที่มี 3 มิติ ซึ่งเปลี่ยนภาพ 2 มิติให้เป็นภาพ 3 มิติในขณะเดียวกันก็รักษาความสอดคล้องที่สมบูรณ์แบบของ 3 มิติ

การใช้โมเดลการสร้างข้อมูลจากข้อความถึงภาพที่ได้รับการฝึกอบรมล่วงหน้า

แนวคิดในการใช้โมเดลการสร้างข้อมูลจากข้อความถึงภาพที่ได้รับการฝึกอบรมล่วงหน้าสำหรับการสร้างเนื้อหาที่มี 3 มิตินั้นถูกนำเสนอโดยเฟรมเวิร์ก DreamFusion ในปี 2022 เฟรมเวิร์ก DreamFusion พยายามที่จะบังคับใช้ความสูญเสียการกลั่นกรองคะแนนเพื่อปรับเฟรมเวิร์ก 3 มิติให้เข้ากับการแสดงภาพที่มีมุมมองที่แตกต่างกัน ซึ่งถูกตีความโดยโมเดลการกระจายจากข้อความถึงภาพที่มีประสิทธิภาพ แม้ว่าแนวทางของ DreamFusion จะให้ผลลัพธ์ที่ดี แต่ก็มีปัญหาใหญ่สองประการ คือ ความ模