การเกิดขึ้นของโมเดล AI ที่สร้างข้อมูลที่มีคุณภาพสูงได้เร่งพัฒนาการสร้าง AI ที่มีความสามารถที่น่าประทับใจในการสร้างข้อมูลภาษาธรรมชาติ การสร้าง 3D การสร้างภาพ และการสังเคราะห์เสียง อย่างไรก็ตาม โมเดล AI ที่มีคุณภาพสูงหลายรูปแบบพบกับอุปสรรคทั่วไป คือ การสร้างเส้นเชื่อมที่ซับซ้อนและเมชที่มีเท็กซ์เจอร์แสง ซึ่งไม่เข้ากันกับ파이프ไลน์การเรนเดอร์แบบดั้งเดิม เช่น PBR (Physically Based Rendering) โมเดลที่ใช้การกระจายตัว (diffusion-based models) ซึ่งสร้างสินทรัพย์ 3D โดยไม่มีเท็กซ์เจอร์แสง มีความสามารถที่น่าประทับใจในการสร้างสินทรัพย์ 3D ที่หลากหลาย และเพิ่มความสามารถของเฟรมเวิร์ก 3D ที่มีอยู่แล้วในอุตสาหกรรมต่างๆ เช่น การสร้างภาพยนตร์ การเล่นเกม และความเป็นจริงเสมือนที่เพิ่มขึ้น

ในบทความนี้ เราจะพูดถึง Paint3D ซึ่งเป็นเฟรมเวิร์กใหม่ที่สามารถสร้างเท็กซ์เจอร์ 2K UV ที่มีคุณภาพสูงและหลากหลายสำหรับเมช 3D ที่ไม่มีเท็กซ์เจอร์ โดยอาศัยการนำเข้าภาพหรือข้อความ เท็กซ์เจอร์ที่สร้างโดย Paint3D ไม่มีข้อมูลแสง ซึ่งช่วยให้ผู้ใช้สามารถแก้ไขหรือเปลี่ยนแสงได้ภายใน파イプไลน์กราฟิกสมัยใหม่ เพื่อแก้ไขปัญหานี้ เฟรมเวิร์ก Paint3D ใช้โมเดลการกระจายตัว 2D ที่ได้รับการฝึกฝนมาแล้วเพื่อสร้างภาพหลายมุมและสร้างภาพที่มีคุณภาพสูงในตอนแรก จากนั้นจึงสร้างเท็กซ์เจอร์เบื้องต้นโดยการย้อนกลับภาพเหล่านี้ไปยังพื้นผิวเมช 3D

ในบทความนี้ เราจะสำรวจเฟรมเวิร์ก Paint3D อย่างลึกซึ้ง โดยตรวจสอบการทำงานและสถาปัตยกรรมของมัน และเปรียบเทียบกับเฟรมเวิร์กการสร้างข้อมูลที่มีคุณภาพสูงในปัจจุบัน ดังนั้น มาเริ่มกันเลย

Paint3D : การแนะนำ

โมเดล AI ที่สร้างข้อมูลที่มีคุณภาพสูงได้แสดงให้เห็นถึงความสามารถที่น่าประทับใจในการสร้างภาษาธรรมชาติ การสร้าง 3D และการสังเคราะห์ภาพ และได้รับการนำไปใช้ในแอปพลิเคชันจริง ซึ่งได้ปฏิวัติอุตสาหกรรมการสร้าง 3D อย่างไรก็ตาม โมเดล AI ที่มีคุณภาพสูงในปัจจุบันหลายรูปแบบมักจะสร้างเมชที่มีเส้นเชื่อมที่ซับซ้อนและเท็กซ์เจอร์แสง ซึ่งไม่เข้ากันกับ파이ปไลน์การเรนเดอร์แบบดั้งเดิม เช่น PBR (Physically Based Rendering) ในทางกลับกัน การสังเคราะห์เท็กซ์เจอร์ได้พัฒนาอย่างรวดเร็ว โดยเฉพาะอย่างยิ่งด้วยการใช้โมเดลการกระจายตัว 2D โมเดลเหล่านี้ใช้โมเดลการกระจายตัวจากภาพถึงภาพและเงื่อนไขข้อความเพื่อสร้างเท็กซ์เจอร์ที่มีคุณภาพสูง อย่างไรก็ตาม ปัญหาใหญ่ยังคงอยู่ คือ เท็กซ์เจอร์ที่มีแสงล่วงหน้าสามารถส่งผลเสียต่อการเรนเดอร์สุดท้ายของสภาพแวดล้อม 3D เมื่อแสงถูกปรับเปลี่ยนภายในเวิร์กโฟลว์ทั่วไป

เท็กซ์เจอร์ที่ไม่มีแสงล่วงหน้าสามารถทำงานร่วมกับ파イปไลน์การเรนเดอร์แบบดั้งเดิมได้อย่างราบรื่น และให้ผลลัพธ์ที่แม่นยำ ในทางกลับกัน เท็กซ์เจอร์ที่มีแสงล่วงหน้าจะรวมเงาที่ไม่เหมาะสมเมื่อแสงถูกปรับเปลี่ยน

โมเดลการสร้างเท็กซ์เจอร์ในปัจจุบันเผชิญกับสองความท้าทายที่สำคัญ คือ การบรรลุการสร้างเท็กซ์เจอร์ที่หลากหลายสำหรับวัตถุ 3D ที่แตกต่างกันโดยใช้คำแนะนำภาพหรือข้อความ และการกำจัดแสงล่วงหน้าออกจากผลลัพธ์ของการฝึกอบรม เท็กซ์เจอร์ที่มีแสงล่วงหน้าสามารถรบกวนผลลัพธ์สุดท้ายของวัตถุ 3D ที่มีเท็กซ์เจอร์ภายในเครื่องเรนเดอร์ นอกจากนี้ เนื่องจากโมเดลการกระจายตัว 2D ที่ได้รับการฝึกฝนมาแล้วให้ผลลัพธ์เฉพาะในโดเมนของมุมมอง จึงขาดความเข้าใจที่ครอบคลุมเกี่ยวกับรูปร่าง ซึ่งนำไปสู่ความไม่สอดคล้องกันในการรักษาความสอดคล้องของมุมมองสำหรับวัตถุ 3D

เพื่อแก้ไขปัญหานี้ เฟรมเวิร์ก Paint3D พัฒนามอเดลการกระจายตัวแบบสองขั้นตอนสำหรับวัตถุ 3D ซึ่งสร้างเท็กซ์เจอร์ที่หลากหลายและไม่มีแสงล่วงหน้า โดยอาศัยการนำเข้าภาพหรือข้อความ

Paint3D เป็นโมเดลการสร้างเท็กซ์เจอร์แบบสองขั้นตอนที่ใช้ความสามารถในการสร้างภาพและข้อความที่เข้มแข็งของโมเดล AI ที่ได้รับการฝึกฝนมาแล้วเพื่อสร้างเท็กซ์เจอร์สำหรับวัตถุ 3D ในขั้นตอนแรก Paint3D ตัวอย่างภาพหลายมุมจากโมเดลการกระจายตัว 2D ที่ได้รับการฝึกฝนมาแล้ว และสร้างเท็กซ์เจอร์เบื้องต้นโดยการย้อนกลับภาพเหล่านี้ไปยังพื้นผิวเมช 3D

ในขั้นตอนที่สอง โมเดลมุ่งเน้นไปที่การสร้างเท็กซ์เจอร์ที่ไม่มีแสงล่วงหน้าโดยใช้เทคนิคที่ใช้โดยโมเดลการกระจายตัวที่เชี่ยวชาญในการกำจัดผลกระทบของแสงและปรับปรุงพื้นที่ที่ไม่สมบูรณ์

วิธีการและสถาปัตยกรรม

เฟรมเวิร์ก Paint3D สร้างและปรับปรุงเท็กซ์เจอร์แบบค่อยเป็นค่อยไปเพื่อสร้างเท็กซ์เจอร์ที่หลากหลายและคุณภาพสูงสำหรับโมเดล 3D โดยใช้การนำเข้าแบบมีเงื่อนไข เช่น ภาพและข้อความ

ขั้นตอนที่ 1: การสร้างเท็กซ์เจอร์แบบหยาบ

ในขั้นตอนการสร้างเท็กซ์เจอร์แบบหยาบ Paint3D ใช้โมเดลการกระจายตัว 2D ที่ได้รับการฝึกฝนมาแล้วเพื่อตัวอย่างภาพหลายมุม ซึ่งจะถูกย้อนกลับไปยังพื้นผิวเมช 3D เพื่อสร้างเท็กซ์เจอร์เบื้องต้น

ขั้นตอนนี้เริ่มต้นด้วยการสร้างแผนที่ความลึกจากมุมมองต่างๆ ของกล้อง โมเดลใช้เงื่อนไขความลึกเพื่อตัวอย่างภาพจากโมเดลการกระจายตัว และย้อนกลับไปยังพื้นผิวเมช 3D

ขั้นตอนที่ 2: การปรับปรุงเท็กซ์เจอร์ในพื้นที่ UV

แม้ว่าเท็กซ์เจอร์แบบหยาบที่สร้างขึ้นจะสมเหตุสมผล แต่ก็ยังมีปัญหา เช่น รูเท็กซ์เจอร์จากกระบวนการเรนเดอร์ และเงาแสงจากโมเดลการกระจายตัว 2D เพื่อแก้ไขปัญหานี้ Paint3D ใช้กระบวนการการกระจายตัวในพื้นที่ UV ตามเท็กซ์เจอร์แบบหยาบ

การปรับปรุงเท็กซ์เจอร์ในพื้นที่ UV อาจทำให้เกิดความไม่สอดคล้องกันเนื่องจากการแบ่งเท็กซ์เจอร์ที่ต่อเนื่องออกเป็นชิ้นเล็กๆ เพื่อแก้ไขปัญหานี้ Paint3D ใช้ข้อมูลเกี่ยวกับตำแหน่งของชิ้นเท็กซ์เจอร์

Paint3D : การทดลองและผลลัพธ์

โมเดล Paint3D ใช้โมเดล Stable Diffusion text2image เพื่อช่วยในการสร้างเท็กซ์เจอร์

การเปรียบเทียบเท็กซ์เจอร์จากข้อความ

เพื่อประเมินประสิทธิภาพของ Paint3D เราเริ่มต้นด้วยการวิเคราะห์การสร้างเท็กซ์เจอร์เมื่อใช้ข้อความเป็นเงื่อนไข

ผลลัพธ์แสดงให้เห็นว่า Paint3D สร้างเท็กซ์เจอร์ที่มีคุณภาพสูงและหลากหลายได้ดีกว่าเฟรมเวิร์กอื่นๆ

การเปรียบเทียบเท็กซ์เจอร์จากภาพ

เพื่อประเมินความสามารถในการสร้างเท็กซ์เจอร์ของ Paint3D เมื่อใช้ภาพเป็นเงื่อนไข เราใช้โมเดล TEXTure เป็นฐาน

ผลลัพธ์แสดงให้เห็นว่า Paint3D สร้างเท็กซ์เจอร์ที่มีคุณภาพสูงและหลากหลายได้ดีกว่าเฟรมเวิร์กอื่นๆ

ความคิดสุดท้าย

ในบทความนี้ เราได้พูดถึง Paint3D ซึ่งเป็นเฟรมเวิร์กใหม่ที่สามารถสร้างเท็กซ์เจอร์ 2K UV ที่มีคุณภาพสูงและหลากหลายสำหรับเมช 3D ที่ไม่มีเท็กซ์เจอร์ โดยอาศัยการนำเข้าภาพหรือข้อความ