การพัฒนารวดเร็วของโมเดลการสร้างภาพ AI โดยเฉพาะโมเดลการสร้างภาพ AI ที่ลึกซึ้ง ได้เพิ่มความสามารถในการสร้างภาษาธรรมชาติ การสร้างภาพ 3 มิติ การสร้างภาพ และการสังเคราะห์เสียงอย่างมีนัยสำคัญ โมเดลเหล่านี้ได้ปฏิวัติวงการผลิต 3 มิติในอุตสาหกรรมต่างๆ อย่างไรก็ตาม โมเดลหลายรุ่นเผชิญกับความท้าทาย คือ การเชื่อมต่อที่ซับซ้อนและเมชที่สร้างขึ้นบ่อยครั้งไม่เข้ากันกับพายพ์ไลน์การเรนเดอร์แบบดั้งเดิม เช่น Physically Based Rendering (PBR) โมเดลการกระจายที่ไม่มีแสงแสดงให้เห็นถึงการสร้างทรัพย์สิน 3 มิติที่หลากหลาย และเพิ่มความสามารถของเฟรมเวิร์ก 3 มิติในการสร้างภาพยนตร์ การเล่นเกม และ AR/VR

บทความนี้แนะนำ Paint3D ซึ่งเป็นเฟรมเวิร์กใหม่สำหรับการสร้างแผนที่พื้นผิว 2K UV ที่มีคุณภาพสูงสำหรับเมช 3 มิติที่ไม่มีพื้นผิว โดยมีเงื่อนไขการแสดงภาพหรือข้อความ Paint3D มีความท้าทายหลักในการสร้างพื้นผิวที่มีคุณภาพสูงโดยไม่มีการส่องสว่างที่ฝังตัว ทำให้ผู้ใช้สามารถแก้ไขหรือส่องสว่างใหม่ภายในพายพ์ไลน์กราฟิกสมัยใหม่ได้

Paint3D : การแนะนำ

ความสามารถของโมเดล AI ที่สร้างภาพในภาษาธรรมชาติ การสร้างภาพ 3 มิติ และการสร้างภาพนั้นเป็นที่รู้จักและใช้งานในแอปพลิเคชันจริง ซึ่งได้ปฏิวัติวงการสร้างภาพ 3 มิติ แม้ว่าโมเดลเหล่านี้จะมีความสามารถที่น่าประทับใจ แต่เฟรมเวิร์ก AI ที่สร้างภาพสมัยใหม่สร้างเมชที่มีการเชื่อมต่อที่ซับซ้อนและพื้นผิวที่มีการส่องสว่างที่ไม่เหมาะสม ซึ่งบ่อยครั้งไม่เข้ากันกับพายพ์ไลน์การเรนเดอร์แบบดั้งเดิม เช่น PBR หรือ Physically Based Rendering

เช่นเดียวกับโมเดล AI ที่สร้างภาพ การสังเคราะห์ภาพพื้นผิวก็ได้รับการปรับปรุงอย่างรวดเร็ว โดยเฉพาะอย่างยิ่งในการใช้โมเดลการกระจาย 2 มิติ โมเดลการสังเคราะห์ภาพพื้นผิวใช้โมเดลการกระจายที่ได้รับการฝึกฝนมาแล้วเพื่อใช้เงื่อนไขข้อความในการสร้างภาพพื้นผิวที่มีคุณภาพสูง อย่างไรก็ตาม วิธีการเหล่านี้เผชิญกับความท้าทายในการทำงานกับภาพพื้นผิวที่มีการส่องสว่างล่วงหน้า ซึ่งสามารถส่งผลกระทบอย่างมีนัยสำคัญต่อการแสดงผลสุดท้ายของสภาพแวดล้อม 3 มิติ และทำให้เกิดข้อผิดพลาดในการส่องสว่างเมื่อแสงเปลี่ยนแปลงภายในพายพ์ไลน์การทำงานทั่วไป

การสร้างภาพพื้นผิวที่มีการส่องสว่างล่วงหน้าสามารถส่งผลกระทบต่อการแสดงผลสุดท้ายของสภาพแวดล้อม 3 มิติ และทำให้เกิดข้อผิดพลาดในการส่องสว่างเมื่อแสงเปลี่ยนแปลงภายในพายพ์ไลน์การทำงานทั่วไป ดังนั้น โมเดล Paint3D จึงพยายามพัฒนาโมเดลการกระจายพื้นผิว 2 สเตจสำหรับวัตถุ 3 มิติที่สามารถสร้างพื้นผิวที่มีคุณภาพสูงโดยไม่มีการส่องสว่างที่ฝังตัว

Paint3D เป็นโมเดลการสร้างภาพพื้นผิว 2 สเตจที่มุ่งหวังที่จะใช้ความสามารถในการสร้างภาพและข้อความจากโมเดล AI ที่สร้างภาพที่ได้รับการฝึกฝนมาแล้วเพื่อสร้างภาพพื้นผิว 3 มิติที่มีคุณภาพสูง ในสเตจแรก โมเดล Paint3D จะสร้างภาพพื้นผิวที่มีคุณภาพสูงโดยใช้โมเดลการกระจาย 2 มิติที่ได้รับการฝึกฝนมาแล้ว

วิธีการและสถาปัตยกรรม

เฟรมเวิร์ก Paint3D สร้างและปรับปรุงภาพพื้นผิวทีละขั้นตอนเพื่อสร้างภาพพื้นผิวที่มีคุณภาพสูงและหลากหลายสำหรับโมเดล 3 มิติ โดยใช้เงื่อนไขการแสดงภาพและข้อความที่ต้องการ

สเตจ 1: การสร้างภาพพื้นผิวที่มีคุณภาพสูง

ในขั้นตอนการสร้างภาพพื้นผิวที่มีคุณภาพสูง โมเดล Paint3D จะใช้โมเดลการกระจาย 2 มิติที่ได้รับการฝึกฝนมาแล้วเพื่อสร้างภาพพื้นผิวที่มีคุณภาพสูง

สเตจ 2: การปรับปรุงภาพพื้นผิวในพื้นที่ UV

ในขั้นตอนการปรับปรุงภาพพื้นผิว โมเดล Paint3D จะใช้กระบวนการการกระจายในพื้นที่ UV เพื่อปรับปรุงภาพพื้นผิวที่มีคุณภาพสูงและหลากหลาย

Paint3D : การทดลองและผลลัพธ์

โมเดล Paint3D ใช้โมเดล Stable Diffusion เพื่อช่วยในการสร้างภาพพื้นผิว และใช้โมเดลการเข้ารหัสภาพเพื่อจัดการเงื่อนไขการแสดงภาพ

การเปรียบเทียบภาพพื้นผิวจากข้อความ

ในการวิเคราะห์ผลการทำงานของ Paint3D เราได้ประเมินผลการสร้างภาพพื้นผิวเมื่อใช้ข้อความเป็นเงื่อนไข และเปรียบเทียบกับเฟรมเวิร์กอื่นๆ

การเปรียบเทียบภาพพื้นผิวจากภาพ

ในการสร้างภาพพื้นผิวโดยใช้ภาพเป็นเงื่อนไข โมเดล Paint3D สามารถสร้างภาพพื้นผิวที่มีคุณภาพสูงและหลากหลายได้

ความคิดสุดท้าย

ในบทความนี้ เราได้พูดถึง Paint3D ซึ่งเป็นเฟรมเวิร์กใหม่สำหรับการสร้างภาพพื้นผิว 2K UV ที่มีคุณภาพสูงสำหรับเมช 3 มิติที่ไม่มีพื้นผิว โดยมีเงื่อนไขการแสดงภาพหรือข้อความ Paint3D สามารถสร้างภาพพื้นผิวที่มีคุณภาพสูงโดยไม่มีการส่องสว่างที่ฝังตัว และมีประสิทธิภาพที่ดีกว่าเฟรมเวิร์กอื่นๆ ในการสร้างภาพพื้นผิว 3 มิติ