ต้นขั้ว Paint3D : โมเดลการแพร่กระจายแสงน้อยสำหรับการสร้างภาพ - Unite.AI
เชื่อมต่อกับเรา

ปัญญาประดิษฐ์

Paint3D : โมเดลการแพร่กระจายแสงน้อยสำหรับการสร้างภาพ

mm
วันที่อัพเดท on

การพัฒนาอย่างรวดเร็วของโมเดล AI Generative โดยเฉพาะอย่างยิ่งโมเดล AI ที่สร้างเชิงลึก มีความสามารถขั้นสูงอย่างมากในการสร้างภาษาธรรมชาติ การสร้าง 3 มิติ การสร้างภาพ และการสังเคราะห์เสียงพูด โมเดลเหล่านี้ได้ปฏิวัติการผลิต 3D ในอุตสาหกรรมต่างๆ อย่างไรก็ตาม หลายคนเผชิญกับความท้าทาย: การเดินสายที่ซับซ้อนและตาข่ายที่สร้างขึ้นมักจะเข้ากันไม่ได้กับไปป์ไลน์การเรนเดอร์แบบดั้งเดิม เช่น Physically Based Rendering (PBR) โมเดลที่ใช้การแพร่กระจายโดยเฉพาะโดยไม่มีพื้นผิวของแสง แสดงให้เห็นถึงการสร้างสินทรัพย์ 3 มิติที่หลากหลายที่น่าประทับใจ ปรับปรุงเฟรมเวิร์ก 3 มิติในการสร้างภาพยนตร์ การเล่นเกม และ AR/VR

บทความนี้แนะนำ Paint3D ซึ่งเป็นเฟรมเวิร์กใหม่สำหรับการสร้างแผนที่พื้นผิว UV 2K ความละเอียดสูงที่หลากหลายสำหรับ Mesh 3D ที่ไม่มีพื้นผิว โดยมีเงื่อนไขในการป้อนข้อมูลด้วยภาพหรือข้อความ ความท้าทายหลักของ Paint3D คือการสร้างพื้นผิวคุณภาพสูงโดยไม่มีการส่องสว่างแบบฝัง ทำให้ผู้ใช้สามารถแก้ไขหรือปรับแสงใหม่ภายในไปป์ไลน์กราฟิกสมัยใหม่ได้ ใช้โมเดลการแพร่กระจาย 2D ที่ได้รับการฝึกล่วงหน้าสำหรับการรวมพื้นผิวหลายมุมมอง เพื่อสร้างแผนที่พื้นผิวหยาบเริ่มต้น อย่างไรก็ตาม แผนที่เหล่านี้มักจะแสดงสิ่งประดิษฐ์ของการส่องสว่างและพื้นที่ที่ไม่สมบูรณ์ เนื่องจากข้อจำกัดของโมเดล 2D ในการปิดใช้งานเอฟเฟกต์แสงและการแสดงรูปร่าง 3D อย่างสมบูรณ์ เราจะเจาะลึกการทำงาน สถาปัตยกรรม และการเปรียบเทียบกับเฟรมเวิร์กเชิงลึกอื่นๆ ของ Paint3D เอาล่ะ.

Paint3D: บทนำ

ความสามารถของโมเดล Deep Generative AI ในการสร้างภาษาธรรมชาติ การสร้าง 3 มิติ และการสังเคราะห์ภาพ เป็นที่รู้จักและนำไปใช้ในการใช้งานจริง ซึ่งเป็นการปฏิวัติอุตสาหกรรมการสร้าง 3 มิติ แม้จะมีความสามารถโดดเด่นล้ำยุคล้ำสมัย AI กำเนิด กรอบงานสร้างตาข่ายที่โดดเด่นด้วยการเดินสายที่ซับซ้อนและพื้นผิวแสงที่ไม่เป็นระเบียบซึ่งมักจะเข้ากันไม่ได้กับไปป์ไลน์การเรนเดอร์แบบทั่วไปรวมถึง PBR หรือการเรนเดอร์ตามทางกายภาพ เช่นเดียวกับโมเดล AI ที่สร้างเชิงลึก การสังเคราะห์พื้นผิวก็มีความก้าวหน้าอย่างรวดเร็วเช่นกัน โดยเฉพาะอย่างยิ่งในการใช้โมเดลการแพร่กระจาย 2 มิติ แบบจำลองการสังเคราะห์พื้นผิวใช้ความลึกของภาพที่ได้รับการฝึกไว้ล่วงหน้า แบบจำลองการแพร่กระจาย ใช้เงื่อนไขข้อความเพื่อสร้างพื้นผิวคุณภาพสูงได้อย่างมีประสิทธิภาพ อย่างไรก็ตาม วิธีการเหล่านี้ประสบปัญหากับพื้นผิวที่ได้รับแสงล่วงหน้า ซึ่งอาจส่งผลกระทบอย่างมีนัยสำคัญต่อการเรนเดอร์สภาพแวดล้อม 3D ในขั้นสุดท้าย และทำให้เกิดข้อผิดพลาดด้านแสงเมื่อมีการเปลี่ยนแสงภายในขั้นตอนการทำงานทั่วไปดังที่แสดงในภาพต่อไปนี้ 

ดังที่สังเกตได้ แผนที่พื้นผิวที่มีการส่องสว่างล่วงหน้าจะซิงค์กับไปป์ไลน์การเรนเดอร์แบบเดิมซึ่งให้ผลลัพธ์ที่แม่นยำ ในขณะที่แผนที่พื้นผิวที่มีการส่องสว่างล่วงหน้าจะมีเงาที่ไม่เหมาะสมเมื่อใช้การปรับแสงใหม่ ในทางกลับกัน เฟรมเวิร์กการสร้างพื้นผิวที่ได้รับการฝึกเกี่ยวกับข้อมูล 3 มิติ เสนอแนวทางทางเลือก โดยเฟรมเวิร์กจะสร้างพื้นผิวโดยการทำความเข้าใจเรขาคณิตทั้งหมดของวัตถุ 3 มิติที่เฉพาะเจาะจง แม้ว่าอาจให้ผลลัพธ์ที่ดีกว่า แต่เฟรมเวิร์กการสร้างพื้นผิวที่ได้รับการฝึกกับข้อมูล 3 มิติยังขาดความสามารถทั่วไปที่เป็นอุปสรรคต่อความสามารถในการใช้โมเดลกับวัตถุ 3 มิติภายนอกข้อมูลการฝึก 

โมเดลการสร้างพื้นผิวในปัจจุบันต้องเผชิญกับความท้าทายที่สำคัญสองประการ: การใช้คำแนะนำด้วยรูปภาพหรือการแจ้งเตือนที่หลากหลายเพื่อให้เกิดภาพรวมในวัตถุต่างๆ ในระดับที่กว้างขึ้น และความท้าทายประการที่สองคือการกำจัดการให้แสงสว่างควบคู่กับผลลัพธ์ที่ได้จากการฝึกอบรมล่วงหน้า พื้นผิวที่ได้รับแสงสว่างล่วงหน้าอาจรบกวนผลลัพธ์สุดท้ายของวัตถุที่มีพื้นผิวภายในกลไกการเรนเดอร์ และเนื่องจากแบบจำลองการแพร่กระจาย 2D ที่ได้รับการฝึกอบรมล่วงหน้าจะให้ผลลัพธ์ 2D ในโดเมนมุมมองเท่านั้น จึงขาดความเข้าใจที่ครอบคลุมเกี่ยวกับรูปร่างซึ่งทำให้ไม่สามารถ เพื่อรักษาความสอดคล้องของการมองเห็นสำหรับวัตถุ 3 มิติ 

เนื่องจากความท้าทายที่กล่าวมาข้างต้น กรอบงาน Paint3D พยายามที่จะพัฒนาแบบจำลองการแพร่กระจายพื้นผิวแบบสองขั้นตอนสำหรับวัตถุ 3 มิติที่สรุปเป็นแบบจำลองทั่วไปที่ได้รับการฝึกล่วงหน้าที่แตกต่างกัน และรักษาความสอดคล้องของการมองเห็นในขณะที่เรียนรู้การสร้างพื้นผิวที่ไม่ต้องใช้สายฟ้า 

Paint3D เป็นโมเดลการสร้างพื้นผิวหยาบถึงละเอียดแบบสองขั้นตอน โดยมีจุดมุ่งหมายเพื่อใช้ประโยชน์จากคำแนะนำที่รวดเร็วและความสามารถในการสร้างภาพของที่ผ่านการฝึกอบรมมาแล้ว AI กำเนิด แบบจำลองเพื่อสร้างพื้นผิววัตถุ 3 มิติ ในขั้นตอนแรก กรอบงาน Paint3D จะสุ่มตัวอย่างภาพหลายมุมมองจากแบบจำลองการแพร่กระจายภาพ 2D ที่รับรู้เชิงลึกที่ได้รับการฝึกอบรมล่วงหน้ามาล่วงหน้า เพื่อให้สามารถสรุปผลลัพธ์พื้นผิวคุณภาพสูงและสมบูรณ์ได้จากการแจ้งเตือนที่หลากหลาย จากนั้นแบบจำลองจะสร้างแผนที่พื้นผิวเริ่มต้นโดยการฉายภาพเหล่านี้กลับลงบนพื้นผิวตาข่าย 3 มิติ ในขั้นตอนที่สอง แบบจำลองมุ่งเน้นไปที่การสร้างพื้นผิวที่ไม่มีแสงโดยใช้แนวทางที่ใช้โดยแบบจำลองการแพร่กระจายที่เชี่ยวชาญในการกำจัดอิทธิพลของแสงและการปรับแต่งรูปร่างของส่วนที่ไม่สมบูรณ์ ตลอดกระบวนการ กรอบงาน Paint3D สามารถสร้างพื้นผิว 2K คุณภาพสูงตามความหมายได้อย่างสม่ำเสมอ และกำจัดเอฟเฟกต์การส่องสว่างจากภายใน 

โดยสรุป Paint3D เป็นโมเดล AI ที่สร้างใหม่ทั้งหยาบและละเอียด โดยมีจุดมุ่งหมายเพื่อสร้างแผนที่พื้นผิว UV 2K ที่หลากหลาย ไม่ใช้แสง และมีความละเอียดสูงสำหรับ 3D mesh ที่ไม่มีพื้นผิว เพื่อให้ได้ประสิทธิภาพที่ล้ำสมัยในการสร้างพื้นผิววัตถุ 3D ด้วยเงื่อนไขที่แตกต่างกัน อินพุตรวมถึงข้อความและรูปภาพ และมอบข้อได้เปรียบที่สำคัญสำหรับงานสังเคราะห์และการแก้ไขกราฟิก 

ระเบียบวิธีและสถาปัตยกรรม

กรอบงาน Paint3D สร้างและปรับแต่งแผนที่พื้นผิวอย่างต่อเนื่องเพื่อสร้างแผนที่พื้นผิวที่หลากหลายและมีคุณภาพสูงสำหรับโมเดล 3 มิติ โดยใช้อินพุตตามเงื่อนไขที่ต้องการ รวมถึงรูปภาพและข้อความแจ้ง ดังที่แสดงในภาพต่อไปนี้ 

ในระยะหยาบ โมเดล Paint3D จะใช้โมเดลการแพร่กระจายของภาพ 2D ที่ผ่านการฝึกอบรมมาล่วงหน้าเพื่อสุ่มตัวอย่างภาพหลายมุมมอง จากนั้นสร้างแผนที่พื้นผิวเริ่มต้นเพื่อฉายภาพเหล่านี้กลับลงบนพื้นผิวของตาข่าย ในขั้นตอนที่สอง เช่น ขั้นตอนการปรับแต่ง โมเดล Paint3D จะใช้กระบวนการแพร่กระจายในพื้นที่ UV เพื่อปรับปรุงแผนที่พื้นผิวหยาบ ดังนั้นจึงได้ฟังก์ชันคุณภาพสูง การลงสี และใช้แสงน้อยลง ซึ่งรับประกันความน่าดึงดูดทางสายตาและความสมบูรณ์ของพื้นผิวขั้นสุดท้าย . 

ขั้นตอนที่ 1: การสร้างพื้นผิวหยาบแบบก้าวหน้า

ในขั้นตอนการสร้างพื้นผิวหยาบแบบก้าวหน้า โมเดล Paint3D จะสร้างแผนที่พื้นผิว UV แบบหยาบสำหรับตาข่าย 3 มิติที่ใช้โมเดลการแพร่กระจาย 2 มิติที่รับรู้เชิงลึกที่ผ่านการฝึกอบรมมาแล้ว เพื่อให้เจาะจงมากขึ้น ขั้นแรกโมเดลจะใช้มุมมองกล้องที่แตกต่างกันเพื่อแสดงแผนที่เชิงลึก จากนั้นใช้เงื่อนไขเชิงลึกเพื่อสุ่มตัวอย่างภาพจากแบบจำลองการแพร่กระจายของภาพ จากนั้นจึงฉายภาพเหล่านี้กลับลงบนพื้นผิวตาข่าย เฟรมเวิร์กดำเนินการเรนเดอร์ การสุ่มตัวอย่าง และการฉายภาพด้านหลังสลับกันเพื่อปรับปรุงความสอดคล้องของพื้นผิวเมช ซึ่งท้ายที่สุดจะช่วยในการสร้างแผนที่พื้นผิวแบบก้าวหน้า 

แบบจำลองเริ่มสร้างพื้นผิวของบริเวณที่มองเห็นได้ด้วยมุมมองกล้องที่เน้นไปที่ 3D mesh และเรนเดอร์ 3D mesh เป็นแผนที่เชิงลึกจากมุมมองแรก จากนั้นแบบจำลองจะสุ่มตัวอย่างภาพพื้นผิวสำหรับสภาพลักษณะที่ปรากฏและสภาพความลึก จากนั้นโมเดลจะฉายภาพกลับลงบน 3D mesh สำหรับมุมมอง โมเดล Paint3D ใช้วิธีการที่คล้ายกัน แต่มีการเปลี่ยนแปลงเล็กน้อยโดยดำเนินการกระบวนการสุ่มตัวอย่างพื้นผิวโดยใช้วิธีการวาดภาพ นอกจากนี้ โมเดลยังคำนึงถึงขอบเขตพื้นผิวจากมุมมองก่อนหน้า ช่วยให้กระบวนการเรนเดอร์ไม่เพียงแต่แสดงภาพที่มีความลึกเท่านั้น แต่ยังรวมถึงภาพ RGB ที่มีสีบางส่วนพร้อมมาสก์ที่ไม่มีสีในมุมมองปัจจุบันอีกด้วย 

จากนั้น โมเดลจะใช้โมเดลการวาดภาพในเชิงลึกที่มีการรับรู้เชิงลึก พร้อมด้วยตัวเข้ารหัสในการวาดภาพเพื่อเติมเต็มพื้นที่ที่ไม่มีสีภายในภาพ RGB จากนั้น แบบจำลองจะสร้างแผนผังพื้นผิวจากมุมมองโดยการฉายภาพที่ถูกทาสีกลับเข้าไปในตาข่าย 3 มิติภายใต้มุมมองปัจจุบัน ช่วยให้แบบจำลองสามารถสร้างแผนผังพื้นผิวได้อย่างต่อเนื่อง และมาถึงแผนผังโครงสร้างหยาบทั้งหมด สุดท้าย โมเดลจะขยายกระบวนการสุ่มตัวอย่างพื้นผิวไปยังฉากหรือวัตถุที่มีหลายมุมมอง เพื่อให้เจาะจงมากขึ้น โมเดลนี้ใช้กล้องคู่เพื่อจับภาพแผนที่เชิงลึกสองภาพระหว่างการสุ่มตัวอย่างพื้นผิวเริ่มต้นจากมุมมองแบบสมมาตร จากนั้นแบบจำลองจะรวมแผนที่ความลึกสองรายการเข้าด้วยกันและประกอบเป็นตารางความลึก แบบจำลองจะแทนที่รูปภาพเชิงลึกเดี่ยวด้วยตารางเชิงลึกเพื่อทำการสุ่มตัวอย่างพื้นผิวที่รับรู้เชิงลึกหลายมุมมอง 

ขั้นตอนที่ 2: การปรับแต่งพื้นผิวในพื้นที่ UV

แม้ว่าการปรากฏตัวของแผนที่พื้นผิวหยาบนั้นสมเหตุสมผล แต่ก็เผชิญกับความท้าทายบางอย่าง เช่น รูพื้นผิวที่เกิดขึ้นในระหว่างกระบวนการเรนเดอร์โดยการบดบังตัวเองหรือเงาฟ้าผ่า เนื่องจากการมีส่วนร่วมของโมเดลการแพร่กระจายภาพ 2 มิติ โมเดล Paint3D มีเป้าหมายที่จะดำเนินการกระบวนการแพร่กระจายในพื้นที่ UV บนพื้นฐานของแผนที่พื้นผิวหยาบ โดยพยายามบรรเทาปัญหาและปรับปรุงรูปลักษณ์ที่น่าดึงดูดของแผนที่พื้นผิวให้ดียิ่งขึ้นในระหว่างการปรับแต่งพื้นผิว อย่างไรก็ตาม การปรับปรุงโมเดลการแพร่กระจายภาพกระแสหลักด้วยแผนผังพื้นผิวในพื้นที่ UV ทำให้เกิดความไม่ต่อเนื่องของพื้นผิว เนื่องจากแผนผังพื้นผิวถูกสร้างขึ้นโดยการแมป UV ของพื้นผิวของพื้นผิว 3 มิติที่ตัดพื้นผิวต่อเนื่องออกเป็นชุดของชิ้นส่วนแต่ละชิ้นใน UV ช่องว่าง. จากผลของการแยกส่วน โมเดลพบว่าเป็นการยากที่จะเรียนรู้ความสัมพันธ์ของ adjacency 3D ระหว่างแฟรกเมนต์ที่นำไปสู่ปัญหาความไม่ต่อเนื่องของพื้นผิว 

แบบจำลองนี้ปรับแต่งแผนผังพื้นผิวในพื้นที่ UV โดยดำเนินกระบวนการแพร่กระจายภายใต้คำแนะนำของข้อมูลที่อยู่ติดกันของชิ้นส่วนพื้นผิว สิ่งสำคัญที่ควรทราบคือ ในพื้นที่ UV นั้น เป็นแผนผังตำแหน่งที่แสดงถึงข้อมูล adjacency 3D ของชิ้นส่วนพื้นผิว โดยแบบจำลองจะถือว่าแต่ละองค์ประกอบที่ไม่ใช่พื้นหลังเป็นพิกัดจุด 3D ในระหว่างกระบวนการแพร่กระจาย แบบจำลองจะหลอมรวมข้อมูล adjacency 3 มิติโดยการเพิ่มตัวเข้ารหัสแผนที่ตำแหน่งแต่ละตัวให้กับโมเดลการแพร่กระจายภาพที่เตรียมไว้ล่วงหน้า ตัวเข้ารหัสใหม่มีลักษณะคล้ายกับการออกแบบกรอบงาน ControlNet และมีสถาปัตยกรรมเดียวกันกับตัวเข้ารหัสที่ใช้ในโมเดลการแพร่กระจายภาพโดยมีเลเยอร์การบิดเป็นศูนย์เชื่อมต่อทั้งสองเข้าด้วยกัน นอกจากนี้ แบบจำลองการแพร่กระจายของพื้นผิวยังได้รับการฝึกบนชุดข้อมูลที่ประกอบด้วยแผนที่พื้นผิวและตำแหน่ง และแบบจำลองจะเรียนรู้ที่จะคาดการณ์สัญญาณรบกวนที่เพิ่มเข้าไปในสัญญาณรบกวนแฝง จากนั้น โมเดลจะปรับตัวเข้ารหัสตำแหน่งให้เหมาะสม และหยุดตัวลดนอยเซอร์ที่ได้รับการฝึกไว้สำหรับงานกระจายภาพ 

จากนั้นแบบจำลองจะใช้ตำแหน่งของตัวเข้ารหัสแบบมีเงื่อนไขและตัวเข้ารหัสอื่นๆ พร้อมกันเพื่อดำเนินการปรับแต่งในพื้นที่ UV ด้วยเหตุนี้ โมเดลจึงมีความสามารถในการปรับแต่งสองแบบ: UVHD หรือ UV High Definition และ UV inpainting วิธี UVHD ได้รับการออกแบบมาเพื่อเพิ่มความน่าดึงดูดทางสายตาและความสวยงามของแผนผังพื้นผิว เพื่อให้บรรลุถึง UVHD โมเดลจะใช้ตัวเข้ารหัสการปรับปรุงรูปภาพและตัวเข้ารหัสตำแหน่งพร้อมกับโมเดลการแพร่กระจาย แบบจำลองนี้ใช้วิธีการพ่นสีด้วยรังสียูวีเพื่อเติมเต็มรูพื้นผิวภายในระนาบ UV ซึ่งสามารถหลีกเลี่ยงปัญหาการบดบังตัวเองที่เกิดขึ้นระหว่างการเรนเดอร์ได้ ในขั้นตอนการปรับแต่ง โมเดล Paint3D ทำการลงสีด้วยรังสียูวีก่อน จากนั้นจึงดำเนินการด้วย UVHD เพื่อสร้างแผนผังพื้นผิวที่ได้รับการปรับแต่งขั้นสุดท้าย ด้วยการผสานรวมวิธีการปรับแต่งทั้งสองวิธี กรอบงาน Paint3D จึงสามารถสร้างแผนที่พื้นผิว UV ที่สมบูรณ์ หลากหลาย มีความละเอียดสูง และใช้แสงน้อยได้ 

Paint3D : การทดลองและผลลัพธ์

โมเดล Paint3D ใช้ การแพร่กระจายที่เสถียร โมเดล text2image เพื่อช่วยในงานสร้างพื้นผิวในขณะที่ใช้ส่วนประกอบตัวเข้ารหัสรูปภาพเพื่อจัดการสภาพของภาพ เพื่อเพิ่มประสิทธิภาพการควบคุมตามเงื่อนไข เช่น การวาดภาพในรูปภาพ ความลึก และความละเอียดสูงของรูปภาพ กรอบงาน Paint3D ใช้ตัวเข้ารหัสโดเมน ControlNet โมเดลนี้ถูกนำไปใช้บนเฟรมเวิร์ก PyTorch พร้อมการเรนเดอร์และการฉายพื้นผิวบน Kaolin 

การเปรียบเทียบข้อความกับพื้นผิว

เพื่อวิเคราะห์ประสิทธิภาพ เราเริ่มต้นด้วยการประเมินเอฟเฟกต์การสร้างพื้นผิวของ Paint3D เมื่อปรับสภาพโดยใช้ข้อความแจ้ง และเปรียบเทียบกับเฟรมเวิร์กล้ำสมัย รวมถึง Text2Tex, TEXTure และ LatentPaint ตามที่สังเกตได้ในภาพต่อไปนี้ กรอบงาน Paint3D ไม่เพียงแต่สร้างรายละเอียดพื้นผิวคุณภาพสูงได้อย่างดีเยี่ยม แต่ยังสังเคราะห์แผนที่พื้นผิวที่ปราศจากแสงได้ดีพอสมควรอีกด้วย 

ในการเปรียบเทียบ กรอบงาน Latent-Paint มีแนวโน้มที่จะสร้างพื้นผิวที่พร่ามัว ซึ่งส่งผลให้เอฟเฟกต์ภาพไม่สวยงาม ในทางกลับกัน แม้ว่ากรอบงาน TEXture จะสร้างพื้นผิวที่ชัดเจน แต่ก็ขาดความเรียบเนียนและแสดงรอยต่อและตะเข็บที่เห็นได้ชัดเจน สุดท้ายนี้ กรอบงาน Text2Tex จะสร้างพื้นผิวที่เรียบเนียนได้อย่างน่าทึ่ง แต่ไม่สามารถจำลองประสิทธิภาพในการสร้างพื้นผิวที่ละเอียดและมีรายละเอียดที่ซับซ้อนได้ 

รูปภาพต่อไปนี้เปรียบเทียบเฟรมเวิร์ก Paint3D กับเฟรมเวิร์กที่ล้ำสมัยในเชิงปริมาณ 

ตามที่สังเกตได้ กรอบงาน Paint3D มีประสิทธิภาพเหนือกว่าโมเดลที่มีอยู่ทั้งหมด และด้วยอัตรากำไรขั้นต้นที่สำคัญด้วยการปรับปรุงเกือบ 30% ในบรรทัดฐาน FID และการปรับปรุงประมาณ 40% ในบรรทัดฐาน KID การปรับปรุงคะแนนพื้นฐาน FID และ KID แสดงให้เห็นถึงความสามารถของ Paint3D ในการสร้างพื้นผิวคุณภาพสูงสำหรับวัตถุและหมวดหมู่ที่หลากหลาย 

การเปรียบเทียบภาพกับพื้นผิว

ในการสร้างความสามารถในการสร้างของ Paint3D โดยใช้การแสดงภาพ เราใช้โมเดล TEXture เป็นพื้นฐาน ดังที่ได้กล่าวไว้ก่อนหน้านี้ โมเดล Paint3D ใช้ตัวเข้ารหัสรูปภาพที่มาจากโมเดล text2image จาก Stable Diffusion ดังที่เห็นในภาพต่อไปนี้ กรอบงาน Paint3D สังเคราะห์พื้นผิวที่สวยงามได้อย่างน่าทึ่ง และยังคงสามารถรักษาความเที่ยงตรงสูงตามสภาพของภาพได้ 

ในทางกลับกัน เฟรมเวิร์ก TEXture สามารถสร้างพื้นผิวที่คล้ายกับ Paint3D ได้ แต่ไม่เพียงพอที่จะแสดงรายละเอียดพื้นผิวในสภาพของภาพได้อย่างแม่นยำ นอกจากนี้ ตามที่แสดงให้เห็นในภาพต่อไปนี้ เฟรมเวิร์ก Paint3D ให้คะแนน FID และ KID พื้นฐานที่ดีกว่า เมื่อเปรียบเทียบกับเฟรมเวิร์ก TEXture โดยเฟรมเวิร์กแบบแรกลดลงจาก 40.83 เป็น 26.86 ในขณะที่เฟรมเวิร์กหลังแสดงการลดลงจาก 9.76 เป็น 4.94 

ข้อคิด

ในบทความนี้ เราได้พูดคุยเกี่ยวกับ Paint3D ซึ่งเป็นเฟรมเวิร์กใหม่ที่หยาบจนถึงละเอียดที่สามารถสร้างแผนที่พื้นผิว UV 2K ที่ไม่มีแสง หลากหลาย และมีความละเอียดสูงสำหรับ 3D mesh ที่ไม่มีพื้นผิวซึ่งปรับสภาพทั้งบนอินพุตภาพหรือข้อความ จุดเด่นหลักของเฟรมเวิร์ก Paint3D คือสามารถสร้างพื้นผิว UV 2K ที่มีความละเอียดสูงโดยไม่ต้องใช้แสง ซึ่งมีความสอดคล้องกันทางความหมาย โดยไม่ต้องปรับเงื่อนไขในการป้อนรูปภาพหรือข้อความ ด้วยแนวทางแบบหยาบถึงละเอียด กรอบงาน Paint3D จึงสร้างแผนที่พื้นผิวที่มีแสงน้อย มีความหลากหลาย และมีความละเอียดสูง และมอบประสิทธิภาพที่ดีกว่ากรอบงานที่ทันสมัยในปัจจุบัน 

"อาชีพวิศวกร นักเขียนด้วยหัวใจ". Kunal เป็นนักเขียนด้านเทคนิคที่มีความรักและความเข้าใจอย่างลึกซึ้งเกี่ยวกับ AI และ ML โดยอุทิศตนเพื่อทำให้แนวคิดที่ซับซ้อนในสาขาเหล่านี้ง่ายขึ้นผ่านเอกสารประกอบที่ให้ข้อมูลที่น่าสนใจ