โมเดลและแพลตฟอร์ม AI

Zero123++: โมเดลฐานการกระจายภาพหลายมุมที่สอดคล้องกันจากภาพเดียว

Kunal Kejriwal
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญZero123++ จัดวางภาพหกมุมมองให้อยู่ในภาพเดียว…
ดูเพิ่มเติม
  • Zero123++ จัดวางภาพหกมุมมองให้อยู่ในภาพเดียว เพื่อรับประกันความสม่ำเสมอสามมิติในการสร้างภาพหลายมุมมอง
  • โมเดลนี้ได้นำเสนอ Scaled Reference Attention เพื่อรักษาลวดลายพื้นผิวเฉพาะส่วนจากภาพอินพุตเดี่ยว
  • โมเดลใช้ตารางเวลาแบบเชิงเส้นสำหรับการเพิ่มสัญญาณรบกวน เพื่อปรับปรุงโครงสร้างภาพโดยรวมให้ดีกว่าการใช้ตารางเวลาแบบเชิงเส้นปรับสเกล

ในช่วงไม่กี่ปีที่ผ่านมา โมเดล AI เชิงกำเนิด พัฒนาขึ้นอย่างรวดเร็วทั้งประสิทธิภาพ ประสิทธิผล และความสามารถในการสร้างเนื้อหา โดยอาศัยชุดข้อมูลขนาดใหญ่และเทคนิคการสร้างภาพด้วยโมเดลดิฟฟิวชันสองมิติ ปัจจุบันโมเดลเหล่านี้สร้างข้อความ ภาพ วิดีโอ GIF และสื่อสองมิติ รวมถึงสื่อสามมิติบางประเภทได้

บทความนี้สำรวจ Zero123++ โมเดลดิฟฟิวชันเชิงกำเนิดที่มีภาพเป็นเงื่อนไข เพื่อสร้างภาพหลายมุมมองซึ่งสอดคล้องกันในสามมิติจากภาพอินพุตเพียงภาพเดียว ระบบใช้วิธีฝึกและกำหนดเงื่อนไขหลายแบบเพื่อใช้ประโยชน์จากโมเดลที่ฝึกไว้แล้ว และลดภาระการปรับจูนโมเดลดิฟฟิวชันสำเร็จรูป เราจะพิจารณาสถาปัตยกรรม การทำงาน และผลลัพธ์ของระบบ

Zero123 และ Zero123++: บทนำ

Zero123++ สานต่อ Zero123 หรือ Zero-1-to-3 ซึ่งบุกเบิกการแปลงภาพเดียวเป็นสามมิติแบบโอเพนซอร์สด้วยการสังเคราะห์มุมมองใหม่แบบ zero-shot แม้ผลลัพธ์จะมีแนวโน้มดี บทความต้นฉบับระบุว่าภาพที่สร้างยังมีความไม่สอดคล้องทางเรขาคณิตที่มองเห็นได้ จึงยังมีช่องว่างระหว่างภาพหลายมุมมองกับฉากสามมิติ

Zero-1-to-3 เป็นรากฐานของ SyncDreamer, One-2-3-45 และ Consistent123 ซึ่งเพิ่มองค์ประกอบเพื่อให้ภาพสามมิติสอดคล้องกันมากขึ้น ส่วน ProlificDreamer, DreamFusion และ DreamGaussian ใช้วิธีปรับให้เหมาะที่สุดเพื่อกลั่นตัวแทนสามมิติจากผลลัพธ์ของโมเดลที่ไม่สอดคล้องกัน วิธีเหล่านี้ให้ผลน่าพอใจ แต่โมเดลดิฟฟิวชันพื้นฐานที่สร้างหลายมุมมองได้สอดคล้องกันอาจช่วยปรับปรุงผลลัพธ์ได้ Zero123++ จึงต่อยอด Zero-1-to-3 และปรับจูนโมเดลพื้นฐานหลายมุมมองจาก Stable Diffusion

Zero-1-to-3 สุ่มสร้างแต่ละมุมมองแยกกัน จึงเกิดความไม่สอดคล้องระหว่างมุมมอง Zero123++ แก้ปัญหาด้วยการจัดภาพวัตถุจากหกมุมมองเป็นช่องในภาพเดียว เพื่อจำลองการแจกแจงร่วมของภาพหลายมุมมองได้อย่างถูกต้อง

อีกปัญหาคือ Zero-1-to-3 ใช้ความสามารถของ Stable Diffusion ได้ไม่เต็มที่ ทำให้ประสิทธิภาพลดลงและต้นทุนเพิ่มขึ้น ด้วยเหตุผลหลักสองประการ:

  • การฝึกโดยใช้ภาพเป็นเงื่อนไขไม่ได้ใช้กลไกกำหนดเงื่อนไขระดับเฉพาะที่และระดับภาพรวมของ Stable Diffusion อย่างมีประสิทธิภาพ
  • ความละเอียดที่ใช้ต่ำกว่าความละเอียดฝึกของ Stable Diffusion ซึ่งอาจลดคุณภาพภาพที่สร้าง

Zero123++ จึงใช้เทคนิคกำหนดเงื่อนไขหลายอย่างเพื่อใช้ทรัพยากรของ Stable Diffusion ได้เต็มที่และรักษาคุณภาพของภาพ

การปรับปรุงการกำหนดเงื่อนไขและความสอดคล้อง

เป้าหมายหลักคือใช้เทคนิคที่มีอยู่ใน Stable Diffusion ที่ฝึกไว้แล้วซ้ำ เพื่อปรับปรุงทั้งการใช้ภาพเป็นเงื่อนไขและความสอดคล้องระหว่างมุมมอง

การสร้างภาพหลายมุมมอง

ภาพหลายมุมมองที่สอดคล้องกันต้องอาศัยการจำลองการแจกแจงร่วมอย่างถูกต้อง Zero-1-to-3 มองข้ามความสัมพันธ์ระหว่างภาพ เพราะจำลองการแจกแจงส่วนขอบแบบมีเงื่อนไขของแต่ละภาพแยกกัน Zero123++ จัดภาพหกภาพเป็นช่องภายในกรอบเดียว ดังแสดงด้านล่าง

การฝึกโดยอิงท่าทางกล้องมีความกำกวมเกี่ยวกับแนววางของวัตถุ Zero-1-to-3 จึงใช้มุมเงยของกล้องและมุมแอซิมัทที่สัมพันธ์กับภาพอินพุต วิธีนี้ต้องทราบมุมเงยของภาพต้นทางเพื่อคำนวณท่าทางสัมพัทธ์ของมุมมองใหม่ ระบบจึงมักเพิ่มโมดูลประมาณมุมเงย ซึ่งอาจเพิ่มข้อผิดพลาดในกระบวนการ

ตารางระดับสัญญาณรบกวน

ตาราง scaled-linear ดั้งเดิมของ Stable Diffusion เน้นรายละเอียดเฉพาะที่ และมีขั้นตอนที่อัตราส่วนสัญญาณต่อสัญญาณรบกวน (SNR) ต่ำอยู่เพียงไม่กี่ขั้นตอน ดังภาพ

ขั้นตอน SNR ต่ำเกิดช่วงต้นของการกำจัดสัญญาณรบกวน ซึ่งสำคัญต่อการกำหนดโครงสร้างภาพรวมความถี่ต่ำ การลดจำนวนขั้นตอนเหล่านี้ระหว่างการฝึกหรือการอนุมานมักเพิ่มความแปรผันของโครงสร้าง แม้เหมาะกับการสร้างภาพเดียว แต่ทำให้รักษาความสอดคล้องภาพรวมระหว่างหลายมุมมองได้ยาก Zero123++ ทดลองปรับจูน LoRA บน Stable Diffusion 2 แบบ v-prediction ด้วยงานทดสอบอย่างง่าย

เมื่อใช้ตาราง scaled-linear โมเดล LoRA ไม่สามารถฟิตงานทดสอบได้เต็มที่และเพียงทำให้ภาพขาวขึ้นเล็กน้อย แต่เมื่อใช้ตาราง linear โมเดลสร้างภาพว่างได้ไม่ว่าพรอมป์ต์จะเป็นอะไร ผลนี้แสดงว่าตารางสัญญาณรบกวนส่งผลต่อความสามารถในการปรับตัวตามข้อกำหนดระดับภาพรวม

Scaled Reference Attention สำหรับเงื่อนไขเฉพาะที่

Zero-1-to-3 ต่อภาพอินพุตหรือภาพเงื่อนไขเข้ากับอินพุตที่มีสัญญาณรบกวนในมิติฟีเจอร์เพื่อกำหนดเงื่อนไข แต่ทำให้เกิดการจับคู่เชิงพื้นที่ระดับพิกเซลที่ไม่ถูกต้องระหว่างภาพเป้าหมายกับภาพอินพุต

Zero123++ จึงใช้ Scaled Reference Attention โดยให้ UNet สำหรับกำจัดสัญญาณรบกวนประมวลผลภาพอ้างอิงเพิ่มเติม แล้วนำเมทริกซ์ค่า value และ key ของ self-attention จากภาพอ้างอิงไปต่อในชั้น attention ที่ตรงกัน ขณะกำจัดสัญญาณรบกวนจากอินพุต ดังภาพ

Reference Attention ชี้นำโมเดลดิฟฟิวชันให้สร้างภาพที่มีพื้นผิวและเนื้อหาเชิงความหมายคล้ายภาพอ้างอิงได้โดยไม่ต้องปรับจูน เมื่อปรับจูนพร้อมปรับสเกลตัวแทนแฝง ผลลัพธ์จะดีขึ้น

เงื่อนไขระดับภาพรวม: FlexDiffuse

Stable Diffusion ดั้งเดิมใช้ embedding ข้อความเป็นแหล่งเงื่อนไขภาพรวม โดยใช้ CLIP เป็นตัวเข้ารหัสข้อความ และเชื่อม embedding ข้อความกับตัวแทนแฝงผ่าน cross-attention การจัดแนวปริภูมิภาพและข้อความของ CLIP ทำให้นักพัฒนาสามารถใช้ภาพเป็นเงื่อนไขภาพรวมได้

Zero123++ เสนอกลไก linear guidance รุ่นที่เรียนรู้ได้ เพื่อเพิ่มเงื่อนไขภาพรวมจากภาพโดยต้อง ปรับจูน เพียงเล็กน้อย หากไม่มีเงื่อนไขนี้ บริเวณที่เห็นในภาพอินพุตยังมีคุณภาพน่าพอใจ แต่บริเวณที่มองไม่เห็นมีคุณภาพลดลงมาก เพราะโมเดลอนุมานความหมายภาพรวมของวัตถุไม่ได้

สถาปัตยกรรมโมเดล

Zero123++ ใช้ Stable Diffusion 2v เป็นฐาน และฝึกบน Objaverse ซึ่งเรนเดอร์ด้วยแสง HDRI แบบสุ่ม ระบบใช้ตารางฝึกเป็นระยะตามแนวทาง Stable Diffusion Image Variations เพื่อลดการปรับจูนและรักษาความรู้เดิมของ Stable Diffusion ให้มากที่สุด

ระยะแรกปรับจูนเมทริกซ์ KV ของชั้น cross-attention และชั้น self-attention โดยใช้ AdamW ขั้น warm-up 1,000 ขั้น และตารางอัตราการเรียนรู้แบบ cosine ซึ่งมีค่าสูงสุด 7×10−5 ระยะที่สองใช้อัตราการเรียนรู้คงที่แบบระมัดระวังมาก พร้อม warm-up 2,000 ขั้น และ Min-SNR เพื่อเพิ่มประสิทธิภาพการฝึก

Zero123++: ผลลัพธ์และการเปรียบเทียบประสิทธิภาพ

ผลเชิงคุณภาพ

การประเมินเปรียบเทียบกับ SyncDreamer และ Zero-1-to-3-XL ใช้ภาพสี่แบบ: แมวของเล่นไฟฟ้าจาก Objaverse ซึ่งด้านหลังวัตถุมีความไม่แน่นอนสูง ภาพถังดับเพลิง ภาพสุนัขนั่งบนจรวดที่สร้างด้วย SDXL และภาพวาดอนิเมะ ใช้วิธีประมาณมุมเงยของ One-2-3-4-5 และ SAM เพื่อลบพื้นหลัง Zero123++ สร้างภาพหลายมุมมองคุณภาพสูงได้สอดคล้องกัน และใช้กับภาพวาดสองมิติหรือภาพที่ AI สร้างนอกโดเมนฝึกได้ดี

การวิเคราะห์เชิงปริมาณ

นักพัฒนาเปรียบเทียบ Zero123++ กับ Zero-1-to-3 และ Zero-1-to-3-XL ด้วยคะแนน Learned Perceptual Image Patch Similarity (LPIPS) บนชุดตรวจสอบจาก Objaverse โดยจัดภาพอ้างอิงจริงและภาพที่สร้างหกภาพเป็นชุดช่อง แล้วคำนวณ LPIPS ผลด้านล่างแสดงว่า Zero123++ ให้ผลดีที่สุดบนชุดตรวจสอบนี้

การประเมินจากข้อความสู่หลายมุมมอง

ขั้นแรกใช้ SDXL สร้างภาพจากพรอมป์ต์ข้อความ จากนั้นส่งภาพให้ Zero123++ เมื่อเทียบกับ Zero-1-to-3 ซึ่งไม่รับประกันความสอดคล้องระหว่างมุมมอง กระบวนการข้อความ→ภาพ→หลายมุมมองของ Zero123++ ให้ภาพที่สอดคล้อง สมจริง และมีรายละเอียดสูง

Zero123++ Depth ControlNet

นอกจากโมเดลพื้นฐาน นักพัฒนายังเปิดตัว Depth ControlNet Zero123++ ซึ่งควบคุมด้วยข้อมูลความลึกและสร้างบนสถาปัตยกรรม ControlNet โดยเรนเดอร์ภาพความลึกเชิงเส้นที่ปรับมาตรฐานแล้วให้สัมพันธ์กับภาพ RGB และฝึก ControlNet เพื่อควบคุมเรขาคณิตของ Zero123++ จากข้อมูลความลึก

สรุป

Zero123++ เป็นโมเดลดิฟฟิวชันที่มีภาพเป็นเงื่อนไข เพื่อสร้างภาพหลายมุมมองที่สอดคล้องกันในสามมิติจากภาพเดียว วิธีฝึกและกำหนดเงื่อนไขช่วยใช้ประโยชน์จากโมเดลที่ฝึกไว้แล้ว ลดภาระปรับจูน และให้ผลเทียบเท่าหรือดีกว่าระบบชั้นนำที่นำมาเปรียบเทียบ

อย่างไรก็ดี ยังมีพื้นที่สำหรับการพัฒนา ได้แก่:

  • โมเดลปรับรายละเอียดสองระยะ: อาจช่วยแก้ข้อจำกัดในการตอบสนองข้อกำหนดความสอดคล้องระดับภาพรวม
  • การขยายขนาดเพิ่มเติม: เพื่อเพิ่มความสามารถในการสร้างภาพคุณภาพสูงขึ้น

Kunal Kejriwal เป็นวิศวกรแบ็กเอนด์ที่เชี่ยวชาญด้าน Python, PostgreSQL, Redis และโครงสร้างพื้นฐานคลาวด์บน GCP และ AWS. ด้วยประสบการณ์สามปีในการสร้างและขยายระบบที่ใช้งานจริง เขาเขียนเกี่ยวกับโครงสร้างพื้นฐาน AI, ระบบแบบกระจาย, และสถาปัตยกรรมที่อยู่เบื้องหลังการนำเวิร์กโหลดแมชชีนเลิร์นนิงไปใช้งาน