Neural Parts: การแบ่งพาร์ติเคิลสำหรับเรขาคณิตที่มีความหมายที่ได้รับ

ในขณะที่ระบบที่สามารถสร้างเรขาคณิต 3 มิติจากภาพนิ่งได้แพร่หลายในหลายปีที่ผ่านมา วัตถุที่ได้รับจากระบบเหล่านี้มักจะ “รวม” เข้าด้วยกัน โดยไม่มีสกีม่าเชิงความหมายที่แท้จริงเพื่อสะท้อนถึงวิธีการที่ส่วนประกอบเหล่านั้นส่งผลต่อทั้งหมด

มีหลายเหตุผลที่ดีในการสร้างแบบจำลองที่มีระดับชั้นเชิงความหมายด้วยการแบ่งส่วนประกอบที่มีความหมาย รวมถึงการวิเคราะห์ทางอุตสาหกรรม การวิจัยทางการแพทย์และการประยุกต์ใช้ภาพ การสร้างเรขาคณิตอัตโนมัติสำหรับเกม วิดีโอเกม ซิมูเลเตอร์และสภาพแวดล้อม VR/AR และการสร้างรูปภาพเชิงสัญลักษณ์ เป็นต้น

หลายวิธีที่พัฒนาขึ้นในหลายปีที่ผ่านมา เช่น การวิเคราะห์รูปทรง Superquadrics ไม่ได้ให้ผลลัพธ์ที่น่าพอใจ และไม่สามารถพัฒนาสถานะของศิลปะได้มากกว่าการแบ่งส่วนประกอบเชิงเส้น

การแบ่งส่วนประกอบโดย Superquadrics และวิธีอื่นๆ ให้ผลลัพธ์ที่ไม่ดีหรือเป็นเพียงการแสดงภาพโดยทั่วไป Source: https://www.youtube.com/watch?v=6WK3B0IZJsw

อย่างไรก็ตาม การวิจัยใหม่จาก Max Planck Institute ซึ่งมีชื่อเรื่องว่า Neural Parts: การเรียนรู้รูปทรง 3 มิติที่มีความหมายด้วยเครือข่ายประสาทที่กลับด้าน เสนอระบบการแสดงรูปทรง 3 มิติใหม่ที่สร้างส่วนประกอบที่มีความหมายเชิงความหมาย

วิธีการแบ่งส่วนประกอบก่อนหน้านี้สามารถแบ่งวัตถุใหญ่ๆ ได้ แต่ไม่ได้แบ่งส่วนประกอบที่มีความหมาย Source: https://paschalidoud.github.io/neural_parts

การแบ่งส่วนประกอบนี้ทำได้โดยใช้เครือข่ายประสาทที่กลับด้าน (Invertible Neural Network) ซึ่งใช้การแปลงรูปทรงเชิงเส้นเพื่อสร้างส่วนประกอบที่มีความหมาย และคำนวณลำดับเชิงสัญลักษณ์ในการแปลงรูปทรง

สถาปัตยกรรม

Neural Parts ต้องสร้างสมดุลระหว่างคุณภาพการสร้างและความสมบูรณ์ของส่วนประกอบ เนื่องจากส่วนประกอบที่ซับซ้อนจะทำให้ระบบมีความซับซ้อนในการแบ่งส่วนประกอบ ดังนั้นสถาปัตยกรรมของ Neural Parts จึงถูกออกแบบมาเพื่อสร้างสมดุลระหว่างสองปัจจัยนี้

สถาปัตยกรรมของ Neural Parts ประกอบด้วยตัว抽출คุณลักษณะที่แปลงอินพุตเป็นเวกเตอร์ และส่วนประกอบการแปลงรูปทรงที่เรียนรู้การแปลงรูปทรงที่มีความหมาย

ส่วนแรกของตัว抽출คุณลักษณะใช้ ResNet-18 เพื่อ抽출คุณลักษณะจากภาพ ส่วนประกอบการแปลงรูปทรงใช้การแปลงรูปทรงที่มีค่าจริงและไม่มีการเก็บรักษา (real-valued non-volume preserving transformation)

การประเมิน

ระบบนี้ถูกทดสอบกับชุดข้อมูลสามชุด ได้แก่ Dynamic FAUST (2017), FreiHAND (2019) และ ShapeNet (2015) ของมหาวิทยาลัยสแตนฟอร์ด ชุดข้อมูล D-FAUST มี 38,640 เมชที่มีศูนย์กลางอยู่ที่มนุษย์ ซึ่งเหมาะสมสำหรับการทดสอบ ในขณะที่ชุดข้อมูล FreiHAND ใช้เพื่อสร้างเมช 5,000 ท่าทางมือ

การทดสอบนี้ถูกทดสอบกับวิธีการแบ่งส่วนประกอบที่ใช้พาร์ติเคิล รวมถึง Superquadrics, CvxNet และ H-SQs

ผลการทดสอบแสดงให้เห็นว่า Neural Parts ให้ผลลัพธ์ที่แม่นยำกว่า CvxNet ที่ระดับ 5 และ 25 พาร์ติเคิล ในบางกรณี วัตถุที่ง่ายๆ เช่น เก้าอี้ ไม่มีเรขาคณิตที่เพียงพอสำหรับการแบ่งส่วนประกอบที่มีความหมาย

สำหรับ FreiHAND Neural Parts ให้ผลลัพธ์ที่แม่นยำกว่าในด้านเรขาคณิต และสามารถจับรายละเอียดที่เล็กๆ เช่น ตำแหน่งของนิ้วหัวแม่มือ

สำหรับ Dynamic FAUST CvxNet และ SQs ถูกทดสอบกับ Neural Parts โดยใช้ 5 พาร์ติเคิลเพื่อจับลักษณะของมนุษย์ Neural Parts สามารถให้ผลลัพธ์ที่ดีขึ้นโดยไม่สูญเสียลักษณะสำคัญของเรขาคณิต

งานในอนาคต

นักวิจัยตั้งใจที่จะขยาย Neural Parts ไปยังการศึกษาที่ไม่ได้ให้เมชเป้าหมายโดยตรง โดยใช้เทคนิคการเรนเดอร์ที่มีความแตกต่าง เนื่องจากพาร์ติเคิลที่ใช้ในปัจจุบันคือทรงกลม นักวิจัยจึงกำลังพิจารณาใช้พาร์ติเคิลที่ซับซ้อนและแสดงออกได้มากกว่านี้