วิธีการทำงานของการสร้าง 3D จากมุมมองเดียว

ในอดีต โมเดลสำหรับการสร้าง 3D จากมุมมองเดียวที่สร้างขึ้นจากเครือข่ายประสาทเทียมมีผลการทำงานที่น่าประทับใจในการสร้าง 3D ในปีที่ผ่านมา การสร้าง 3D จากมุมมองเดียวได้กลายเป็นหัวข้อการวิจัยที่ได้รับความนิยมในุมชน AI โดยไม่คำนึงถึงวิธีการเฉพาะที่ใช้ ทุกๆ โมเดลการสร้าง 3D จากมุมมองเดียวมีการรวมเครือข่าย encoder-decoder ในเฟรมเวิร์กของตน ซึ่งเครือข่ายนี้ทำการให้เหตุผลที่ซับซ้อนเกี่ยวกับโครงสร้าง 3D ในพื้นที่เอาต์พุต

ในบทความนี้ เราจะสำรวจว่าการสร้าง 3D จากมุมมองเดียวทำงานอย่างไรในเวลาจริงและความท้าทายที่เฟรมเวิร์กเหล่านี้เผชิญในการสร้าง 3D เราจะพูดถึงส่วนประกอบและวิธีการสำคัญที่ใช้โดยโมเดลการสร้าง 3D จากมุมมองเดียวและสำรวจกลยุทธ์ที่สามารถปรับปรุงประสิทธิภาพของเฟรมเวิร์กเหล่านี้ได้ นอกจากนี้เรายังวิเคราะห์ผลลัพธ์ที่ได้จากเฟรมเวิร์กที่ใช้วิธีการ encoder-decoder ล่าสุด มาเริ่มกันเลย

การสร้าง 3D จากมุมมองเดียว

การสร้าง 3D จากมุมมองเดียวเกี่ยวข้องกับการสร้างโมเดล 3D ของวัตถุจากมุมมองเดียว หรือในคำอื่นๆ จากภาพเดียว ตัวอย่างเช่น การอนุมานโครงสร้าง 3D ของวัตถุ เช่น รถจักรยานยนต์จากภาพ เป็นกระบวนการที่ซับซ้อน ซึ่งรวมความรู้เกี่ยวกับการจัดเรียงโครงสร้างของส่วนต่างๆ คิวส์ภาพระดับต่ำ และข้อมูลเชิงอภิปรายระดับสูง สเปกตรัมนี้ครอบคลุมสองด้านหลักๆ: การสร้าง 3D และ การรู้จำ กระบวนการสร้าง 3D ระบุโครงสร้าง 3D ของภาพเข้าโดยใช้คิวส์ เช่น แสงเงา เนื้อสัมผัส และผลกระทบทางภาพ ในทางกลับกัน การรู้จำจะจำแนกภาพเข้าและค้นหาโมเดล 3D ที่เหมาะสมจากฐานข้อมูล

โมเดลการสร้าง 3D จากมุมมองเดียวในปัจจุบันอาจแตกต่างกันในด้านสถาปัตยกรรม แต่ถูกผูกไว้ด้วยการรวมโครงสร้าง encoder-decoder ในเฟรมเวิร์กของตน ในโครงสร้างนี้ encoder จะแมปภาพเข้าไปยังการแสดงออกที่ซ่อนอยู่ ในขณะที่ decoder จะทำการอนุมานที่ซับซ้อนเกี่ยวกับโครงสร้าง 3D ของพื้นที่เอาต์พุต เพื่อให้สามารถทำภารกิจนี้ได้สำเร็จ เครือข่ายจะต้องรวมทั้งสารสนเทศระดับสูงและระดับต่ำ นอกจากนี้ วิธีการ encoder-decoder ที่ทันสมัยหลายวิธียังพึ่งพาการรู้จำสำหรับการสร้าง 3D จากมุมมองเดียว ซึ่งจำกัดความสามารถในการสร้าง 3D ของพวกมัน

โดยปกติแล้ว โมเดลการสร้าง 3D จากมุมมองเดียวจะเข้าใกล้ภารกิจการสร้าง 3D โดยใช้แนวทางจากเงา โดยมีเนื้อสัมผัสและความไม่ชัดเจนเป็นมุมมองพิเศษสำหรับการสร้าง 3D เนื่องจากเทคนิคเหล่านี้ใช้คิวส์ความลึกเพียงคิวส์เดียว พวกมันจึงสามารถให้เหตุผลสำหรับส่วนของพื้นผิวที่มองเห็นได้ นอกจากนี้ โมเดลการสร้าง 3D จากมุมมองเดียวหลายรุ่นใช้คิวส์หลายคิวส์พร้อมกับความรู้เชิงโครงสร้างเพื่อประมาณความลึกจากภาพเดี่ยว ซึ่งช่วยให้เฟรมเวิร์กเหล่านี้สามารถคาดการณ์ความลึกของพื้นผิวที่มองเห็นได้

สำหรับการสร้าง 3D จากมุมมองเดียวที่มีประสิทธิภาพ โมเดลไม่เพียงแต่ต้องให้เหตุผลเกี่ยวกับโครงสร้าง 3D ของวัตถุที่มองเห็นได้ในภาพ แต่ยังต้องสร้างส่วนของวัตถุที่มองไม่เห็นในภาพโดยใช้ข้อมูลเบื้องต้นบางอย่างที่ได้เรียนรู้จากข้อมูล เพื่อให้บรรลุเป้าหมายนี้ โมเดลส่วนใหญ่ในปัจจุบันใช้โครงสร้างเครือข่ายประสาทเทียมที่ฝึกอบรมไว้เพื่อแมปภาพ 2 มิติไปยังรูปทรง 3 มิติโดยใช้การกำกับดูแลโดยตรง ในขณะที่เฟรมเวิร์กอื่นๆ ใช้การแสดงออกในรูปแบบวอกเซลของรูปทรง 3 มิติและใช้การแสดงออกที่ซ่อนอยู่เพื่อสร้างการขยาย 3 มิติขึ้นมาใหม่

การสร้าง 3D จากมุมมองเดียวเป็นงานที่ซับซ้อน เนื่องจากไม่เพียงแต่ต้องตีความข้อมูลภาพเชิงเรขาคณิตเท่านั้น แต่ยังต้องตีความเชิงอภิปรายด้วย แม้ว่าสิ่งเหล่านี้จะไม่แตกต่างกันโดยสิ้นเชิง แต่ก็ครอบคลุมสเปกตรัมตั้งแต่การสร้าง 3D เชิงเรขาคณิตไปจนถึงการรู้จำเชิงอภิปราย การสร้าง 3D ต้องใช้เหตุผลเชิงพิกเซลต่อพิกเซลของโครงสร้าง 3D ของวัตถุในภาพ และไม่ต้องการความเข้าใจเชิงอภิปรายของเนื้อหาของภาพ

แม้ว่าการรู้จำและการสร้าง 3D อาจแตกต่างกันอย่างมาก แต่ทั้งสองกระบวนการมักจะละเลยข้อมูลที่มีค่าในภาพเข้า ดังนั้นจึงควรใช้ทั้งสองกระบวนการร่วมกันเพื่อให้ได้ผลลัพธ์ที่ดีที่สุดและรูปทรง 3D ที่แม่นยำสำหรับการสร้าง 3D จากมุมมองเดียว

การสร้าง 3D จากมุมมองเดียว: การตั้งค่าแบบดั้งเดิม

เพื่ออธิบายการตั้งค่าแบบดั้งเดิมและวิเคราะห์การตั้งค่าของเฟรมเวิร์กการสร้าง 3D จากมุมมองเดียว เราจะใช้การตั้งค่ามาตรฐานสำหรับการประมาณรูปทรง 3D โดยใช้ภาพเดียวของวัตถุ ชุดข้อมูลที่ใช้ในการฝึกอบรมคือชุดข้อมูล ShapeNet และประเมินประสิทธิภาพข้าม 13 คลาส ซึ่งช่วยให้โมเดลเข้าใจว่าจำนวนคลาสในเซตข้อมูลกำหนดประสิทธิภาพการประมาณรูปทรงของโมเดลได้อย่างไร

เฟรมเวิร์กการสร้าง 3D จากมุมมองเดียวส่วนใหญ่ในปัจจุบันใช้ภาพเดียวเพื่อคาดการณ์โมเดล 3D ที่มีความละเอียดสูง และสามารถแบ่งออกเป็นหมวดตามการแสดงออกของเอาต์พุต: แผนที่ความลึก จุดเมฆ และตารางวอกเซล โมเดลใช้ OGN หรือเครือข่ายที่สร้างอ็อกทรีเป็นวิธีการแสดงออก และมักจะทำได้ดีกว่าแนวทางตารางวอกเซลและสามารถครอบคลุมการแสดงออกเอาต์พุตที่โดดเด่นได้

บรรทัดฐาน

เพื่อประเมินผลลัพธ์ โมเดลจะใช้บรรทัดฐานสองบรรทัดฐานที่พิจารณาปัญหาเป็นเพียงการรู้จำ บรรทัดฐานแรกเป็น基于การแบ่งกลุ่ม ในขณะที่บรรทัดฐานที่สองทำการค้นหาในฐานข้อมูล

การแบ่งกลุ่ม

ในบรรทัดฐานการแบ่งกลุ่ม โมเดลใช้อัลกอริทึม K-Means เพื่อแบ่งรูปทรงฝึกอบรมออกเป็น K กลุ่มย่อย และรันบนการวอกเซล 32*32*32 ที่แบนออกเป็นเวกเตอร์ หลังจากกำหนดการกำหนดกลุ่มแล้ว โมเดลจะกลับมาทำงานกับโมเดลที่มีความละเอียดสูงกว่า จากนั้นโมเดลจะคำนวณรูปทรงเฉลี่ยภายในแต่ละกลุ่มและตัดค่าเฉลี่ยที่ค่าเหมาะสมซึ่งคำนวณโดยการเพิ่มค่าเฉลี่ยของ IoU หรือการหักล้างมากกว่าโมเดลให้สูงสุด

การค้นหา

บรรทัดฐานการค้นหาจะเรียนรู้เพื่อฝังรูปทรงและภาพในพื้นที่ร่วม โดยพิจารณาความคล้ายคลึงกันแบบคู่ของเมทริกซ์ 3 มิติในเซตฝึกอบรมเพื่อสร้างพื้นที่ฝัง จากนั้นโมเดลจะใช้การ缩ภาพแบบหลายมิติพร้อมกับการแมป Sammon เพื่อบีบอัดแต่ละแถวในเมทริกซ์ให้เป็นตัวอธิบายที่มีมิติต่ำ

การวิเคราะห์

โมเดลการสร้าง 3D จากมุมมองเดียวติดตามกลยุทธ์ต่างๆ ซึ่งทำให้พวกมันเหนือกว่าโมเดลอื่นๆ ในบางพื้นที่ แต่ล้มเหลวในพื้นที่อื่นๆ เพื่อเปรียบเทียบเฟรมเวิร์กที่แตกต่างกันและประเมินประสิทธิภาพของพวกมัน เรามีเมตริกต่างๆ เช่น คะแนน IoU เฉลี่ย

ตามที่เห็นในภาพด้านบน โมเดลการสร้าง 3D ที่ทันสมัยที่มีสถาปัตยกรรมต่างๆ มอบประสิทธิภาพที่คล้ายกัน อย่างไรก็ตาม สิ่งที่น่าสนใจคือ แม้ว่าจะเป็นวิธีการรู้จำที่บริสุทธิ์ แต่เฟรมเวิร์กการค้นหานั้นเหนือกว่าโมเดลอื่นๆ ในด้านคะแนน IoU เฉลี่ยและค่ามัธยฐาน

เมตริกการประเมินทั่วไป

โมเดลการสร้าง 3D จากมุมมองเดียวมักใช้เมตริกการประเมินต่างๆ เพื่อวิเคราะห์ประสิทธิภาพของพวกมันในงานต่างๆ ต่อไปนี้เป็นเมตริกการประเมินที่ใช้ทั่วไป

การหักล้าง

ค่าเฉลี่ยของการหักล้างเป็นเมตริกที่ใช้ในการสร้าง 3D จากมุมมองเดียวเพื่อเป็นมาตรฐานสำหรับการประเมิน แม้ว่า IoU จะให้ข้อมูลบางอย่างเกี่ยวกับประสิทธิภาพของโมเดล แต่ก็ไม่ถือเป็นเมตริกเดียวที่ใช้ในการประเมินวิธีการ เนื่องจากมันบ่งบอกถึงคุณภาพของรูปทรงที่คาดการณ์โดยโมเดลเฉพาะเมื่อค่า IoU สูงมาก

ระยะทาง Chamfer

ระยะทาง Chamfer ถูกกำหนดไว้สำหรับเมฆจุด และได้รับการออกแบบให้สามารถใช้กับการแสดงออก 3 มิติที่แตกต่างกันได้อย่างเหมาะสม อย่างไรก็ตาม ระยะทาง Chamfer มีความไวต่อจุดผิดปกติ ซึ่งทำให้เป็นมาตรการที่มีปัญหาในการประเมินประสิทธิภาพของโมเดล

F-Score

F-Score เป็นเมตริกการประเมินที่ใช้กันอย่างแพร่หลายในโมเดลการสร้าง 3D จากมุมมองเดียวหลายรุ่น F-Score ถูกกำหนดเป็นค่าเฉลี่ยแบบฮาร์มอนิกระหว่างการเรียกคืนและความแม่นยำ และประเมินระยะห่างระหว่างพื้นผิวของวัตถุอย่างชัดเจน

การวิเคราะห์แบบต่อคลาส

ความคล้ายคลึงกันในการทำงานของเฟรมเวิร์กเหล่านี้ไม่สามารถเป็นผลมาจากวิธีการที่ทำงานบนชุดย่อยของคลาสที่แตกต่างกันได้ และต่อไปนี้แสดงให้เห็นถึงประสิทธิภาพที่สอดคล้องกันอย่างสม่ำเสมอข้ามคลาสต่างๆ โดยบรรทัดฐานการค้นหาของ Oracle (ORCL ) NN ได้รับผลลัพธ์ที่ดีที่สุด และทุกวิธีมีความแปรผันสูงสำหรับทุกคลาส

นอกจากนี้ จำนวนซ้ำของตัวอย่างฝึกอบรมที่มีอยู่สำหรับคลาสหนึ่งอาจทำให้คนคิดว่ามันส่งผลต่อประสิทธิภาพต่อคลาส แต่ตามที่แสดงในต่อไปนี้ จำนวนซ้ำของตัวอย่างที่มีอยู่สำหรับคลาสไม่ได้ส่งผลต่อประสิทธิภาพต่อคลาส และจำนวนซ้ำในคลาสและคะแนน IoU เฉลี่ยไม่สัมพันธ์กัน

การวิเคราะห์เชิงคุณภาพ

ผลลัพธ์เชิงปริมาณที่กล่าวถึงในตอนต้นได้รับการสนับสนุนจากผลลัพธ์เชิงคุณภาพดังที่แสดงในภาพต่อไปนี้

สำหรับคลาสส่วนใหญ่ ไม่มีความแตกต่างที่สำคัญระหว่างบรรทัดฐานการแบ่งกลุ่มและคาดการณ์ที่ทำโดยวิธีการที่ใช้ decoder โมเดลที่ใช้วิธีการแบ่งกลุ่มล้มเหลวในการให้ผลลัพธ์เมื่อระยะห่างระหว่างตัวอย่างและรูปทรงเฉลี่ยของกลุ่มสูง หรือเมื่อรูปทรงเฉลี่ยไม่สามารถอธิบายกลุ่มได้ดี

การสร้าง 3D จากมุมมองเดียว: ข้อคิดสุดท้าย

ในบทความนี้ เราได้พูดถึงการสร้าง 3D จากมุมมองเดียวและวิธีการทำงาน และพูดถึงบรรทัดฐานสองบรรทัดฐาน: การค้นหาและ分类 โดยบรรทัดฐานการค้นหานั้นเหนือกว่าโมเดลที่ทันสมัยทั้งหมด สุดท้ายนี้ แม้ว่าการสร้าง 3D จากมุมมองเดียวจะเป็นหนึ่งในหัวข้อที่ได้รับความนิยมและได้รับการวิจัยมากที่สุดในุมชน AI และแม้ว่าจะมีการพัฒนาที่สำคัญในช่วงไม่กี่ปีที่ผ่านมา การสร้าง 3D จากมุมมองเดียวยังคงไม่สมบูรณ์แบบและมีอุปสรรคที่สำคัญที่ต้อง克服ในอนาคต