มุมมองของ Anderson

AI ต้องเผชิญกับความยากในการตระหนักถึงขนาดของสถานที่สำคัญ

mm
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
AI-generated image (GPT-2 + Photoshop): High-angle view of a man holding a scale model of the Leaning Tower of Pisa on a grassy field, with an inset photograph showing the same model aligned from ground level to resemble the full-sized tower in the background.

โมเดลภาษา Vision Language ต理解สถานที่สำคัญ แต่ยังคงไม่สามารถมองเห็นภาพรวมได้…

 

หนึ่งในทักษะการอยู่รอดที่เราพัฒนาขึ้นในตอนแรกคือความสามารถในการแยกแยะระหว่างสิ่งที่ เล็กหรือห่างไกล เราสามารถปิดบังดวงจันทร์ด้วยนิ้วหัวแม่มือของเราโดยไม่ต้องคิดว่ามันเล็กเท่ากับเหรียญสิบเซนต์ เพราะเรามีความเข้าใจเกี่ยวกับขนาดที่สัมพันธ์กันภายในตัวเรา

สิ่งนี้เป็นงานที่ยากสำหรับระบบการมองเห็นของคอมพิวเตอร์ เนื่องจากส่วนใหญ่ขึ้นอยู่กับการทำเครื่องหมายล่วงหน้า ซึ่งไม่ช่วยให้พวกมัน ‘เข้าใจ’ ขนาดในลักษณะเดียวกันกับมนุษย์ นอกจากนี้ เมื่อเกินขีดจำกัดที่ใกล้และแน่นอน สิ่งที่อยู่ห่างไกลจะ เกิน ความสามารถของ การมองเห็นแบบสเตอริโอ ในการแก้ปัญหา – รถที่ปลายลานจอดรถ รถสูงในระยะทางที่อยู่ห่างออกไป และดวงจันทร์เสี้ยวที่ขึ้นเหนือสิ่งเหล่านั้น… ทั้งหมดนี้เป็น ‘สิ่งสองมิติ’ สำหรับระบบการเรียนรู้ของเครื่องโดยใช้การมองเห็นส่วนใหญ่

แน่นอนว่า เมื่อตัวอย่างเฉพาะของวัตถุ ‘ห่างไกล’ แต่เข้าใจผิดสิ้นเปลืองในข้อมูลการฝึกอบรม ระบบที่ได้เห็นข้อมูลนี้สามารถต้านทานการหลอกลวงได้:

ChatGPT-5.5 ไม่ได้รับผลกระทบจากสิ่งนี้อย่างมาก โทรทัศน์ท่องเที่ยวคลาสสิก

ChatGPT-5.5 ไม่ได้รับผลกระทบจากสิ่งนี้อย่างมาก โทรทัศน์ท่องเที่ยวคลาสสิก

หากพื้นที่ 潜在ของโมเดลที่ฝึกอบรมไม่มีข้อมูลเฉพาะและซ้ำ ๆ มากนัก มันจะจำเป็นต้อง สร้างแบบจำลอง และสร้างแนวคิดเกี่ยวกับขนาดที่เราเข้าใจเมื่ออายุน้อย โดยไม่มีสิ่งนี้ แม้แต่ตัวอย่างที่มีชื่อเสียงก็ยังสามารถทำให้เกิดการประมาณขนาดที่ไม่ถูกต้อง:

ในตัวอย่างเชิงคาดเดา này ซึ่งดัดแปลงจากเอกสารใหม่ที่เรากำลังตรวจสอบในวันนี้ มุมมองของกล้องมี Arc De Triomphe ในพื้นหลัง - แต่ระบบไม่ทราบขนาดของมัน และทำการเดาไม่ถูกต้อง

ในตัวอย่างเชิงคาดเดา này ซึ่งดัดแปลงจากเอกสารใหม่ที่เรากำลังตรวจสอบในวันนี้ มุมมองของกล้องมี Arc De Triomphe ในพื้นหลัง – แต่ระบบไม่ทราบขนาดของมัน และทำการเดาไม่ถูกต้อง แหล่งที่มา

อันตรายที่เกิดจากวัตถุที่เฉพาะเจาะจงและมีลักษณะเฉพาะเช่น Eiffel Tower คือระบบจะใช้ วิธีการหลอกลวง ในการประมาณขนาดที่ถูกต้องสำหรับโมเดลเดิม แต่ไม่ถูกต้องสำหรับ การจำลองแบบหลายแบบของสถานที่สำคัญในกรุงปารีส ซึ่งอยู่ห่างออกไปและไม่ใหญ่เท่ากัน

ดังนั้นจึงสำคัญที่ระบบการมองเห็นจะเข้าใกล้มุมมองที่ไม่เคยเห็นมาก่อนด้วยทักษะที่พร้อม และไม่ใช่แค่ ‘รหัสลับ’ เท่านั้น

การปรับขนาดขึ้น

เพื่อจุดประสงค์นี้ การร่วมมือใหม่ระหว่างสหรัฐอเมริกาและจีนเสนอชุดข้อมูลที่ช่วยแก้ปัญหา พร้อมด้วยวิธีการประมาณค่า ที่แก้ไขปัญหา:

แนวทางใหม่แก้ไขระบบก่อนหน้าผ่านวัสดุฝึกอบรมที่ดีขึ้น - ข้อมูลที่มีความหลากหลายเพียงพอในการให้ความเข้าใจที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับปัญหาเรื่องความลึก

แนวทางใหม่แก้ไขระบบก่อนหน้าผ่านวัสดุฝึกอบรมที่ดีขึ้น – ข้อมูลที่มีความหลากหลายเพียงพอในการให้ความเข้าใจที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับปัญหาเรื่องความลึก

เปิดตัวพร้อมกับ เว็บไซต์ ที่มาพร้อมกัน MetricScenes มีคุณสมบัติ ข้อมูล และ รหัส ที่เผยแพร่

เอกสารระบุว่า*:

‘[เรา] พบว่าวิธีการที่มีอยู่ในปัจจุบันบ่อยครั้งล้มเหลวในการประมาณขนาดของฉากที่ถูกต้อง ซึ่งนำไปสู่ปรากฏการณ์การล่มสลายของขนาดใน “สถานการณ์ในสนาม”‘

‘[รูปภาพด้านบน] แสดงตัวอย่างที่มีคำอ้างอิงเชิงพื้นฐานที่ชัดเจน (คน) แต่แบบจำลองอย่าง MoGe-2 แสดงความไม่สอดคล้องกันของขนาดอย่างมีนัยสำคัญในระยะทางที่แตกต่างกัน: ค่าขนาดเมตริกที่คาดการณ์ไว้สำหรับวัตถุใกล้ๆ นั้นเป็นไปได้ – ในกรณีนี้ นักท่องเที่ยวมีความสูงเป็นไปได้ – แต่ขนาดของโครงสร้างที่อยู่ห่างออกไปถูกประมาณการอย่างมาก – ที่นี่ Arc de Triomphe ในพื้นหลังถูกทำนายว่ามีขนาดเพียง 18.8 ม. ซึ่งมากกว่า 2 เท่าเล็กกว่าความกว้างจริง (44.8 ม.) ‘

‘MoGe-2 ได้เสนอสถานที่สำคัญที่ย่อขนาดลง แม้จะมีสัญญาณที่ตรงกันข้าม’

พลังของสาม

ชุดข้อมูลใหม่ของผู้เขียนประกอบด้วยสามชุดข้อมูลที่มีอยู่: MegaScenes, AerialMegaDepth และ Stereo4D:

ภาพตัวอย่างจาก MegaScenes ซึ่งเป็นส่วนหนึ่งของคุณสมบัติใหม่

ภาพตัวอย่างจาก MegaScenes ซึ่งเป็นส่วนหนึ่งของคุณสมบัติใหม่ แหล่งที่มา

ปัญหากับชุดข้อมูลที่เป็นส่วนประกอบของ MetricScenes เมื่อใช้แบบเดี่ยวๆ คือว่าแต่ละชุดข้อมูลใช้กับโดเมนจำกัด เช่น วิดีโอจากมุมมองของรถยนต์ หรือฉากภายใน เมื่อโดเมนที่รวมกันจำเป็นต้องแก้ไขปัญหาและนำระบบการมองเห็นเข้าใกล้ความเข้าใจเชิงแนวคิดของขนาดในลักษณะที่คล้ายกับมนุษย์

แต่ละภาพมาพร้อมกับภาพ RGB, ความลึกที่สังเกตได้บางส่วนซึ่งได้รับจาก Structure from Motion (SfM), Multi-View Stereo (MVS) หรือสิ่งอื่นๆ ที่เกี่ยวข้องกับเรขาคณิต พร้อมด้วยแผนที่ความลึกที่สมบูรณ์ซึ่งสร้างขึ้นผ่านกระบวนการ Poisson completion 两ขั้นตอน และเมตาดาต้าของกล้อง

การปรับให้เหมาะสม ของโครงสร้าง MoGe-2 บนชุดข้อมูลใหม่ ‘ลดความล้มเหลวของขนาดอย่างมาก’ ที่ผู้เขียนอ้างถึง โดยรายงานผลลัพธ์ที่ดีกว่าในฉากแบบเปิด และการทำงานที่ดีที่สุดในระดับแนวหน้าในบรรดาบンチมาร์กที่เกี่ยวข้อง

เอกสารใหม่ เรื่องนี้ มีชื่อเรื่องว่า ฮันนี่ ฉันทำ Arc de Triomphe เล็กลง! และมาจากนักวิจัยสี่คนจากมหาวิทยาลัยคอร์เนลและมหาวิทยาลัย Shanghai Jiao Tong

วิธีการ

MetricScenes ขึ้นอยู่กับ AerialMegaDepth และ MegaScenes ที่กล่าวถึงก่อนหน้านี้ – สองชุดของภาพถ่ายอินเทอร์เน็ตที่ครอบคลุม档案ประวัติศาสตร์ ภาพถ่ายท่องเที่ยว และการถ่ายภาพมืออาชีพ แม้ว่า MegaScenes จะให้การสร้างแบบจำลองขนาดใหญ่จาก Structure from Motion (SfM) แต่ฉากเหล่านี้ไม่มีขนาดจริงในโลกแห่งความเป็นจริง เพื่อแก้ไขปัญหานี้ ภาพถ่ายที่มีการจัดทำแผนที่ทางภูมิศาสตร์จากบริการแผนที่ออนไลน์ถูกนำมาใช้เพื่อจัดแนวการสร้างแบบจำลองกับตำแหน่งและขนาดทางกายภาพที่ทราบ

ในทางกลับกัน AerialMegaDepth มีการรวมการดูแผนที่โลกของ Google ที่มีการจัดทำแผนที่ทางภูมิศาสตร์แล้ว ซึ่งให้การสร้างแบบจำลองสถานที่สำคัญที่มีขนาดเมตริก

ข้อผิดพลาดที่อาจเกิดขึ้นในการสร้างแบบจำลองเนื่องจากโครงสร้างที่คล้ายกันแต่ห่างไกลทางภูมิศาสตร์ถูกจัดการโดยใช้ MASt3R-SfM และ Doppelgangers++ หลังจากการสร้างแบบจำลอง Multi-View Stereo (MVS) การประมาณค่าความลึกที่ไม่มั่นคงและอาการเลอะเทอะของความลึกถูกกรองโดยใช้การผสมผสานการตรวจสอบความมั่นคงและการคาดการณ์จาก MoGe-2:

AerialMegaDepth ได้รับขนาดจริงจากภาพถ่ายอินเทอร์เน็ตที่มีการจัดทำแผนที่ทางภูมิศาสตร์พร้อมกับการดูแผนที่โลกของ Google ในขณะที่ฉากของ MegaScenes ถูกจัดแนวให้เข้ากับขนาดทางกายภาพโดยใช้ภาพถ่ายระดับถนนแบบจัดทำแผนที่ทางภูมิศาสตร์ หลังจากการสร้างแบบจำลอง Multi-View Stereo (MVS) การประมาณค่าความลึกที่ไม่มั่นคงและอาการเลอะเทอะของความลึกถูกกรองออกไป ซึ่งทำให้ได้แผนที่ความลึกที่มีขนาดเมตริกที่สะอาดและเหมาะสมสำหรับการฝึกอบรม

AerialMegaDepth ได้รับขนาดจริงจากภาพถ่ายอินเทอร์เน็ตที่มีการจัดทำแผนที่ทางภูมิศาสตร์พร้อมกับการดูแผนที่โลกของ Google ในขณะที่ฉากของ MegaScenes ถูกจัดแนวให้เข้ากับขนาดทางกายภาพโดยใช้ภาพถ่ายระดับถนนแบบจัดทำแผนที่ทางภูมิศาสตร์ หลังจากการสร้างแบบจำลอง Multi-View Stereo (MVS) การประมาณค่าความลึกที่ไม่มั่นคงและอาการเลอะเทอะของความลึกถูกกรองออกไป ซึ่งทำให้ได้แผนที่ความลึกที่มีขนาดเมตริกที่สะอาดและเหมาะสมสำหรับการฝึกอบรม

ขนาดเมตริกถูกกู้คืนผ่านภาพถ่ายที่มีการจัดทำแผนที่ทางภูมิศาสตร์ AerialMegaDepth มีการดึงขนาดจากภาพเรนเดอร์ของ Google Earth ที่ถูกบันทึกจากตำแหน่งที่ทราบ ในขณะที่ MegaScenes ถูกจัดแนวให้เข้ากับขนาดทางกายภาพโดยใช้ภาพถ่ายระดับถนนแบบจัดทำแผนที่ทางภูมิศาสตร์จากบริการแผนที่

ภาพเหล่านี้ถูกจับคู่กับการสร้างแบบจำลองที่มีอยู่โดยใช้ MASt3R, ปรับให้เหมาะสมโดยใช้ Doppelganger, จัดแนวโดยใช้ COLMAP และปรับขนาดโดยใช้การประมาณค่าแบบ RANSAC โดยใช้พิกัด Earth-Centered, Earth-Fixed (ECEF) ฉากที่มีการประมาณขนาดที่ไม่น่าเชื่อถือหรือคุณภาพการลงทะเบียนที่ไม่ดีถูกทิ้ง

การมองเห็นแบบสเตอริโอ

ชุดข้อมูล MetricScenes ยังขึ้นอยู่กับชุดข้อมูล Stereo4D ซึ่งมีวิดีโอซีรีส์สเตอริโอสก็อปปี้จริงหลายพันซีรีส์ที่บันทึกด้วยกล้อง VR180 ซึ่งให้ขนาดเวลาในการจับภาพ:

ชุดข้อมูล Stereo4D ถูกสร้างขึ้นจากวิดีโอสเตอริโออินเทอร์เน็ตโดยการรวมตำแหน่งกล้อง, การประมาณค่าความลึก และเส้นทางการเคลื่อนไหวเพื่อกู้คืนฉาก 3 มิติแบบไดนามิกที่มีขนาด

ชุดข้อมูล Stereo4D ถูกสร้างขึ้นจากวิดีโอสเตอริโออินเทอร์เน็ตโดยการรวมตำแหน่งกล้อง, การประมาณค่าความลึก และเส้นทางการเคลื่อนไหวเพื่อกู้คืนฉาก 3 มิติแบบไดนามิกที่มีขนาด แหล่งที่มา

เนื่องจากระยะทางทางกายภาพระหว่างเลนส์กล้องทั้งสองตัวแตกต่างกันไปในอุปกรณ์ต่างๆ จึงใช้เฉพาะวิดีโอที่มีการกำหนดค่ากล้องที่มีการบันทึกไว้เท่านั้น ซึ่งช่วยให้สามารถกู้คืนความลึกของฉากได้ที่ขนาดจริงในโลกแห่งความเป็นจริง

Stereo4D เดิมใช้ระบบ SEA-RAFT สำหรับการประมาณการเรขาคณิตของฉาก แต่ผู้เขียนพบว่าการปรับเทียบกล้องที่ไม่สมบูรณ์สามารถบิดเบือนฉากที่สร้างขึ้นใหม่ ทำให้โครงสร้างที่ควรเป็นขนานกันกลายเป็นมุมที่ไม่เป็นธรรมชาติ ดังนั้นเพื่อปรับปรุงความแม่นยำ พวกเขาจึงแทนที่แนวทางนี้ด้วยการสร้างแบบจำลองหลายมุมมองที่ประมาณการตำแหน่งกล้องและความลึกจากหลายเฟรม

หลังจากการเปรียบเทียบ π³, DepthAnything V3 และ MapAnything π³ ถูกเลือกสำหรับความแข็งแกร่งทางเรขาคณิตและความสามารถในการรักษารายละเอียดที่ละเอียด:

การกู้คืนความลึกแบบเมตริกจาก Stereo4D วิธีการจับคู่สเตอริโอแบบมาตรฐานสามารถสร้างเรขาคณิตที่บิดเบี้ยวเมื่อการปรับเทียบกล้องไม่สมบูรณ์ ในขณะที่ π³ สร้างการสร้างแบบจำลองฉากที่สอดคล้องกันและรักษารายละเอียดที่ละเอียด

การกู้คืนความลึกแบบเมตริกจาก Stereo4D วิธีการจับคู่สเตอริโอแบบมาตรฐานสามารถสร้างเรขาคณิตที่บิดเบี้ยวเมื่อการปรับเทียบกล้องไม่สมบูรณ์ ในขณะที่ π³ สร้างการสร้างแบบจำลองฉากที่สอดคล้องกันและรักษารายละเอียดที่ละเอียด

เนื่องจาก π³ สร้างแบบจำลองฉากที่มีขนาดตามอำเภอใจ แผนที่ความลึกที่ได้ผลจึงถูกจัดแนวให้เข้ากับขนาดทางกายภาพโดยใช้ฐานทางกายภาพที่ทราบของกล้องสเตอริโอแต่ละตัว การกรองเพิ่มเติมกำจัดเฟรมที่มีคุณภาพต่ำ ความไม่สอดคล้องกันของความลึก ข้อผิดพลาดในการปรับเทียบ และการประมาณขนาดที่ไม่น่าเชื่อถือ

นอกจากนี้ยังมีการใช้กระบวนการเสร็จสิ้นความลึกแบบสองขั้นตอน โดยการรวมการคาดการณ์จาก MoGe-2 ด้วยเรขาคณิตพื้นหลังจาก Multi-View Stereo (MVS) ซึ่งสร้างข้อมูลฝึกอบรมที่สะอาดและมีขนาดเมตริกที่สอดคล้องกันมากขึ้นพร้อมด้วยขอบวัตถุที่ชัดเจน:

การเสร็จสิ้นความลึกแบบสองขั้นตอน โดยใช้เฉพาะアンカーพื้นหลังสามารถรักษาโครงสร้างของฉากได้ ในขณะที่การรวมアンカーพื้นหน้าและพื้นหลังในกระบวนการเดียวสามารถแนะนำการเปลี่ยนแปลงของขนาดและอาการเลอะเทอะของขอบ

การเสร็จสิ้นความลึกแบบสองขั้นตอน โดยใช้เฉพาะアンカーพื้นหลังสามารถรักษาโครงสร้างของฉากได้ ในขณะที่การรวมアンカーพื้นหน้าและพื้นหลังในกระบวนการเดียวสามารถแนะนำการเปลี่ยนแปลงของขนาดและอาการเลอะเทอะของขอบ

ผู้เขียนสังเกตเห็นว่าชุดภาพถ่ายอินเทอร์เน็ตมักขาดความลึกของพื้นหน้าที่เชื่อถือได้ ในขณะที่ภาพสเตอริโอมักขาดภูมิภาคพื้นหลังที่ไกลออกไป แม้ว่า MoGe-2 จะสามารถอนุมานเรขาคณิตที่หนาแน่นทั่วทั้งฉาก แต่การประมาณการของมันมักจะเอนเอียงไปสู่ปัญหา การล้มสลายของขนาด ที่โครงการนี้พยายามแก้ไข ดังนั้นกระบวนการเสร็จสิ้นความลึกแบบสองขั้นตอนจึงถูกออกแบบมาเพื่อรวมจุดแข็งของ MoGe-2 และ Multi-View Stereo (MVS)

เรขาคณิตพื้นหลังถูกกู้คืนโดยใช้アンカーจาก MVS ที่มีขนาดเมตริก สร้างแผนที่ความลึกพื้นฐานที่มีโครงสร้างขนาดใหญ่ที่เชื่อถือได้ ในขั้นตอนที่สอง การคาดการณ์จาก MoGe-2 ถูกนำกลับมาผ่านกระบวนการเสร็จสิ้นที่ตระหนักถึงขอบวัตถุ ซึ่งออกแบบมาเพื่อรักษาขอบวัตถุไว้ขณะป้องกันการเปลี่ยนแปลงของขนาดและอาการเลอะเทอะของความลึก

แผนที่ความลึกที่ผลิตโดยแนวทางนี้ เอกสารระบุว่า มีทั้งการมองเห็นและความสอดคล้องกันในขนาดจริงในโลก:

กระบวนการเสร็จสิ้นความลึกแบบสองขั้นตอน ในขั้นตอนที่ 1 ใช้アンカーจาก MVS เพื่อกู้คืนเรขาคณิตพื้นหลังที่มีขนาดเมตริก ในขั้นตอนที่ 2 การคาดการณ์จาก MoGe-2 ถูกนำกลับมาผ่านกระบวนการเสร็จสิ้นที่ตระหนักถึงขอบวัตถุ

กระบวนการเสร็จสิ้นความลึกแบบสองขั้นตอน ในขั้นตอนที่ 1 ใช้アンカーจาก MVS เพื่อกู้คืนเรขาคณิตพื้นหลังที่มีขนาดเมตริก ในขั้นตอนที่ 2 การคาดการณ์จาก MoGe-2 ถูกนำกลับมาผ่านกระบวนการเสร็จสิ้นที่ตระหนักถึงขอบวัตถุ

ข้อมูลและการทดสอบ

ชุดข้อมูล MetricScenes สุดท้ายประกอบด้วย 47,579 ภาพที่เป็นของโลกแห่งความเป็นจริงที่ครอบคลุม 134 ฉากจาก AerialMegaDepth; 29,583 ภาพจาก 356 ฉากจาก MegaScenes; และ 22,549 เฟรมจาก 1,725 วิดีโอจาก Stereo4D

ชุดข้อมูลนี้ ซึ่ง 10 ฉากต่อแหล่งถูกถือไว้สำหรับการ ตรวจสอบ ครอบคลุมบริบทภายนอกและภายใน ตลอดจนมุมมองระดับพื้นดินและอากาศ และภูมิประเทศเมืองและธรรมชาติ – บริบทที่รวบรวมและเชื่อมโยงกันซึ่งไม่มีอยู่ในคอลเลกชันใดคอลเลกชันเดียว

สำหรับการทดสอบคุณภาพเบื้องต้น ผู้เขียนปรับให้เหมาะสม MoGe-2 ViT-Large-Normal บนชุดข้อมูล MetricScenes ใหม่สำหรับ 10,000 การวนซ้ำที่ ขนาดชุดข้อมูล 32 – โดยประมาณสาม รอบการฝึก การตัดและขยายข้อมูลโดยทั่วไปถูกนำมาจากการทดสอบ MoGe-2 เดิม และการฝึกอบรมเกิดขึ้นที่ อัตราการเรียนรู้ 1×10-6 (ส่วนหลัง) และ 1×10-5 (พารามิเตอร์อื่นๆ) สำหรับการทดสอบคุณภาพ การสร้างแบบจำลองความลึกถูกดำเนินการโดย WildMoGe ที่ปรับให้เหมาะสม ซึ่งแข่งขันกับ MoGe-2 เดิม; DepthAnything V3; Metric3Dv2; UniDepth v2 ; และ DepthPro:

การเปรียบเทียบการสร้างแบบจำลองสถานที่สำคัญที่มีขนาดเมตริก การวัดจาก Google Maps แสดงในคอลัมน์ซ้าย WildMoGe สร้างการประมาณขนาดที่ใกล้เคียงกับขนาดที่ทราบมากกว่า MoGe-2, DepthAnything V3 และ Metric3D V2

การเปรียบเทียบการสร้างแบบจำลองสถานที่สำคัญที่มีขนาดเมตริก การวัดจาก Google Maps แสดงในคอลัมน์ซ้าย WildMoGe สร้างการประมาณขนาดที่ใกล้เคียงกับขนาดที่ทราบมากกว่า MoGe-2, DepthAnything V3 และ Metric3D V2

เกี่ยวกับผลลัพธ์นี้ เอกสารระบุว่า:

‘[WildMoGe] ประมาณการขนาดสัมบูรณ์ที่แม่นยำขึ้นในสถานที่สำคัญที่หลากหลาย โดยสอดคล้องกับขนาดที่ทราบ (เช่น 31.4 ม. เทียบกับ 32.4 ม. สำหรับพิพิธภัณฑ์ศิลปะฟิลาเดลเฟีย, 46.7 ม. เทียบกับ 46.5 ม. สำหรับ Piazza della Signorina) MoGe-2, DepthAnything v3 และ Metric3D v2 แสดงพฤติกรรมการล้มสลายของขนาด โดยประมาณการขนาดของโครงสร้างที่ไกลออกไปต่ำกว่าความเป็นจริง ‘

‘UniDepth v2 สร้างขนาดที่สมจริงขึ้น แต่ยังคงเบี่ยงเบนไปจากความเป็นจริง และ DepthPro มักล้มเหลวในการกู้คืนขนาดสัมบูรณ์ โดยสร้างผลลัพธ์ที่เล็กกว่าความเป็นจริงหลายอันดับของขนาด Note ที่ฉากเหล่านี้ไม่อยู่ในเซตการฝึกอบรม ‘

‘ผลลัพธ์นี้แสดงให้เห็นว่า WildMoGe สามารถสร้างแบบจำลองสำหรับเนื้อหาที่ไม่เคยเห็นมาก่อน แทนที่จะจดจำเฉพาะฉากการฝึกอบรมเท่านั้น’

เพื่อให้แน่ใจว่าการปรับปรุงที่พบไม่ได้จำกัดอยู่เพียงสถานที่สำคัญและฉากกลางแจ้งขนาดใหญ่ ผู้เขียนยังประเมิน WildMoGe บนภาพทั่วไปในระดับพื้นดินและในอาคาร โดยที่มันสร้างการประมาณขนาดที่กว้างขึ้นซึ่งสอดคล้องกับ MoGe-2 ในขณะที่บรรลุความแม่นยำที่ดีกว่าในฉาก ETH3D:

การเปรียบเทียบในฉากมาตรฐาน WildMoGe สร้างการประมาณขนาดที่กว้างขึ้นซึ่งสอดคล้องกับ MoGe-2 ในขณะที่บรรลุความแม่นยำที่ดีกว่าในฉาก ETH3D

การเปรียบเทียบในฉากมาตรฐาน WildMoGe สร้างการประมาณขนาดที่กว้างขึ้นซึ่งสอดคล้องกับ MoGe-2 ในขณะที่บรรลุความแม่นยำที่ดีกว่าในฉาก ETH3D

เพื่อประเมินว่า MetricScenes จริงๆ แล้วปรับปรุงการให้เหตุผลเกี่ยวกับขนาดเมตริกหรือไม่ การประเมินถูกดำเนินการบนเซตการทดสอบ MetricScenes ที่อุทิศและบน NYUv2; KITTI; ETH3D; iBims-1; GSO; Sintel; DDAD; DIODE; Spring; และ HAMMER

ผู้เขียนสังเกตว่าการได้รับการวัดที่หนาแน่นของความเป็นจริงสำหรับภาพอินเทอร์เน็ตที่ไม่มีข้อจำกัดยังคงยาก ซึ่งหมายความว่าป้ายกำกับ MetricScenes ไม่สมบูรณ์แบบ บンチมาร์กมาตรฐานถูกเพิ่มเข้ามาเพื่อยืนยันว่าการได้รับไม่ได้มาจากการเสียสละคุณภาพเรขาคณิตทั่วไป

การเปรียบเทียบถูกดำเนินการกับ MoGe-2; UniDepth V2; DepthPro; MASt3R; Depth Anything V2; Depth Anything V3; ZoeDepth; และ Metric3D V2:

การประเมินคุณภาพของเรขาคณิตสัมพัทธ์และเมตริก บนเซตการทดสอบ MetricScenes WildMoGe มีประสิทธิภาพเหนือกว่า MoGe-2 ในทุกเมตริกที่รายงาน ในขณะที่ยังคงแข่งขันกับ ZoeDepth, Metric3D V2, Depth Anything V2, Depth Anything V3, MASt3R, UniDepth V2 และ DepthPro บนบンチมาร์กที่จัดตั้งขึ้น

การประเมินคุณภาพของเรขาคณิตสัมพัทธ์และเมตริก บนเซตการทดสอบ MetricScenes WildMoGe มีประสิทธิภาพเหนือกว่า MoGe-2 ในทุกเมตริกที่รายงาน ในขณะที่ยังคงแข่งขันกับ ZoeDepth, Metric3D V2, Depth Anything V2, Depth Anything V3, MASt3R, UniDepth V2 และ DepthPro บนบンチมาร์กที่จัดตั้งขึ้น

WildMoGe ปรับปรุงการคาดการณ์ขนาดเมตริกอย่างมากบน MetricScenes โดยมีประสิทธิภาพเหนือกว่า MoGe-2 ในทุกเมตริกที่รายงาน และบรรลุผลลัพธ์เรขาคณิตเมตริกและความลึกที่เหนือกว่า MoGe-2, DepthAnything V3, Metric3D V2, UniDepth V2 และ DepthPro

การทำงานบน NYUv2, KITTI, ETH3D, iBims-1, GSO, Sintel, DDAD, DIODE, Spring และ HAMMER ยังคงแข่งขันกับ MoGe-2 ผู้เขียนให้เครดิตการได้รับเหล่านี้กับการดูแลขนาดเมตริกของ MetricScenes ซึ่งดูเหมือนจะช่วยลดการล้มสลายของขนาดในขณะเดียวกันก็รักษาคุณภาพการสร้างแบบจำลองฉากทั่วไป

สรุป

วิธีแก้ปัญหา MetricScenes สำหรับ ‘การล้มสลายของขนาด’ ดูเหมือนจะเป็นเรื่องของการผสมผสานชุดข้อมูลหลายชุด โดยแต่ละชุดมีมุมมองที่มีคุณค่าในการมีส่วนร่วม:

อาจเป็นไปได้ว่าบริการที่มีคุณค่าที่สุดของเอกสารคือการดึงความสนใจไปที่ปัญหา ซึ่งดูเหมือนจะต้องการมาตรฐานสากลใหม่หรือปรับเปลี่ยน แต่เนื่องจากนวัตกรรมดังกล่าวจะขัดขวางความสามารถในการทำซ้ำและความสอดคล้องของวิธีการปัจจุบัน จึงต้องมีความน่าเชื่อถือมาก

 

* การแปลงอ้างอิงอินไลน์ของผู้เขียนเป็นลิงก์

เผยแพร่ครั้งแรกวันพฤหัสบดีที่ 11 มิถุนายน พ.ศ. 2569

นักเขียนเกี่ยวกับเครื่องมือการเรียนรู้ของเครื่อง และผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์ อดีตหัวหน้าเนื้อหาวิจัยที่ Metaphysic.ai จนกระทั่งถูกยุบเข้ากับ Brahma.ai ของ DNEG
Portfolio site: martinanderson.ai
Contact: martin@martinanderson.ai