มุมมองของ Anderson
AI ต้องเผชิญกับความยากในการตระหนักถึงขนาดของสถานที่สำคัญ

ประเด็นสำคัญระบบการมองเห็นขาดสัญชาตญาณของมนุษย์ในการรับรู้ขนาดสัมพัทธ์…
ดูเพิ่มเติม
- ระบบการมองเห็นขาดสัญชาตญาณของมนุษย์ในการรับรู้ขนาดสัมพัทธ์ และมักย่อจุดสังเกตที่อยู่ไกลให้กลายเป็นของจำลองขนาดจิ๋ว
- MetricScenes รวมสามชุดข้อมูลเข้าด้วยกัน เนื่องจากแต่ละชุดเพียงลำพังครอบคลุมขอบเขตที่แคบเกินไปจนไม่สามารถสอนการรับรู้ขนาดทั่วไปได้
- การปรับละเอียดบน MetricScenes ช่วยลดการยุบตัวของขนาด และเอาชนะ MoGe-2 ได้ในทุกตัวชี้วัดที่รายงาน
โมเดลภาษา Vision Language เข้าใจสถานที่สำคัญ แต่ยังคงไม่สามารถมองเห็นภาพรวมได้…
หนึ่งในทักษะการอยู่รอดที่เราพัฒนาขึ้นในตอนแรกคือความสามารถในการแยกแยะระหว่างสิ่งที่ เล็กหรือห่างไกล เราสามารถปิดบังดวงจันทร์ด้วยนิ้วหัวแม่มือของเราโดยไม่ต้องคิดว่ามันเล็กเท่ากับเหรียญสิบเซนต์ เพราะเรามีความเข้าใจเกี่ยวกับขนาดที่สัมพันธ์กันภายในตัวเรา
สิ่งนี้เป็นงานที่ยากสำหรับระบบการมองเห็นของคอมพิวเตอร์ เนื่องจากส่วนใหญ่ขึ้นอยู่กับการทำเครื่องหมายล่วงหน้า ซึ่งไม่ช่วยให้พวกมัน ‘เข้าใจ’ ขนาดในลักษณะเดียวกันกับมนุษย์ นอกจากนี้ เมื่อเกินขีดจำกัดที่ใกล้และแน่นอน สิ่งที่อยู่ห่างไกลจะ เกิน ความสามารถของ การมองเห็นแบบสเตอริโอ ในการแก้ปัญหา – รถที่ปลายลานจอดรถ ตึกระฟ้าที่อยู่ไกลออกไป และดวงจันทร์เสี้ยวที่ขึ้นเหนือสิ่งเหล่านั้น… ทั้งหมดนี้เป็น ‘สิ่งสองมิติ’ สำหรับระบบการเรียนรู้ของเครื่องโดยใช้การมองเห็นส่วนใหญ่
แน่นอนว่า เมื่อตัวอย่างเฉพาะของวัตถุ ‘ห่างไกล’ ที่ถูกตีความผิดมีตัวอย่างอยู่มากในข้อมูลการฝึก ระบบที่ได้เห็นข้อมูลนี้สามารถต้านทานการหลอกลวงได้:

ChatGPT-5.5 ไม่หลงกลมุกถ่ายภาพลวงตาด้วยมุมมองแบบคลาสสิกของนักท่องเที่ยวนี้เลย
หากพื้นที่แฝงของโมเดลที่ฝึกอบรมไม่มีข้อมูลเฉพาะและซ้ำ ๆ มากนัก มันจะจำเป็นต้อง นำความรู้ไปใช้กับกรณีใหม่ และซึมซับแนวคิดเกี่ยวกับขนาดที่เราเข้าใจเมื่ออายุน้อย โดยไม่มีสิ่งนี้ แม้แต่ตัวอย่างที่มีชื่อเสียงก็ยังสามารถทำให้เกิดการประมาณขนาดที่ไม่ถูกต้อง:

ในตัวอย่างเชิงคาดเดานี้ ซึ่งดัดแปลงจากเอกสารใหม่ที่เรากำลังตรวจสอบในวันนี้ มุมมองของกล้องมี Arc De Triomphe ในพื้นหลัง – แต่ระบบไม่ทราบขนาดของมัน และทำการเดาไม่ถูกต้อง แหล่งที่มา
อันตรายที่เกิดจากวัตถุที่เฉพาะเจาะจงและมีลักษณะเฉพาะเช่น Eiffel Tower คือระบบจะใช้ ทางลัด ในการประมาณขนาดที่ถูกต้องสำหรับโมเดลเดิม แต่ไม่ถูกต้องสำหรับ การจำลองแบบหลายแบบของสถานที่สำคัญในกรุงปารีส ซึ่งอยู่ไกลเกินระยะที่สเตอริโอจะแยกความลึกได้เช่นกัน แต่มีขนาดเล็กกว่าต้นฉบับมาก
ดังนั้นจึงสำคัญที่ระบบการมองเห็นจะเข้าใกล้มุมมองที่ไม่เคยเห็นมาก่อนด้วยทักษะที่พร้อม และไม่ใช่แค่ ‘รหัสลับ’ เท่านั้น
การปรับขนาดขึ้น
เพื่อจุดประสงค์นี้ การร่วมมือใหม่ระหว่างสหรัฐอเมริกาและจีนเสนอชุดข้อมูลที่ช่วยแก้ปัญหา พร้อมด้วยวิธีการประมาณค่า ที่แก้ไขปัญหา:

แนวทางใหม่แก้ไขระบบก่อนหน้าผ่านวัสดุฝึกอบรมที่ดีขึ้น – ข้อมูลที่มีความหลากหลายเพียงพอในการให้ความเข้าใจที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับปัญหาเรื่องความลึก
เปิดตัวพร้อมกับ เว็บไซต์ ที่มาพร้อมกัน MetricScenes มีคุณสมบัติ ข้อมูล และ รหัส ที่เผยแพร่
เอกสารระบุว่า*:
‘[เรา] พบว่าวิธีการที่มีอยู่ในปัจจุบันบ่อยครั้งล้มเหลวในการประมาณขนาดของฉากที่ถูกต้อง ซึ่งนำไปสู่ปรากฏการณ์การล่มสลายของขนาดใน “สถานการณ์ในสนาม”‘
‘[รูปภาพด้านบน] แสดงตัวอย่างที่มีสิ่งอ้างอิงเชิงความหมายที่ชัดเจน (คน) แต่แบบจำลองอย่าง MoGe-2 แสดงความไม่สอดคล้องกันของขนาดอย่างมีนัยสำคัญในระยะทางที่แตกต่างกัน: ค่าขนาดเมตริกที่คาดการณ์ไว้สำหรับวัตถุใกล้ๆ นั้นเป็นไปได้ – ในกรณีนี้ นักท่องเที่ยวมีความสูงเป็นไปได้ – แต่ขนาดของโครงสร้างที่อยู่ห่างออกไปถูกประเมินขนาดต่ำกว่าความจริงอย่างมาก – ที่นี่ Arc de Triomphe ในพื้นหลังถูกทำนายว่ามีความกว้างเพียง 18.8 ม. ซึ่งน้อยกว่าครึ่งหนึ่งของความกว้างจริง (44.8 ม.) ‘
‘MoGe-2 ได้เสนอสถานที่สำคัญที่ย่อขนาดลง แม้จะมีสัญญาณที่ตรงกันข้าม’ [1]
พลังของสาม
ชุดข้อมูลใหม่ของผู้เขียนประกอบด้วยสามชุดข้อมูลที่มีอยู่: MegaScenes, AerialMegaDepth และ Stereo4D:

ภาพตัวอย่างจาก MegaScenes ซึ่งเป็นส่วนหนึ่งของชุดข้อมูลที่รวบรวมขึ้นใหม่นี้ แหล่งที่มา
ปัญหากับชุดข้อมูลที่เป็นส่วนประกอบของ MetricScenes เมื่อใช้แบบเดี่ยวๆ คือว่าแต่ละชุดข้อมูลใช้กับโดเมนจำกัด เช่น วิดีโอจากมุมมองของรถยนต์ หรือฉากภายใน เมื่อโดเมนที่รวมกันจำเป็นต้องแก้ไขปัญหาและนำระบบการมองเห็นเข้าใกล้ความเข้าใจเชิงแนวคิดของขนาดในลักษณะที่คล้ายกับมนุษย์
แต่ละภาพมาพร้อมกับภาพ RGB, ความลึกที่สังเกตได้บางส่วนซึ่งได้รับจาก Structure from Motion (SfM), Multi-View Stereo (MVS) หรือข้อมูลเรขาคณิตที่ทราบล่วงหน้าอื่น ๆ พร้อมด้วยแผนที่ความลึกที่สมบูรณ์ซึ่งสร้างขึ้นผ่านกระบวนการ Poisson completion สองขั้นตอน และเมตาดาต้าของกล้อง
การปรับให้เหมาะสม ของโครงสร้าง MoGe-2 บนชุดข้อมูลใหม่ ‘ลดความล้มเหลวของขนาดอย่างมาก’ ที่ผู้เขียนอ้างถึง โดยรายงานผลลัพธ์ที่ดีกว่าในฉากแบบเปิด และการทำงานที่ดีที่สุดในระดับแนวหน้าในบรรดาเกณฑ์มาตรฐานที่เกี่ยวข้อง [1]
เอกสารใหม่ เรื่องนี้ มีชื่อเรื่องว่า Honey, I Shrunk the Arc de Triomphe! และมาจากนักวิจัยสี่คนจากมหาวิทยาลัยคอร์เนลและมหาวิทยาลัย Shanghai Jiao Tong
วิธีการ
MetricScenes ขึ้นอยู่กับ AerialMegaDepth และ MegaScenes ที่กล่าวถึงก่อนหน้านี้ – สองชุดของภาพถ่ายอินเทอร์เน็ตที่ครอบคลุมคลังภาพประวัติศาสตร์ ภาพถ่ายท่องเที่ยว และการถ่ายภาพมืออาชีพ แม้ว่า MegaScenes จะให้การสร้างแบบจำลองขนาดใหญ่จาก Structure from Motion (SfM) แต่ฉากเหล่านี้ไม่มีขนาดจริงในโลกแห่งความเป็นจริง เพื่อแก้ไขปัญหานี้ ภาพถ่ายที่มีการจัดทำแผนที่ทางภูมิศาสตร์จากบริการแผนที่ออนไลน์ถูกนำมาใช้เพื่อจัดแนวการสร้างแบบจำลองกับตำแหน่งและขนาดทางกายภาพที่ทราบ
ในทางกลับกัน AerialMegaDepth มีการรวมการดูแผนที่โลกของ Google ที่มีการจัดทำแผนที่ทางภูมิศาสตร์แล้ว ซึ่งให้การสร้างแบบจำลองสถานที่สำคัญที่มีขนาดเมตริก
ข้อผิดพลาดที่อาจเกิดขึ้นในการสร้างแบบจำลองเนื่องจากโครงสร้างที่คล้ายกันแต่ห่างไกลทางภูมิศาสตร์ถูกจัดการโดยใช้ MASt3R-SfM และ Doppelgangers++ หลังจากการสร้างแบบจำลอง Multi-View Stereo (MVS) การประมาณค่าความลึกที่ไม่มั่นคงและอาการเลอะเทอะของความลึกถูกกรองโดยใช้การผสมผสานการตรวจสอบความมั่นคงและการคาดการณ์จาก MoGe-2:

AerialMegaDepth ได้รับขนาดจริงจากภาพถ่ายอินเทอร์เน็ตที่มีการจัดทำแผนที่ทางภูมิศาสตร์พร้อมกับการดูแผนที่โลกของ Google ในขณะที่ฉากของ MegaScenes ถูกจัดแนวให้เข้ากับขนาดทางกายภาพโดยใช้ภาพถ่ายระดับถนนแบบจัดทำแผนที่ทางภูมิศาสตร์ หลังจากการสร้างแบบจำลอง Multi-View Stereo (MVS) การประมาณค่าความลึกที่ไม่มั่นคงและอาการเลอะเทอะของความลึกถูกกรองออกไป ซึ่งทำให้ได้แผนที่ความลึกที่มีขนาดเมตริกที่สะอาดและเหมาะสมสำหรับการฝึกอบรม กรอบสีเหลืองแสดงวัตถุชั่วคราวที่ถูกนำออกระหว่างประมวลผล ส่วนกรอบสีแดงแสดงบริเวณที่แก้ไขการรั่วไหลของค่าความลึกแล้ว
ขนาดเมตริกถูกกู้คืนผ่านภาพถ่ายที่มีการจัดทำแผนที่ทางภูมิศาสตร์ AerialMegaDepth มีการดึงขนาดจากภาพเรนเดอร์ของ Google Earth ที่ถูกบันทึกจากตำแหน่งที่ทราบ ในขณะที่ MegaScenes ถูกจัดแนวให้เข้ากับขนาดทางกายภาพโดยใช้ภาพถ่ายระดับถนนแบบจัดทำแผนที่ทางภูมิศาสตร์จากบริการแผนที่
ภาพเหล่านี้ถูกจับคู่กับการสร้างแบบจำลองที่มีอยู่โดยใช้ MASt3R, ปรับให้เหมาะสมโดยใช้ Doppelganger, จัดแนวโดยใช้ COLMAP และปรับขนาดโดยใช้การประมาณค่าแบบ RANSAC โดยใช้พิกัด Earth-Centered, Earth-Fixed (ECEF) ฉากที่มีการประมาณขนาดที่ไม่น่าเชื่อถือหรือคุณภาพการลงทะเบียนที่ไม่ดีถูกทิ้ง
การมองเห็นแบบสเตอริโอ
ชุดข้อมูล MetricScenes ยังขึ้นอยู่กับชุดข้อมูล Stereo4D ซึ่งมีวิดีโอซีรีส์สเตอริโอสก็อปปี้จริงหลายพันซีรีส์ที่บันทึกด้วยกล้อง VR180 ซึ่งเพิ่มมิติด้านเวลาให้กับข้อมูลที่บันทึก:

ชุดข้อมูล Stereo4D ถูกสร้างขึ้นจากวิดีโอสเตอริโออินเทอร์เน็ตโดยการรวมตำแหน่งกล้อง, การประมาณค่าความลึก และเส้นทางการเคลื่อนไหวเพื่อกู้คืนฉากสามมิติที่เคลื่อนไหวในปริมาณมาก ชุดข้อมูลที่ได้มีคลิปวิดีโอหลายแสนคลิป แสดงในรูปเมฆจุดพร้อมเส้นทางการเคลื่อนไหวระยะยาว จึงเป็นแหล่งข้อมูลเรขาคณิตและการเคลื่อนไหวสามมิติในโลกจริงขนาดใหญ่สำหรับฝึกโมเดลการมองเห็น แหล่งที่มา
เนื่องจากระยะทางทางกายภาพระหว่างเลนส์กล้องทั้งสองตัวแตกต่างกันไปในอุปกรณ์ต่างๆ จึงใช้เฉพาะวิดีโอที่มีการกำหนดค่ากล้องที่มีการบันทึกไว้เท่านั้น ซึ่งช่วยให้สามารถกู้คืนความลึกของฉากได้ที่ขนาดจริงในโลกแห่งความเป็นจริง
Stereo4D เดิมใช้ระบบ SEA-RAFT สำหรับการประมาณการเรขาคณิตของฉาก แต่ผู้เขียนพบว่าการปรับเทียบกล้องที่ไม่สมบูรณ์สามารถบิดเบือนฉากที่สร้างขึ้นใหม่ ทำให้โครงสร้างที่ควรเป็นขนานกันลู่เข้าหากันอย่างไม่เป็นธรรมชาติ ดังนั้นเพื่อปรับปรุงความแม่นยำ พวกเขาจึงแทนที่แนวทางนี้ด้วยการสร้างแบบจำลองหลายมุมมองที่ประมาณการตำแหน่งกล้องและความลึกจากหลายเฟรม
หลังจากการเปรียบเทียบ π³, DepthAnything V3 และ MapAnything π³ ถูกเลือกสำหรับความแข็งแกร่งทางเรขาคณิตและความสามารถในการรักษารายละเอียดที่ละเอียด:

การกู้คืนความลึกแบบเมตริกจาก Stereo4D วิธีการจับคู่สเตอริโอแบบมาตรฐานสามารถสร้างเรขาคณิตที่บิดเบี้ยวเมื่อการปรับเทียบกล้องไม่สมบูรณ์ ในขณะที่ π³ สร้างการสร้างแบบจำลองฉากที่สอดคล้องกันและรักษารายละเอียดเล็ก ๆ จากนั้นเรขาคณิตที่กู้คืนจะถูกจัดแนวกับระยะฐานทางกายภาพที่ทราบของกล้องสเตอริโอ ทำให้ได้แผนที่ความลึกเมตริกที่ปรับมาตราส่วนอย่างแม่นยำ
เนื่องจาก π³ สร้างแบบจำลองฉากที่มีขนาดตามอำเภอใจ แผนที่ความลึกที่ได้ผลจึงถูกจัดแนวให้เข้ากับขนาดทางกายภาพโดยใช้ฐานทางกายภาพที่ทราบของกล้องสเตอริโอแต่ละตัว การกรองเพิ่มเติมกำจัดเฟรมที่มีคุณภาพต่ำ ความไม่สอดคล้องกันของความลึก ข้อผิดพลาดในการปรับเทียบ และการประมาณขนาดที่ไม่น่าเชื่อถือ
นอกจากนี้ยังมีการใช้กระบวนการเติมเต็มความลึกแบบสองขั้นตอน โดยการรวมการคาดการณ์บริเวณฉากหน้าจาก MoGe-2 ด้วยเรขาคณิตพื้นหลังจาก Multi-View Stereo (MVS) ซึ่งสร้างข้อมูลฝึกอบรมที่สะอาดและมีขนาดเมตริกที่สอดคล้องกันมากขึ้นพร้อมด้วยขอบวัตถุที่ชัดเจน:

การเติมเต็มความลึกแบบสองขั้นตอน การใช้เฉพาะจุดยึดพื้นหลังอาจรักษาโครงสร้างฉากได้แต่ทำให้มาตราส่วนโดยรวมผิดเพี้ยน ในขณะที่การรวมจุดยึดพื้นหน้าและพื้นหลังในกระบวนการเดียวสามารถแนะนำการเปลี่ยนแปลงของขนาดและความผิดเพี้ยนบริเวณขอบ แนวทางสองขั้นตอนรักษามาตราส่วนเมตริกให้สอดคล้องกันทั้งวัตถุใกล้และไกล พร้อมรักษาขอบวัตถุให้คมชัด
ผู้เขียนสังเกตเห็นว่าชุดภาพถ่ายอินเทอร์เน็ตมักขาดความลึกของพื้นหน้าที่เชื่อถือได้ ในขณะที่ภาพสเตอริโอมักขาดภูมิภาคพื้นหลังที่ไกลออกไป แม้ว่า MoGe-2 จะสามารถอนุมานเรขาคณิตที่หนาแน่นทั่วทั้งฉาก แต่การประมาณการของมันมักจะเอนเอียงไปสู่ปัญหา การล้มสลายของขนาด ที่โครงการนี้พยายามแก้ไข ดังนั้นกระบวนการเติมเต็มความลึกแบบสองขั้นตอนจึงถูกออกแบบมาเพื่อรวมจุดแข็งของ MoGe-2 และ Multi-View Stereo (MVS)
เรขาคณิตพื้นหลังถูกกู้คืนโดยใช้จุดยึดจาก MVS ที่มีขนาดเมตริก สร้างแผนที่ความลึกพื้นฐานที่มีโครงสร้างขนาดใหญ่ที่เชื่อถือได้ ในขั้นตอนที่สอง การคาดการณ์บริเวณฉากหน้าจาก MoGe-2 ถูกนำกลับมาผ่านกระบวนการเติมเต็มที่ตระหนักถึงขอบวัตถุ ซึ่งออกแบบมาเพื่อรักษาขอบวัตถุไว้ขณะป้องกันการเปลี่ยนแปลงของขนาดและอาการเลอะเทอะของความลึก
แผนที่ความลึกที่ผลิตโดยแนวทางนี้ เอกสารระบุว่า สมบูรณ์ในเชิงภาพและสอดคล้องกับมาตราส่วนจริงมากขึ้น:

กระบวนการเติมเต็มความลึกแบบสองขั้นตอน ในขั้นตอนที่ 1 ใช้จุดยึดจาก MVS เพื่อกู้คืนเรขาคณิตพื้นหลังที่มีขนาดเมตริก ในขั้นตอนที่ 2 การคาดการณ์บริเวณฉากหน้าจาก MoGe-2 ถูกนำกลับมาผ่านกระบวนการเติมเต็มที่ตระหนักถึงขอบวัตถุ เพื่อให้ได้แผนที่ความลึกสุดท้ายที่รักษาทั้งความแม่นยำของโครงสร้างขนาดใหญ่และรายละเอียดเฉพาะจุดที่คมชัด
ข้อมูลและการทดสอบ
ชุดข้อมูล MetricScenes สุดท้ายประกอบด้วย 47,579 ภาพที่เป็นของโลกแห่งความเป็นจริงที่ครอบคลุม 134 ฉากจาก AerialMegaDepth; 29,583 ภาพจาก 356 ฉากจาก MegaScenes; และ 22,549 เฟรมจาก 1,725 วิดีโอจาก Stereo4D
ชุดข้อมูลนี้ ซึ่ง 10 ฉากต่อแหล่งถูกถือไว้สำหรับการ ตรวจสอบ ครอบคลุมบริบทภายนอกและภายใน ตลอดจนมุมมองระดับพื้นดินและอากาศ และภูมิประเทศเมืองและธรรมชาติ – บริบทที่รวบรวมและเชื่อมโยงกันซึ่งไม่มีอยู่ในคอลเลกชันใดคอลเลกชันเดียว
สำหรับการทดสอบเชิงคุณภาพเบื้องต้น ผู้เขียนปรับให้เหมาะสม MoGe-2 ViT-Large-Normal บนชุดข้อมูล MetricScenes ใหม่สำหรับ 10,000 การวนซ้ำที่ ขนาดแบตช์ 32 – โดยประมาณสาม รอบการฝึก การตัดและขยายข้อมูลโดยทั่วไปถูกนำมาจากการทดสอบ MoGe-2 เดิม และการฝึกอบรมเกิดขึ้นที่ อัตราการเรียนรู้ 1×10-6 (โครงข่ายแกนหลัก) และ 1×10-5 (พารามิเตอร์อื่นๆ) สำหรับการทดสอบเชิงคุณภาพ การสร้างแบบจำลองความลึกถูกดำเนินการโดย WildMoGe ที่ปรับให้เหมาะสม ซึ่งแข่งขันกับ MoGe-2 เดิม; DepthAnything V3; Metric3Dv2; UniDepth v2 ; และ DepthPro:

การเปรียบเทียบการสร้างแบบจำลองสถานที่สำคัญที่มีขนาดเมตริก การวัดจาก Google Maps แสดงในคอลัมน์ซ้าย WildMoGe สร้างการประมาณขนาดที่ใกล้เคียงกับขนาดที่ทราบมากกว่า MoGe-2, DepthAnything V3 และ Metric3D V2 ซึ่งมักประเมินขนาดโครงสร้างที่อยู่ไกลต่ำกว่าความจริง โดยเป็นการทดสอบกับสถานที่จริงที่ไม่เคยเห็นระหว่างฝึก ส่วน UniDepth V2 มักให้มาตราส่วนที่สมเหตุสมผลกว่าแต่ยังไม่สม่ำเสมอ ขณะที่ DepthPro บางครั้งเกิดข้อผิดพลาดด้านมาตราส่วนรุนแรง
เกี่ยวกับผลลัพธ์นี้ เอกสารระบุว่า:
‘[WildMoGe] ประมาณการขนาดสัมบูรณ์ที่แม่นยำขึ้นในสถานที่สำคัญที่หลากหลาย โดยสอดคล้องกับขนาดที่ทราบ (เช่น 31.4 ม. เทียบกับ 32.4 ม. สำหรับพิพิธภัณฑ์ศิลปะฟิลาเดลเฟีย, 46.7 ม. เทียบกับ 46.5 ม. สำหรับ Piazza della Signorina) MoGe-2, DepthAnything v3 และ Metric3D v2 แสดงพฤติกรรมการล้มสลายของขนาด โดยประมาณการขนาดของโครงสร้างที่ไกลออกไปต่ำกว่าความเป็นจริง ‘
‘UniDepth v2 สร้างขนาดที่สมจริงขึ้น แต่ยังคงเบี่ยงเบนไปจากความเป็นจริง และ DepthPro มักล้มเหลวในการกู้คืนขนาดสัมบูรณ์ โดยสร้างผลลัพธ์ที่เล็กกว่าความเป็นจริงหลายอันดับของขนาด โปรดสังเกตว่าฉากเหล่านี้ไม่อยู่ในเซตการฝึกอบรม ‘
‘ผลลัพธ์นี้แสดงให้เห็นว่า WildMoGe สามารถสร้างแบบจำลองสำหรับเนื้อหาที่ไม่เคยเห็นมาก่อน แทนที่จะจดจำเฉพาะฉากการฝึกอบรมเท่านั้น’
เพื่อให้แน่ใจว่าการปรับปรุงที่พบไม่ได้จำกัดอยู่เพียงสถานที่สำคัญและฉากกลางแจ้งขนาดใหญ่ ผู้เขียนยังประเมิน WildMoGe บนภาพทั่วไปในระดับพื้นดินและในอาคาร โดยที่มันสร้างการประมาณขนาดที่โดยรวมสอดคล้องกับ MoGe-2 ในขณะที่บรรลุความแม่นยำที่ดีกว่าในฉาก ETH3D:

การเปรียบเทียบในฉากมาตรฐาน WildMoGe สร้างการประมาณขนาดที่โดยรวมสอดคล้องกับ MoGe-2 ในขณะที่บรรลุความแม่นยำที่ดีกว่าในฉากลานภายในของ ETH3D โดยกู้คืนขนาดวัตถุได้ใกล้เคียงค่าที่วัดจริงมากขึ้น
เพื่อประเมินว่า MetricScenes จริงๆ แล้วปรับปรุงการให้เหตุผลเกี่ยวกับขนาดเมตริกหรือไม่ การประเมินถูกดำเนินการบนชุดทดสอบ MetricScenes โดยเฉพาะและบน NYUv2; KITTI; ETH3D; iBims-1; GSO; Sintel; DDAD; DIODE; Spring; และ HAMMER
ผู้เขียนสังเกตว่าการได้รับการวัดที่หนาแน่นของความเป็นจริงสำหรับภาพอินเทอร์เน็ตที่ไม่มีข้อจำกัดยังคงยาก ซึ่งหมายความว่าป้ายกำกับ MetricScenes ไม่สมบูรณ์แบบ เกณฑ์มาตรฐานมาตรฐานถูกเพิ่มเข้ามาเพื่อยืนยันว่าการได้รับไม่ได้มาจากการเสียสละคุณภาพเรขาคณิตทั่วไป
การเปรียบเทียบถูกดำเนินการกับ MoGe-2; UniDepth V2; DepthPro; MASt3R; Depth Anything V2; Depth Anything V3; ZoeDepth; และ Metric3D V2:

การประเมินเชิงปริมาณของเรขาคณิตสัมพัทธ์และเมตริก บนเซตการทดสอบ MetricScenes WildMoGe มีประสิทธิภาพเหนือกว่า MoGe-2 ในทุกเมตริกที่รายงาน ในขณะที่ยังคงแข่งขันกับ ZoeDepth, Metric3D V2, Depth Anything V2, Depth Anything V3, MASt3R, UniDepth V2 และ DepthPro บนเกณฑ์มาตรฐานที่ใช้กันอยู่ ผลนี้ชี้ว่าการประมาณมาตราส่วนเมตริกดีขึ้นโดยไม่เสียคุณภาพการสร้างเรขาคณิตทั่วไปกลับคืน
WildMoGe ปรับปรุงการคาดการณ์ขนาดเมตริกอย่างมากบน MetricScenes โดยมีประสิทธิภาพเหนือกว่า MoGe-2 ในทุกเมตริกที่รายงาน และบรรลุผลลัพธ์เรขาคณิตเมตริกและความลึกที่เหนือกว่า MoGe-2, DepthAnything V3, Metric3D V2, UniDepth V2 และ DepthPro [1]
การทำงานบน NYUv2, KITTI, ETH3D, iBims-1, GSO, Sintel, DDAD, DIODE, Spring และ HAMMER ยังคงใกล้เคียงกับ MoGe-2 โดยรวม ผู้เขียนให้เครดิตการได้รับเหล่านี้กับการดูแลขนาดเมตริกของ MetricScenes ซึ่งดูเหมือนจะช่วยลดการล้มสลายของขนาดในขณะเดียวกันก็รักษาคุณภาพการสร้างแบบจำลองฉากทั่วไป
สรุป
วิธีแก้ปัญหา MetricScenes สำหรับ ‘การล้มสลายของขนาด’ ดูเหมือนจะเป็นเรื่องของการผสมผสานชุดข้อมูลหลายชุด โดยแต่ละชุดมีมุมมองที่มีคุณค่า นี่ดูคล้ายเครื่องประดิษฐ์ซับซ้อนแบบ Heath-Robinson ซึ่งนำหลายชุดข้อมูลมาผสานและกลั่นกรองเป็นความพยายามเฮือกสุดท้าย และคล้ายการพยายามรู้รูปร่างของช้างด้วยการคลำ
อาจเป็นไปได้ว่าบริการที่มีคุณค่าที่สุดของเอกสารคือการดึงความสนใจไปที่ปัญหา ซึ่งดูเหมือนจะต้องการมาตรฐานสากลใหม่หรือปรับเปลี่ยน แต่เนื่องจากนวัตกรรมดังกล่าวจะขัดขวางความสามารถในการทำซ้ำและความสอดคล้องของวิธีการปัจจุบัน จึงต้องมีความน่าเชื่อถือมาก
* การแปลงอ้างอิงอินไลน์ของผู้เขียนเป็นลิงก์
เผยแพร่ครั้งแรกวันพฤหัสบดีที่ 11 มิถุนายน พ.ศ. 2569 [1]












