Andersons vinkel
AI har svært ved at forstå størrelsen på vartegn

NøglepunkterVisionssystemer mangler den menneskelige instinkt for relativ skala og kollapser ofte…
Vis mere
- Visionssystemer mangler den menneskelige instinkt for relativ skala og kollapser ofte fjerne landemærker til miniatureattrapper.
- MetricScenes sammenlægger tre datasæt, fordi hvert enkelt dækker et for snævert domæne til at lære generel skala.
- Finjustering på MetricScenes reducerede skalakollaps og slog MoGe-2 på hver rapporteret metrik.
Visions-sprogmodeller forstår monumenter, men de kan stadig ikke se hele billedet…
En af de første overlevelsesfærdigheder, vi udvikler, er evnen til at skelne mellem ting, der er små eller langt væk. Vi kan dække månen med vores tommelfinger, uden at tro, at den er på størrelse med en amerikansk ti-cent-mønt, fordi vi har internaliseret en forståelse af relativ skala.
Dette er en usædvanligt svær opgave for computer-vision systemer, da de fleste af dem afhænger af tidligere annotation, som ikke hjælper dem til at “forstå” skala på samme måde som mennesker. Desuden er alt, der er uden for en vis og ret nær grænse, uden for evnen af stereosyn til at løse – bilen i den fjerne ende af parkeringspladsen; skyskraberen endnu længere borte; og halvmånen, der stiger op over det… alt er “2D”-enheder for de fleste vision-baserede maskinlærings-systemer.
Selvfølgelig, når et bestemt eksempel på et “fjernt” men misfortolket objekt ender med at blive godt repræsenteret i træningsdata, kan systemer, der har set disse data, være svære at narre:

ChatGPT-5.5 er ikke det mindste imponeret over denne klassiske turistcliché.
Jo mindre, en models trænede latente rum indeholder sådanne specifikke og ofte gentagne oplysninger, jo mere vil den behøve at generalisere og internalisere begreberne om skala, som vi forstår i en ung alder. Uden dette kan selv berømte eksempler stadig forårsage misestimeringer af skala:

I dette spekulative eksempel, adapteret fra den nye artikel, vi undersøger i dag, viser kameraets synsvinkel Arc De Triomphe i baggrunden – men systemet ved ikke, hvor stor det er, og gætter forkert. Kilde
Faren, med specifikke og meget karakteristiske objekter som Eiffel-tårnet, er, at systemet vil søge efter en genvej til størrelsesestimation, der er korrekt for det oprindelige monument, men ikke korrekt for de mange kopier af Paris’ vartegn, der er også uden for stereosynets opløsningsafstand, men ikke nær så store.
Derfor er det vigtigt, at visions-systemer tilgår nye (usete) visninger med et veludviklet sæt færdigheder, og ikke kun en masse “cheat-codes”.
Skalering op
Til dette formål tilbyder et nyt samarbejdsprojekt mellem USA og Kina et datasæt, der skal afhjælpe problemet sammen med en estimationsmetode, der adresserer problemet:

Den nye tilgang ændrer et tidligere system gennem forbedret træningsmateriale – data, der varierer nok til at give en dybere forståelse af dybdeproblemer.
Lanceret sammen med en tilhørende websted, MetricScenes-initiativet indeholder data og kode.
Artiklen siger*:
‘[Vi] fandt, at nuværende state-of-the-art-metoder ofte fejler i at estimere korrekt scene-skala, hvilket fører til et vedvarende fænomen med skalakollaps i “in-the-wild”-scenarier.
‘[Billedet ovenfor] viser et eksempel, hvor klare semantiske referencer (mennesker) er til stede, men hvor modeller som MoGe-2 udviser en betydelig uoverensstemmelse i målestokken på tværs af afstande: den forudsigede metriske skala for nær-felt-objekter er plausibel – i dette tilfælde har turisterne en plausibel højde – men skalaen for fjern-felt-strukturer er dramatisk undervurderet – her er Arc de Triomphe i baggrunden metrisk forudsiget til at være kun 18,8 m bred, hvilket er mere end 2× mindre end den faktiske bredde (44,8 m).
‘MoGe-2 har antaget et formindsket vartegn, på trods af tegn på det modsatte.’
Styrken i tre
Forfatternes nye samling blev samlet ved at kombinere tre eksisterende datasets: MegaScenes, AerialMegaDepth og Stereo4D:

Eksempel-billeder fra MegaScenes, der udgør en del af den nye kuratering. Kilde
Problemet med datasets, der bidrager til MetricScenes, når de tages alene, er, at de hver især anvender begrænsede domæner, såsom POV-biloptagelser eller indendørs scener, når et kombineret domæne er nødvendig for at løse problemet og bringe visions-systemer nærmere en menneske-lignende konceptuel forståelse af skala.
Hvert billede er ledsaget af RGB-billeder, delvist observeret dybde afledt fra Structure from Motion (SfM), Multi-View Stereo (MVS) eller andre geometriske priorer, sammen med et komplet dybde-kort genereret gennem en ny to-trins Poisson-completion-proces og associeret kamera-metadata.
Finjustering af MoGe-2-rammen på det nye datasæt ‘reducerer betydeligt’ skala-kollapsen, som forfatterne henviser til, og rapporterer om bedre resultater i åbne-domæne-scener og state-of-the-art-ydelse på relaterede benchmarks.
Den nye artikel har titlen Honey, I Shrunk the Arc de Triomphe! og kommer fra fire forskere på Cornell University og Shanghai Jiao Tong University.
Metode
MetricScenes trækker delvis på den ovennævnte AerialMegaDepth og MegaScenes – to samlinger af internet-fotografier, der dækker historiske arkiver, turistbilleder og professionel fotografering. Selv om MegaScenes tilbyder store skala-Structure from Motion (SfM)-rekonstruktioner, mangler disse scener enhver indre virkelig skala. For at løse dette problem blev geotaggedee billeder fra online-korttjenester brugt til at justere rekonstruktionerne med kendte fysiske lokaliteter og dimensioner.
Omvendt indeholder AerialMegaDepth allerede geotaggede Google Earth-visninger, der giver metrisk-skala-vartegn-rekonstruktioner.
Potentiel rekonstruktionsfejl forårsaget af visuelt lignende, men geografisk fjerne strukturer, blev løst ved hjælp af MASt3R-SfM og Doppelgangers++-klassifikator. Efter Multi-View Stereo (MVS)-rekonstruktion blev ustabile dybde-estimater og dybde-blødning-artefakter filtreret ved hjælp af en kombination af stabilitetskontroller og forudsigelser fra MoGe-2:

AerialMegaDepth afleder virkelig skala ved at kombinere internet-fotografier med geotaggede Google Earth-visninger, mens MegaScenes-scener er justeret til fysiske dimensioner ved hjælp af georefererede billeder i gadeniveau. Efter Multi-View Stereo (MVS)-rekonstruktion blev ustabile dybde-estimater og dybde-blødning-artefakter filtreret ud, hvilket resulterede i rene metrisk-skala-dybde-kort, der er egnet til træning. Gule kasser fremhæver midlertidige objekter, der blev fjernet under behandlingen, mens røde kasser angiver områder med korrigeret dybdelækage.
Metrisk skala blev derefter genskabt gennem georefererede billeder. AerialMegaDepth har allerede afledt skala fra Google Earth-renderinger, der er optaget fra kendte lokaliteter, mens MegaScenes blev justeret til fysiske dimensioner ved hjælp af geotaggede billeder i gadeniveau fra korttjenester.
Disse billeder blev matchet med eksisterende rekonstruktioner med MASt3R, forfinet med Doppelganger-klassifikatoren, justeret med COLMAP og skaleret gennem RANSAC-baseret estimation ved hjælp af Earth-Centered, Earth-Fixed (ECEF)-koordinater. Scener med upålidelige skala-estimater eller dårlig registreringskvalitet blev forkastet.
At se i stereo
MetricScenes-samlingen trækker også på den ovennævnte Stereo4D-dataset, der indeholder tusinder af virkelige stereoskopiske video-sekvenser, der er optaget med VR180-kameraer, og tilbyder en tidsdimension til optagelserne:

Stereo4D-datasettet blev bygget fra stereoskopiske internet-videoer, der kombinerer kamerapositioner og -orienteringer, dybde-estimater og bevægelsesbaner for at genskabe dynamiske 3D-scener i skala. Det resulterende dataset indeholder hundredtusinder af video-klip, der er repræsenteret som punkt-skyer med langtrækkende bevægelsesbaner, og giver en stor kilde til virkelig 3D-geometri og bevægelse til træning af visions-modeller. Kilde
Fordi den fysiske afstand mellem de to kameraobjektiver varierer over forskellige enheder, blev kun videoer med dokumenterede kamera-konfigurationer brugt, hvilket tillod scene-dybde at blive genskabt på en præcis virkelig skala.
Stereo4D afhængede oprindeligt af det optiske-flow-system SEA-RAFT til at estimere scene-geometri, men forfatterne fandt, at ufuldkommen kamera-kalibrering kunne forvrænge genskabte scener, så strukturer, der burde være parallelle, konvergerede unaturligt. Derfor erstattede de denne tilgang med en multi-view-rekonstruktions-pipeline, der samtidigt estimerer kamerapositioner og -orienteringer og dybde fra flere videobilleder.
Efter at have sammenlignet π³, DepthAnything V3 og MapAnything, blev π³ valgt for sin geometriske robusthed og evne til at bevare fine detaljer:

Rekonstruktion af dybde i metrisk skala fra Stereo4D. Standard-stereo-matching-metoder kan producere forvrængede geometrier, når kamera-kalibrering er ufuldkommen, mens π³ genererer mere konsistente scene-rekonstruktioner og bevarer fine detaljer. Den genskabte geometri blev derefter justeret til den kendte fysiske baseline af stereo-kameraet, hvilket resulterede i nøjagtigt-skalaerede metrisk-dybde-kort.
Fordi π³ rekonstruerer scener på en vilkårlig skala, blev de resulterende dybde-kort justeret til virkelige dimensioner ved hjælp af den kendte fysiske baseline af hvert stereo-kamera-rig. Yderligere filtrering fjernede videobilleder af lav kvalitet, uoverensstemmelser i dybden, kalibreringsfejl og upålidelige skala-estimater.
Derudover blev en to-trins dybde-completion-proces brugt, der kombinerer forgrunds-forudsigelser fra MoGe-2 med baggrunds-geometri fra Multi-View Stereo (MVS), hvilket resulterede i renere metrisk-skala-træningsdata med mere konsistent skala og skarpere objekt-grænser:

To-trins dybde-completion. Brug af kun baggrundsankre kan bevare scene-struktur, mens det forvrænger den overordnede skala, hvorimod kombinationen af forgrunds- og baggrunds-begrænsninger i en enkelt proces introducerer skala-drift og grænse-artefakter. To-trins-tilgangen bevarede konsistent metrisk skala på tværs af både nære og fjerne objekter, mens den bevarede rene objekt-grænser.
Forfatterne observerede, at internet-foto-samlinger ofte mangler pålidelig forgrunds-dybde, mens stereo-billeder ofte mangler fjerne baggrunds-regioner. Selv om MoGe-2 kan udlede tæt geometri på hele scenen, tenderer dets estimater mod samme skala-kollaps-problem, som projektet søger at løse. Derfor blev to-trins dybde-completion-pipeline designet til at kombinere styrkerne fra MoGe-2 og Multi-View Stereo (MVS).
Baggrunds-geometri blev genskabt ved hjælp af MVS-afledte metriske ankre, der skabte et grundlæggende dybdekort med pålidelig stor-skala-struktur. I en anden fase blev forgrunds-estimater fra MoGe-2 genindført gennem en kant-bevidst completion-proces, der var designet til at bevare objekt-grænser, mens den forhindrede skala-drift og dybde-blødning-artefakter.
Dybde-kortene, der blev produceret ved denne tilgang, hævder artiklen, var både visuelt komplette og mere konsistente i virkelig skala:

To-trins dybde-completion-pipeline. I den første fase blev Multi-View Stereo (MVS)-ankre brugt til at genskabe baggrunds-geometri på en pålidelig metrisk skala. I den anden fase blev forgrunds-estimater fra MoGe-2 genindført gennem en kant-bevidst sammensætnings-proces, der producerede et endeligt dybdekort, der var designet til at bevare både stor-skala-nøjagtighed og skarp lokal detalje.
Data og tests
Den endelige MetricScenes-samling består af 47.579 billeder udelukkende fra den virkelige verden, der dækker 134 scener fra AerialMegaDepth; 29.583 billeder fra 356 scener fra MegaScenes; og 22.549 videobilleder fra 1.725 videoer fra Stereo4D.
Samlingen, hvoraf 10 scener pr. kilde blev holdt tilbage som validering, dækker både udendørs og indendørs kontekster, samt både grund-niveau og luft-views, og bymæssige samt naturlige landskaber – en samlet og sammenhængende kontekst, der ikke er tilgængelig i nogen af de enkelte bidragende samlinger.
Til en initial kvalitativ test, finjusterede forfatterne MoGe-2 ViT-Large-Normal-modellen på den nye MetricScenes-dataset for 10.000 iterationer ved en batch-størrelse på 32 – effektivt omkring tre epoch. Beskæring og generel data-augmentation-tilgange blev taget fra de originale MoGe-2-tests, og træning skete ved en læringsrate på 1×10-6 (backbone) og 1×10-5 (alle andre parametre). For den kvalitative test blev dybde-rekonstruktioner udført af den finjusterede WildMoGe-model, der blev sat op imod base MoGe-2; DepthAnything V3; Metric3Dv2; UniDepth v2 ; og DepthPro:

Sammenligning af metrisk-skala-vartegn-rekonstruktion. Ground-truth-målinger fra Google Maps vises i venstre kolonne. Over usete virkelige vartegn producerer WildMoGe skala-estimater, der stemmer bedre overens med kendte dimensioner, mens MoGe-2, DepthAnything V3 og Metric3D V2 ofte undervurderer størrelsen af fjerne strukturer. UniDepth V2 giver ofte mere plausibele skalaer, men forbliver inkonsistent, hvorimod DepthPro af og til producerer alvorlige skala-fejl.
Om dette resultat siger artiklen:
‘[WildMoGe] producerer konsekvent mere præcise absolutte skalaer på tværs af diverse vartegn, tæt på ground-truth-dimensioner (f.eks. 31,4 m vs. 32,4 m for Philadelphia Museum of Art, 46,7 m vs 46,5 m for Piazza della Signorina). MoGe-2, DepthAnything v3 og Metric3D v25 udviser skala-kollaps-adfærd, der konsekvent undervurderer størrelsen af fjern-felt-strukturer.
‘UniDepth v2 producerer mere realistiske skalaer, men afviger stadig fra ground-truth, og DepthPro fejler ofte i at genskabe absolut skala, producerer resultater, der er størrelsesordener mindre end virkeligheden. Bemærk, at disse scener er fraværende fra trænings-sættet.
‘Dette resultat demonstrerer, at WildMoGe kan generalisere til indhold, som ikke er set under træningen, i modsætning til blot at huske trænings-scener.’
For at sikre, at gevinsten ikke var begrænset til vartegn og store udendørs scener, evaluerede forfatterne også WildMoGe på almindelige indendørs og gade-niveau-billeder, hvor den producerede skala-estimater, der var bredt konsistente med MoGe-2, mens den opnåede bedre nøjagtighed på en ETH3D-gård-scene:

Sammenligning på standard-scener. Over almindelige indendørs og gade-niveau-miljøer producerer WildMoGe skala-estimater, der er bredt konsistente med MoGe-2, mens den opnår bedre nøjagtighed på ETH3D-gård-benchmark, genskaber objekt-dimensioner, der stemmer bedre overens med referencemålingerne.
For at vurdere, om MetricScenes faktisk forbedrede metrisk-skala-forståelse, blev evaluering udført både på en dedikeret MetricScenes-test-sæt og på NYUv2; KITTI; ETH3D; iBims-1; GSO; Sintel; DDAD; DIODE; Spring; og HAMMER.
Forfatterne bemærker, at det at opnå tætte ground-truth-målinger for ubegrænsede internet-billeder forbliver svært, hvilket betyder, at MetricScenes-mærkerne ikke er perfekte. Standard-benchmarks blev derfor inkluderet for at verificere, at eventuelle gevinst ikke kom på bekostning af generel geometrisk ydelse.
Sammenligninger blev udført imod MoGe-2; UniDepth V2; DepthPro; MASt3R; Depth Anything V2; Depth Anything V3; ZoeDepth; og Metric3D V2:

Kvantitativ evaluering af relativ og metrisk geometri. På MetricScenes-test-sættet overgik WildMoGe MoGe-2 på alle rapporterede metrikker, mens den forblev bredt konkurrencedygtig med ZoeDepth, Metric3D V2, Depth Anything V2, Depth Anything V3, MASt3R, UniDepth V2 og DepthPro på etablerede benchmarks, hvilket indikerer, at forbedret metrisk-skala-estimation var opnået uden at ofre generel geometrisk rekonstruktionskvalitet.
WildMoGe forbedrede betydeligt metrisk-skala-forudsigelse på MetricScenes, overgik MoGe-2 på alle rapporterede metrikker og opnåede stærkere metrisk-geometri- og metrisk-dybde-scores end MoGe-2, Depth Anything V3, Metric3D V2, UniDepth V2 og DepthPro.
Ydelse på NYUv2, KITTI, ETH3D, iBims-1, GSO, Sintel, DDAD, DIODE, Spring og HAMMER forblev bredt sammenlignelig med MoGe-2. Forfatterne tilskriver disse gevinster til MetricScenes’ metrisk supervision, der åbenbart hjælper med at reducere skala-kollaps, mens den bevarede generel scene-rekonstruktions-ydelse.
Konklusion
MetricScenes-løsningen til ‘skala-kollaps’ kommer til syne som en slags Heath-Robinson-ordning i artiklen – en desperat sammenføjning og destillation af flere datasæt, hver med en værdifuld synsvinkel at bidrage med. Det ligner lidt at forsøge at bestemme formen på en elefant ved berøring.
Måske er den mest værdifulde service, artiklen tilbyder, at kalde større opmærksomhed på problemet, som synes at kræve en slags nyt eller tilpasset universel standard. Men da en sådan innovation ville afbryde reproducerbarheden og konsistensen af nuværende metoder, ville den skulle være meget overbevisende.
* Min konvertering af forfatternes inline-citationer til hyperlinks.
Først publiceret torsdag den 11. juni 2026












