AI Strugglene med å gjenkjenne størrelsen på landemerker

Visjonsspråkmodeller forstår monumenter, men de kan fortsatt ikke se hele bildet…

En av de første overlevelsesferdighetene vi utvikler, er evnen til å skille mellom ting som er små eller langt borte. Vi kan dekke over månen med tommelen vår, uten å tro at den er størrelsen med en dime, fordi vi har internalisert en forståelse av relativ skala.

Dette er en usedvanlig hard oppgave for datavisjonssystemer, siden de fleste av dem er avhengige av tidligere annotering, som ikke hjelper dem til å “forstå” skala på samme måte som mennesker. For å være ærlig, utenfor en viss og ganske nær grense, er alt i avstanden utenfor evnen til stereosyn til å løse – bilen på den fjerne enden av parkeringsplassen; skyskraperen i avstanden utenfor; og halvmånen som stiger over den…alle er “2D”-enheter, for de fleste visjon-baserte maskinlæringsystemer.

For å være ærlig, når et bestemt eksempel på et “fjern” men misforstått objekt ender opp med å bli godt representert i treningsdata, kan systemer som har sett denne dataen være vanskelige å narre:

ChatGPT-5.5 er ikke imponert over denne klassiske turisttropen.

Jo mindre en modells trenings latent rom inneholder slik spesifikk og ofte gjentatt informasjon, jo mer må den være i stand til å generalisere og internalisere konseptene om skala som vi fattar på en ung alder. Uten dette, kan selv berømte eksempler fortsatt forårsake feilskala:

I dette spekulative eksempelet, tilpasset fra den nye artikkelen som vi undersøker i dag, har kameraets POV Arc De Triomphe i bakgrunnen – men systemet vet ikke hva størrelsen er, og gjør en feil skala. Kilde

Faren, med spesifikke og høyst karakteristiske objekter som Eiffel-tårnet, er at systemet vil bruke en gjennomgang av størrelseestimat som er riktig for den opprinnelige modellen, men ikke riktig for de multiple kopier av Paris-landemerket som er like langt borte, men ikke nær så store.

Derfor er det viktig at visjonssystemer nærmer seg nye (usette) visninger med en klar ferdighet, og ikke bare en samling “jukskoder”.

Skalering opp

Til dette formålet, tilbyr et nytt samarbeid mellom USA og Kina en kurativ datasett, sammen med en estimasjonsmetode, som addreser problemet:

Den nye tilnærmingen modifiserer en tidligere system gjennom forbedret treningsmateriale – data variert nok til å gi en dypere forståelse av dybdeproblemer.

Lansert sammen med en tilhørende nettside, MetricScenes-initiativet inkluderer data og kode utgivelser.

Artikkelen sier*:

‘[Vi] fant at nåværende state-of-the-art metoder ofte feiler i å estimere riktig scene-skala, noe som fører til en varig skala-kollaps fenomen i “in-the-wild”-scenarier.

‘[Bildet over] viser et eksempel hvor klare semantiske referanser (personer) er til stede, men hvor modeller som MoGe-2 utviser en betydelig skala-inkonsistens over en rekke avstander: den predikerte metriske skala for nærfelt-objekter er plausibel – i dette tilfelle har turistene en plausibel høyde – mens skalaen for fjernfelt-strukturer er dramatisk undervurdert – her er Arc de Triomphe i bakgrunnen metrisk predikert å være bare 18,8 m bred, som er mer enn 2× mindre enn bakgrunnsbredden (44,8 m).

‘MoGe-2 har posisjonert en miniaturisert landemerke, til tross for hint om motsatt.’

Den tredje kraften

Forfatternes nye samling ble satt sammen ved å kombinere tre eksisterende datasett: MegaScenes, AerialMegaDepth, og Stereo4D:

Eksempelbilder fra MegaScenes, som utgjør en del av den nye kurasjonen. Kilde

Problemet med datasettene som bidrar til MetricScenes, når de tas alene, er at de hver anvender begrensede domener, som f.eks. POV-bilfilm, eller innendørs-scener, når en kombinert domene er nødvendig for å addresere problemet, og bringe visjonssystemer nærmere en menneskelig forståelse av skala.

Hver bilde er ledsaget av RGB-bilder, delvis observert dybde avledet fra Struktur fra Bevegelse (SfM), Multi-View Stereo (MVS), eller andre geometriske prioriteringer, sammen med en fullstendig dybdemappe generert gjennom en ny to-trinns Poisson-fullføring prosess, og tilhørende kamera-metadata.

Fine-tuning av MoGe-2-rammeverket på den nye datasett ‘signifikant mitigerte’ skala-kollapsen som forfatterne refererer til, og rapporterte overlegen resultater i åpne-domene-scenarier, og state-of-the-art-ytelse på relaterte benchmark.

Den nye artikkelen har tittelen Honey, I Shrunk the Arc de Triomphe!, og kommer fra fire forskere fra Cornell University og Shanghai Jiao Tong University.

Metode

MetricScenes trekker i del på den ovennevnte AerialMegaDepth og MegaScenes – to samlinger av Internett-fotografier som omfatter historiske arkiver, turistbilder og profesjonell fotografering. Selv om MegaScenes tilbyr store skalaer av Struktur fra Bevegelse (SfM)-rekonstruksjoner, mangler disse scenene noen innebygd virkelig skala. For å addresere dette, ble geotaggade bilder fra online-karttjenester brukt til å justere rekonstruksjonene med kjente fysiske lokasjoner og dimensjoner.

Omvelt, allerede inneholder AerialMegaDepth geotaggade Google Earth-utsikt, som gir metrisk-skala landemerke-rekonstruksjoner.

Potensielle rekonstruksjonsfeil forårsaket av visuelt like, men geografisk fjerne strukturer, ble addresert ved hjelp av MASt3R-SfM og Doppelgangers++-klassifikator. Etter Multi-View Stereo (MVS)-rekonstruksjon, ble ustabile dybdeestimater og dybdemappe-feil filtrert ut ved hjelp av en kombinasjon av stabilitetskontroller og prediksjoner fra MoGe-2:

AerialMegaDepth avleder virkelig skala ved å kombinere Internett-fotografier med geotaggade Google Earth-utsikt, mens MegaScenes-scenene er justert til fysiske dimensjoner ved hjelp av georeferert gate-nivå-bilder. Etter Multi-View Stereo (MVS)-rekonstruksjon, ble ustabile dybdeestimater og dybdemappe-feil filtrert ut, og produserte renere metrisk-skala dybdemappe egnet for trening. Gule bokser høydepunkter transient-objekter fjernet under prosessen, mens røde bokser indikerer korrigerte dybdemappe-regioner.

Metrisk skala ble deretter gjenopprettet gjennom georeferert bilde. AerialMegaDepth allerede avleder skala fra Google Earth-utsikt, mens MegaScenes ble justert til fysiske dimensjoner ved hjelp av geotaggade gate-nivå-bilder fra karttjenester.

Disse bildene ble matchet med eksisterende rekonstruksjoner med MASt3R, finjustert med Doppelganger-klassifikatoren, justert med COLMAP, og skalert gjennom RANSAC-basert estimasjon ved hjelp av Earth-Centered, Earth-Fixed (ECEF)-koordinater. Scener med upålitelige skalaestimater eller dårlig registreringskvalitet ble forkastet.

Seende i Stereo

MetricScenes-samlingen trekker også på den ovennevnte Stereo4D-datasett, som inneholder tusenvis av virkelige stereoskopiske videosekvenser tatt med VR180-kameraer, og tilbyr en tidsdimensjon til opptakene:

Stereo4D-datasettet ble bygget fra stereoskopiske Internett-videoer, kombinert med kamera-pose, dybdeestimater og bevegelsesbaner for å gjenopprette dynamiske 3D-scener i skala. Den resulterende datasett inneholder hundredtusenvis av video-klipp representert som punktskyer med lang-rekke-bevegelsesbaner, og tilbyr en stor kilde til virkelig 3D-geometri og bevegelse for trening av visjon-modeller. Kilde

Fordi den fysiske avstanden mellom de to kamera-linsene varierer over forskjellige enheter, ble bare videoer med dokumenterte kamera-konfigurasjoner brukt, og tillot scenens dybde å bli gjenopprettet på en nøyaktig virkelig skala.

Stereo4D brukte opprinnelig det optiske-flux-systemet SEA-RAFT for å estimere scene-geometri, men forfatterne fant at ufullstendig kamera-kalibrering kunne forvrengt rekonstruerte scener, og forårsake strukturer som skulle være parallelle til å konvergere unaturlig. Derfor erstattet de denne tilnærmingen med en multi-views-rekonstruksjons-pipeline som samtidig estimerer kamera-pose og dybde fra flere rammeverk.

Etter å ha sammenlignet π³, DepthAnything V3, og MapAnything, ble π³ valgt for sin geometriske robusthet og evne til å bevare fine detaljer:

Metriske dybdemappe-gjenopprettelse fra Stereo4D. Standard stereo-matching-metoder kan produsere forvrengt geometri når kamera-kalibrering er ufullstendig, mens π³ genererer mer konsistente scene-rekonstruksjoner og bevare fine detaljer. Den gjenopprettede geometrien blir deretter justert til den kjente fysiske baselinjen til stereo-kameraet, og produserer nøyaktig-skalaerte metriske dybdemappe.

Fordi π³ rekonstruerer scener på en vilkårlig skala, ble de resulterende dybdemappene justert til fysiske dimensjoner ved hjelp av den kjente fysiske baselinjen til hvert stereo-kamera-rig. Ekstra filtrering fjernet lavkvalitets-rammeverk, dybde-uoverensstemmelser, kalibreringsfeil og upålitelige skalaestimater.

I tillegg ble en to-trinns dybde-fullføringsprosess brukt, som kombinerte forgrunns-prediksjoner fra MoGe-2 med bakgrunns-geometri fra Multi-View Stereo (MVS), og produserte renere metriske dybdemappe med mer konsistent skala og skarpere objekt-grenser:

To-trinns dybde-fullføring. Ved å bruke bare bakgrunns-ankre kan bevare scene-struktur, mens det kan forvrengt total skala, mens kombinasjonen av forgrunns- og bakgrunns-begrensninger i en enkelt pass introduserer skala-drift og grense-artefakter. To-trinns-tilnærmingen bevare konsistent metrisk skala over både nære og fjerne objekter, mens det bevare rene objekt-grenser.

Forfatterne observerte at Internett-foto-samlinger ofte mangler pålitelig forgrunns-dybde, mens stereo-bilder ofte mangler fjerne bakgrunns-regioner. Selv om MoGe-2 kan inferere tett geometri over hele scenen, tenderer dens estimater mot samme skala-kollaps-problem som prosjektet søker å addresere. Derfor ble den to-trinns dybde-fullførings-pipeline designet for å kombinere styrkene til MoGe-2 og Multi-View Stereo (MVS).

Bakgrunns-geometri ble gjenopprettet ved hjelp av MVS-avledede metriske ankre, og skapte en base-dybde-mappe med pålitelig stor-skala-struktur. I en andre trinn ble forgrunns-estimater fra MoGe-2 reintrodusert gjennom en kant-bevisst fullføringsprosess designet for å bevare objekt-grenser, mens det forhindrer skala-drift og dybde-bleeding-artefakter.

Dybde-mappene produsert av denne tilnærmingen, hevder artikkelen, var både visuelt fullstendige og mer konsistente i virkelig skala:

To-trinns dybde-fullførings-pipeline. I første trinn ble Multi-View Stereo (MVS)-ankre brukt for å gjenopprette bakgrunns-geometri på en pålitelig metrisk skala. I andre trinn ble forgrunns-estimater fra MoGe-2 reintrodusert gjennom en kant-bevisst komposisjonsprosess, og produserte en sluttdybde-mappe designet for å bevare både stor-skala-nøyaktighet og skarpe lokale detaljer.

Data og tester

Den endelige MetricScenes-samlingen består av 47 579 eksklusive virkelige bilder som dekker 134 scener fra AerialMegaDepth; 29 583 bilder fra 356 scener fra MegaScenes; og 22 549 rammeverk tatt fra 1 725 videoer fra Stereo4D.

Samlingen, fra hvilken 10 scener per kilde ble holdt tilbake som validering, dekker både eksterne og interne kontekster, samt både gate-nivå- og luftfoto-utsikt, og både urbane og naturlige landskap – en samlet og kohesiv kontekst som ikke er tilgjengelig i noen av de enkelte bidragende samlinger.

I en første kvalitativ test, ble MoGe-2 ViT-Large-Normal-modellen finjustert på den nye MetricScenes-datasett for 10 000 iterasjoner med en batch-størrelse på 32 – effektivt rundt tre epoker. Kropping og generell data-augmentering ble tatt fra de opprinnelige MoGe-2-testene, og trening skjedde med en læringshastighet på 1×10^-6 (ryggrad) og 1×10^-5 (alle andre parametre). For den kvalitative testen ble dybde-rekonstruksjoner utført av den finjusterte WildMoGe-modellen, sammenlignet med base MoGe-2; DepthAnything V3; Metric3Dv2; UniDepth v2 ; og DepthPro:

Sammenligning av metrisk-skala landemerke-rekonstruksjon. Grunn-sannhets-målinger fra Google Maps vises i venstre kolonne. Over usette virkelige landemerker produserer WildMoGe skala-estimater som matcher kjente dimensjoner, mens MoGe-2, DepthAnything V3, og Metric3D V2 ofte undervurdere størrelsen på fjerne strukturer. UniDepth V2 produserer ofte mer plausibele skalaer, men forblir inkonsistent, mens DepthPro noen ganger produserer alvorlige skala-feil.

Av denne resultaten sier artikkelen:

‘[WildMoGe]  gjenoppretter konsistent mer nøyaktige absolutt skalaer over diverse landemerker, nært matchende grunn-sannhets-dimensjoner (f.eks. 31,4 m vs. 32,4 m for Philadelphia Museum of Art, 46,7 m vs 46,5 m for Piazza della Signorina). MoGe-2, DepthAnything v3 og Metric3D v25 utviser skala-kollaps-atferd, konsistent undervurdere størrelsen på fjerne strukturer.

‘UniDepth v2 produserer mer realistiske skalaer, men avviker fortsatt fra grunn-sannhet, og DepthPro ofte feiler i å gjenopprette absolutt skala, produserer resultater som er flere størrelsesordener mindre enn virkeligheten. Merk at disse scenene er fraværende fra treningssettet.

‘Dette resultatet demonstrerer at WildMoGe kan generalisere til usette innhold, i motsetning til å bare huske trenings-scener.’

For å sikre at gevinstene som ble funnet ikke var begrenset til landemerker og store utendørs-scener, evaluerte forfatterne også WildMoGe på vanlige innendørs- og gate-nivå-bilder, hvor den produserte skala-estimater som var bredt konsistente med MoGe-2, mens den oppnådde bedre nøyaktighet på en ETH3D-gård-scene:

Sammenligning på standard-scener. Over vanlige innendørs- og gate-nivå-miljøer produserer WildMoGe skala-estimater som er bredt konsistente med MoGe-2, mens den oppnår bedre nøyaktighet på ETH3D-gård-benchmark, og gjenoppretter objekt-dimensjoner som matcher grunn-sannhets-målinger.

For å vurdere om MetricScenes faktisk forbedret metrisk-skala-resonnering, ble evaluering utført både på en dedikert MetricScenes-testsett og på NYUv2; KITTI; ETH3D; iBims-1; GSO; Sintel; DDAD; DIODE; Spring; og HAMMER.

Forfatterne merker at å oppnå tette grunn-sannhets-målinger for ubegrensede Internett-bilder fortsatt er vanskelig, og derfor ble standard-benchmark inkludert for å verifisere at noen gevinst ikke kom på bekostning av generell geometrisk ytelse.

Sammenligninger ble gjort mot MoGe-2; UniDepth V2; DepthPro; MASt3R; Depth Anything V2; Depth Anything V3; ZoeDepth; og Metric3D V2:

Kvantitativ evaluering av relativ og metrisk geometri. På MetricScenes-testsettet, overgår WildMoGe MoGe-2 over hele rapporterte metrikk, mens den forblir bredt konkurrerende med ZoeDepth, Metric3D V2, Depth Anything V2, Depth Anything V3, MASt3R, UniDepth V2, og DepthPro på etablerte benchmark, og indikerer at forbedret metrisk-skala-estimering ble oppnådd uten å ofre generell geometrisk rekonstruksjonskvalitet.

WildMoGe forbedret betydelig metrisk-skala-prediksjon på MetricScenes, overgikk MoGe-2 over hele rapporterte metrikk, og oppnådde sterkere metrisk-geometri og metrisk-dybde-poeng enn MoGe-2, DepthAnything V3, Metric3D V2, UniDepth V2, og DepthPro.

Ytelse på NYUv2, KITTI, ETH3D, iBims-1, GSO, Sintel, DDAD, DIODE, Spring, og HAMMER forble bredt sammenlignbar med MoGe-2. Forfatterne tilskriver disse gevinstene til MetricScenes’ metrisk-overvåking, som åpenbart hjelper til å redusere skala-kollaps, mens den bevare generell scene-rekonstruksjons-ytelse.

Konklusjon

MetricScenes-løsningen på “skala-kollaps” kommer over som en slags Heath-Robinson-tilnærming i artikkelen – en desperat sammenslåing og destillasjon av flere datasett, hvor hver har en verdifull synsvinkel å bidra med. Det ser ut som å forsøke å bestemme formen på en elefant ved berøring.

Kanskje det mest verdifulle tjenesten artikkelen tilbyr, er å påkalle større oppmerksomhet til problemet, som åpenbart krever en slags ny eller tilpasset universell standard. Men siden en slik innovasjon ville avbryte reproduserbarheten og konsistensen av nåværende metoder, måtte den være svært overbevisende.

* Min konvertering av forfatternes inline-citater til hyperlenker.

Først publisert torsdag 11. juni 2026