AI-kampen for at genkende størrelsen af landemærker

Visions-sprogmodeller forstår monumenter, men de kan stadig ikke se det hele billede…

En af de første overlevelsesfærdigheder, vi udvikler, er evnen til at skelne mellem ting, der er små eller langt væk. Vi kan dække månen med vores tommelfinger, uden at tro, at den er størrelse med en dime, fordi vi har internaliseret en forståelse af relativ skala.

Dette er en usædvanligt svær opgave for computer-vision systemer, da de fleste af dem afhænger af tidligere annotation, som ikke hjælper dem til at “forstå” skala på samme måde som mennesker. For at gå videre er alt, der er uden for en vis og ret nær grænse, uden for evnen af stereo vision til at løse – bilen i den fjerne ende af parkeringspladsen; skyskraberen i distance beyond that; og halvmånen, der stiger op over det… alt er “2D”-enheder for de fleste vision-baserede maskinlærings-systemer.

Selvfølgelig, når et bestemt eksempel på et “fjern” men misfortolket objekt ender med at blive godt repræsenteret i træningsdata, kan systemer, der har set denne data, være svære at narre:

ChatGPT-5.5 er ikke det mindste imponeret over denne klassiske turistcliché.

Jo mindre, en models trænede latent rum indeholder sådanne specifikke og ofte gentagne oplysninger, jo mere vil den behøve at generalisere og internalisere begreberne om skala, som vi griber fat i i en ung alder. Uden dette kan selv berømte eksempler stadig forårsage misestimeringer af skala:

I dette spekulative eksempel, adapteret fra den nye artikel, vi undersøger i dag, viser kameraets synsvinkel Arc De Triomphe i baggrunden – men systemet ved ikke, hvor stor det er, og gør en forkert gæt. Kilde

Faren, med specifikke og meget karakteristiske objekter som Eiffel-tårnet, er, at systemet vil søge efter en genvej til størrelsesestimation, der er korrekt for den originale model, men ikke korrekt for de multiple kopier af Paris’ vartegn, der er lige så langt væk fra stereo-resolutions afstand, men ikke nær så stor.

Derfor er det vigtigt, at visions-systemer tilgår nye (usete) visninger med en parat færdigheds-sæt, og ikke kun en masse “cheat-codes”.

Skalering op

Til dette formål tilbyder en ny samarbejdsprojekt mellem USA og Kina en remedierende dataset sammen med en estimationsmetode, der adresserer problemet:

Den nye tilgang ændrer en tidligere system gennem forbedret træningsmateriale – data, der varierer nok til at give en dybere forståelse af dybdeproblemer.

Lanceret sammen med en accompanying website, MetricScenes-initiativet indeholder data og kode-frigivelse.

Artiklen siger*:

‘[Vi] fandt, at nuværende state-of-the-art-metoder ofte fejler i at estimere korrekt scene-skala, hvilket fører til en vedvarende skala-kollaps-fænomen i “in-the-wild”-scenarier.

‘[Billedet ovenfor] viser et eksempel, hvor klare semantiske referencer (mennesker) er til stede, men hvor modeller som MoGe-2 udviser en betydelig skala-inconsistens på tværs af afstande: den forudsigede metriske skala for nær-felt-objekter er plausibel – i dette tilfælde har turisterne en plausibel højde – men skalaen for fjern-felt-strukturer er dramatisk undervurderet – her er Arc de Triomphe i baggrunden metrisk forudsiget til at være kun 18,8 m bred, hvilket er mere end 2× mindre end den faktiske bredde (44,8 m).

‘MoGe-2 har antaget en forminsket vartegn, på trods af tegn på det modsatte.’

Magten af tre

Forfatternes nye samling blev samlet ved at kombinere tre eksisterende datasets: MegaScenes, AerialMegaDepth og Stereo4D:

Eksempel-billeder fra MegaScenes, der udgør en del af den nye kuratering. Kilde

Problemet med datasets, der bidrager til MetricScenes, når de tages alene, er, at de hver især anvender begrænsede domæner, såsom POV-biloptagelser eller indendørs scener, når en kombineret domæne er nødvendig for at løse problemet og bringe visions-systemer nærmere en menneske-lignende konceptuel forståelse af skala.

Hver billed er ledsaget af RGB-billeder, delvist observeret dybde afledt fra Structure from Motion (SfM), Multi-View Stereo (MVS) eller andre geometriske priorer, sammen med en fuld dybde-kort genereret gennem en ny to-trins Poisson-completion-proces og associeret kamera-metadata.

Fine-tuning af MoGe-2-rammen på den nye dataset ‘significantly mitigates’ skala-kollapsen, som forfatterne henviser til, og rapporterer om overlegen resultater i åbne-domæne-scener og state-of-the-art-ydelse på relaterede benchmarks.

Den nye artikel er titlen Honey, I Shrunk the Arc de Triomphe! og kommer fra fire forskere på Cornell University og Shanghai Jiao Tong University.

Metode

MetricScenes trækker delvis på den ovennævnte AerialMegaDepth og MegaScenes – to samlinger af internet-fotografier, der dækker historiske arkiver, turistbilleder og professionel fotografering. Selv om MegaScenes tilbyder store skala-Structure from Motion (SfM)-rekonstruktioner, mangler disse scener enhver indre virkelig skala. For at løse dette problem blev geotagged billed fra online-korttjenester brugt til at justere rekonstruktionerne med kendte fysiske lokaliteter og dimensioner.

Om vendt, indeholder AerialMegaDepth allerede geotagged Google Earth-views, der giver metrisk-skala-vartegn-rekonstruktioner.

Potentiel rekonstruktionsfejl forårsaget af visuelt lignende, men geografisk fjerne strukturer, blev løst ved hjælp af MASt3R-SfM og Doppelgangers++-klassifikator. Efter Multi-View Stereo (MVS)-rekonstruktion blev ustabile dybde-estimater og dybde-blødning-artefakter filtreret ved hjælp af en kombination af stabilitetskontroller og forudsigelser fra MoGe-2:

AerialMegaDepth afleder virkelig skala ved at kombinere internet-fotografier med geotagged Google Earth-views, mens MegaScenes-scener er justeret til fysiske dimensioner ved hjælp af geo-refereret street-level-billeder. Efter Multi-View Stereo (MVS)-rekonstruktion blev ustabile dybde-estimater og dybde-blødning-artefakter filtreret ud, hvilket resulterede i rene metrisk-skala-dybde-kort, der er egnet til træning. Gule kasser fremhæver transient-objekter, der blev fjernet under behandlingen, mens røde kasser angiver korrekte dybde-blødning-områder.

Metrisk skala blev derefter genskabt gennem geo-refereret billed. AerialMegaDepth har allerede afledt skala fra Google Earth-renderinger, der er optaget fra kendte lokaliteter, mens MegaScenes blev justeret til fysiske dimensioner ved hjælp af geotagged street-level-billeder fra korttjenester.

Disse billeder blev matchet med eksisterende rekonstruktioner med MASt3R, forfinet med Doppelganger-klassifikatoren, justeret med COLMAP og skaleret gennem RANSAC-baseret estimation ved hjælp af Earth-Centered, Earth-Fixed (ECEF)-koordinater. Scener med upålidelige skala-estimater eller dårlig registreringskvalitet blev forkastet.

At se i stereo

MetricScenes-samlingen trækker også på den ovennævnte Stereo4D-dataset, der indeholder tusinder af virkelige stereoskopiske video-sekvenser, der er optaget med VR180-kameraer, og tilbyder en tidsdimension til optagelserne:

Stereo4D-datasettet blev bygget fra stereoskopiske internet-videoer, der kombinerer kamera-poser, dybde-estimater og bevægelsesbaner for at genskabe dynamiske 3D-scener i skala. Det resulterende dataset indeholder hundredtusinder af video-klip, der er repræsenteret som punkt-skyer med lang-række-bevægelsesbaner, og giver en stor kilde til virkelig 3D-geometri og bevægelse til træning af visions-modeller. Kilde

Fordi den fysiske afstand mellem de to kamera-linsen varierer over forskellige enheder, blev kun videoer med dokumenterede kamera-konfigurationer brugt, hvilket tillod scene-dybde at blive genskabt på en præcis virkelig skala.

Stereo4D afhængede oprindeligt af det optiske-flow-system SEA-RAFT til at estimere scene-geometri, men forfatterne fandt, at ufuldkommen kamera-kalibrering kunne forvrænge genskabte scener, så strukturer, der burde være parallelle, konvergerede unaturligt. Derfor erstattede de denne tilgang med en multi-view-rekonstruktions-pipeline, der samtidigt estimerer kamera-poser og dybde fra multiple rammer.

Efter at have sammenlignet π³, DepthAnything V3 og MapAnything, blev π³ valgt for sin geometriske robusthed og evne til at bevare fine detaljer:

Metriske skala-dybde-genskabelse fra Stereo4D. Standard-stereo-matching-metoder kan producere forvrængede geometrier, når kamera-kalibrering er ufuldkommen, mens π³ genererer mere konsistente scene-rekonstruktioner og bevare fine detaljer. Den genskabte geometri blev derefter justeret til den kendte fysiske baseline af stereo-kameraet, hvilket resulterede i nøjagtigt-skalaerede metrisk-dybde-kort.

Fordi π³ rekonstruerer scener på en vilkårlig skala, blev de resulterende dybde-kort justeret til virkelige dimensioner ved hjælp af den kendte fysiske baseline af hvert stereo-kamera-rig. Yderligere filtrering fjernede lavkvalitets-rammer, dybde-inconsistenser, kalibreringsfejl og upålidelige skala-estimater.

Derudover blev en to-trins dybde-completion-proces brugt, der kombinerer forgrunds-forudsigelser fra MoGe-2 med baggrunds-geometri fra Multi-View Stereo (MVS), hvilket resulterede i renere metrisk-skala-træningsdata med mere konsistent skala og skarpere objekt-grænser:

To-trins dybde-completion. Ved at bruge kun baggrunds-ankre kan bevare scene-struktur, mens det forvrænger den overordnede skala, hvorimod kombinationen af forgrunds- og baggrunds-begrænsninger i en enkelt proces introducerer skala-drift og grænse-artefakter. To-trins-tilgangen bevarede konsistent metrisk skala på tværs af både nær og fjerne objekter, mens den bevarede rene objekt-grænser.

Forfatterne observerede, at internet-foto-samlinger ofte mangler pålidelig forgrunds-dybde, mens stereo-billeder ofte mangler fjerne baggrunds-regioner. Selv om MoGe-2 kan slutte tæt geometri på hele scenen, tenderer dets estimater mod samme skala-kollaps-problem, som projektet søger at løse. Derfor blev to-trins dybde-completion-pipeline designet til at kombinere styrkerne fra MoGe-2 og Multi-View Stereo (MVS).

Baggrunds-geometri blev genskabt ved hjælp af MVS-afledte metriske ankre, der skabte en basis-dybde-kort med pålidelig stor-skala-struktur. I en anden fase blev forgrunds-estimater fra MoGe-2 genindført gennem en kant-bevidst completion-proces, der var designet til at bevare objekt-grænser, mens den forhindrede skala-drift og dybde-blødning-artefakter.

Dybde-kortene, der blev produceret ved denne tilgang, hævder artiklen, var både visuelt komplette og mere konsistente i virkelig skala:

To-trins dybde-completion-pipeline. I den første fase blev Multi-View Stereo (MVS)-ankre brugt til at genskabe baggrunds-geometri på en pålidelig metrisk skala. I den anden fase blev forgrunds-estimater fra MoGe-2 genindført gennem en kant-bevidst sammensætnings-proces, der producerede en slut-dybde-kort, der var designet til at bevare både stor-skala-nøjagtighed og skarp lokal detalje.

Data og tests

Den endelige MetricScenes-samling består af 47.579 eksklusivt virkelige billeder, der dækker 134 scener fra AerialMegaDepth; 29.583 billeder fra 356 scener fra MegaScenes; og 22.549 rammer fra 1.725 videoer fra Stereo4D.

Samlingen, hvoraf 10 scener pr. kilde blev holdt tilbage som validering, dækker både udendørs og indendørs kontekster, samt både grund-niveau og luft-views, og bymæssige samt naturlige landskaber – en samlet og sammenhængende kontekst, der ikke er tilgængelig i nogen af de enkelte bidragende samlinger.

Til en initial kvalitativ test, fine-tuned forfatterne MoGe-2 ViT-Large-Normal-modellen på den nye MetricScenes-dataset for 10.000 iterationer ved en batch-størrelse på 32 – effektivt omkring tre epoch. Cropping og generel data-augmentation-tilgange blev taget fra de originale MoGe-2-tests, og træning skete ved en læringsrate på 1×10^-6 (backbone) og 1×10^-5 (alle andre parametre). For den kvalitative test blev dybde-rekonstruktioner udført af den fine-tuned WildMoGe-model, der blev sat op imod base MoGe-2; DepthAnything V3; Metric3Dv2; UniDepth v2 ; og DepthPro:

Sammenligning af metrisk-skala-vartegn-rekonstruktion. Ground-truth-målinger fra Google Maps vises i venstre kolonne. Over usete virkelige vartegn producerer WildMoGe skala-estimater, der matcher kendte dimensioner, mens MoGe-2, DepthAnything V3 og Metric3D V2 ofte undervurderer størrelsen af fjerne strukturer. UniDepth V2 giver ofte mere plausibele skalaer, men forbliver inkonsistent, hvorimod DepthPro af og til producerer alvorlige skala-fejl.

Af denne result, siger artiklen:

‘[WildMoGe]  producerer konsekvent mere præcise absolutte skalaer på tværs af diverse vartegn, tæt på ground-truth-dimensioner (f.eks. 31,4 m vs. 32,4 m for Philadelphia Museum of Art, 46,7 m vs 46,5 m for Piazza della Signorina). MoGe-2, DepthAnything v3 og Metric3D v25 udviser skala-kollaps-adfærd, der konsekvent undervurderer størrelsen af fjern-felt-strukturer.

‘UniDepth v2 producerer mere realistiske skalaer, men afviger stadig fra ground-truth, og DepthPro fejler ofte i at genskabe absolut skala, producerer resultater, der er størrelsesordener mindre end virkeligheden. Bemærk, at disse scener er fraværende fra trænings-sættet.

‘Dette resultat demonstrerer, at WildMoGe kan generalisere til usete indhold, i modsætning til blot at huske trænings-scener.’

For at sikre, at gevinsten ikke var begrænset til vartegn og store udendørs scener, evaluerede forfatterne også WildMoGe på almindelige indendørs og gade-niveau-billeder, hvor den producerede skala-estimater, der var bredt konsistente med MoGe-2, mens den opnåede bedre nøjagtighed på en ETH3D-gård-scene:

Sammenligning på standard-scener. Over almindelige indendørs og gade-niveau-miljøer producerer WildMoGe skala-estimater, der er bredt konsistente med MoGe-2, mens den opnår bedre nøjagtighed på ETH3D-gård-benchmark, genskaber objekt-dimensioner, der matcher ground-truth-målinger.

For at vurdere, om MetricScenes faktisk forbedrede metrisk-skala-forståelse, blev evaluering udført både på en dedikeret MetricScenes-test-sæt og på NYUv2; KITTI; ETH3D; iBims-1; GSO; Sintel; DDAD; DIODE; Spring; og HAMMER.

Forfatterne bemærker, at det at opnå tætte ground-truth-målinger for ubegrænsede internet-billeder forbliver svært, hvilket betyder, at MetricScenes-mærkerne ikke er perfekte. Standard-benchmarks blev derfor inkluderet for at verificere, at eventuelle gevinst ikke kom på bekostning af generel geometrisk ydelse.

Sammenligninger blev udført imod MoGe-2; UniDepth V2; DepthPro; MASt3R; Depth Anything V2; Depth Anything V3; ZoeDepth; og Metric3D V2:

Kvantitativ evaluering af relativ og metrisk geometri. På MetricScenes-test-sættet overgik WildMoGe MoGe-2 på alle rapporterede metrikker, mens den forblev bredt konkurrencedygtig med ZoeDepth, Metric3D V2, Depth Anything V2, Depth Anything V3, MASt3R, UniDepth V2 og DepthPro på etablerede benchmarks, hvilket indikerer, at forbedret metrisk-skala-estimation var opnået uden at ofre generel geometrisk rekonstruktionskvalitet.

WildMoGe forbedrede betydeligt metrisk-skala-forudsigelse på MetricScenes, overgik MoGe-2 på alle rapporterede metrikker og opnåede stærkere metrisk-geometri- og metrisk-dybde-scores end MoGe-2, Depth Anything V3, Metric3D V2, UniDepth V2 og DepthPro.

Ydelse på NYUv2, KITTI, ETH3D, iBims-1, GSO, Sintel, DDAD, DIODE, Spring og HAMMER forblev bredt sammenlignelig med MoGe-2. Forfatterne tilskriver disse gevinst til MetricScenes’ metrisk supervision, der åbenbart hjælper med at reducere skala-kollaps, mens den bevarede generel scene-rekonstruktions-ydelse.

Konklusion

MetricScenes-løsningen til ‘skala-kollaps’ kommer til syne som en slags Heath-Robinson-ordning i artiklen – en hail-Mary-sammenføjning og destillation af multiple datasets, hver med en værdifuld synsvinkel at bidrage. Det ligner lidt at forsøge at bestemme formen på en elefant ved berøring.

Måske er den mest værdifulde service, artiklen tilbyder, at kalde større opmærksomhed på problemet, som synes at kræve en slags nyt eller tilpasset universel standard. Men da en sådan innovation ville afbryde reproducerbarheden og konsistensen af nuværende metoder, ville den være meget overbevisende.

* Min konvertering af forfatternes inline-citationer til hyperlinks.

Først publiceret torsdag den 11. juni 2026