AI kämpar för att känna igen storleken på landmärken

Visuella språkmodeller förstår monument, men de kan fortfarande inte se helhetsbilden…

En av de tidigaste överlevnadsfärdigheterna vi utvecklar är förmågan att skilja på saker som är små eller långt borta. Vi kan täcka över månen med vår tumme, utan att tro att den är stor som en dime, eftersom vi har internaliserat en förståelse för relativ skala.

Detta är en ovanligt svår uppgift för datorsystem för visuell perception, eftersom de flesta av dem förlitar sig på tidigare annotering, som inte hjälper dem att “förstå” skala på samma sätt som människor. Dessutom är allt som är på avstånd bortom förmågan hos stereovision att lösa – bilen i andra änden av parkeringen; skyskrapan i fjärran bortom den; och halvmånen som stiger över den… allt är “2D”-entiteter för de flesta vision-baserade maskinlärningssystem.

Naturligtvis, när ett specifikt exempel på ett “avlägset” men missförstått föremål hamnar i träningdata, kan system som har sett denna data vara svåra att lura:

ChatGPT-5.5 är inte alls imponerad av denna klassiska turistfälla.

Ju mindre en modells tränade latenta utrymme innehåller sådan specifik och ofta upprepad information, desto mer måste den kunna generalisera och internalisera skalkoncept som vi fattar vid en ung ålder. Utan detta kan även berömda exempel orsaka felbedömningar av skala:

I detta spekulativa exempel, anpassat från den nya artikeln som vi undersöker idag, har kamerans POV Arc de Triomphe i bakgrunden – men systemet vet inte hur stor den är och gör ett felaktigt gissning. Källa

Faran, med specifika och mycket karakteristiska föremål som Eiffeltornet, är att systemet kommer att använda en genväg för storleksuppskattning som är korrekt för den ursprungliga modellen, men inte korrekt för de många imitationerna av Paris landmärke som är lika långt borta från stereouppfattningens avstånd, men som är mycket mindre.

Därför är det viktigt att visuella system närmar sig nya (osynliga) vyer med en redo färdighetsuppsättning, och inte bara en massa “fusk-koder”.

Skalning upp

Till detta ändamål erbjuder en ny samarbete mellan USA och Kina en åtgärdande dataset, tillsammans med en uppskattningsmetod, som hanterar problemet:

Den nya metoden modifierar en tidigare system genom förbättrad träningsmaterial – data som varierar tillräckligt för att ge en djupare förståelse för djupproblem.

Lanserad tillsammans med en åtföljande webbplats, initiativet MetricScenes innehåller data och kod släpp.

Artikeln hävdar*:

‘[Vi] fann att nuvarande state-of-the-art-metoder ofta misslyckas med att uppskatta korrekt scen-skala, vilket leder till en bestående skalkollapsfenomen i “i-fältet”-scenarier.

‘[Bilden ovan] visar ett exempel där tydliga semantiska referenser (människor) är närvarande, men där modeller som MoGe-2 uppvisar en betydande skalinnehållande inkonsekvens över avståndsintervallet: den förutsagda metriska skalan för nära föremål är rimlig – i detta fall har turisterna en rimlig höjd – men skalan för fjärrstrukturer är dramatiskt underskattad – här är Arc de Triomphe i bakgrunden metriskt förutsagd att vara bara 18,8 m bred, vilket är mer än 2× mindre än den faktiska bredden (44,8 m).

‘MoGe-2 har antagit en förminskad landmärke, trots motsatta signaler.’

Den tredje kraften

Författarnas nya samling samlades genom att kombinera tre befintliga dataset: MegaScenes, AerialMegaDepth och Stereo4D:

Exempelbilder från MegaScenes, som utgör en del av den nya kureringen. Källa

Problemet med de dataset som bidrar till MetricScenes, när de tas enskilt, är att de var och en tillämpas på begränsade domäner, såsom POV-bilfilm, eller inomhusscener, när en kombinerad domän behövs för att hantera problemet och bringa visuella system närmare en mänsklig konceptuell förståelse av skala.

<p.Varje bild åtföljs av RGB-bilder, delvis observerad djup från Structure from Motion (SfM), Multi-View Stereo (MVS) eller andra geometriska prioriteringar, tillsammans med en komplett djupkarta genererad genom en ny tvåstegs Poisson-kompletteringsprocess och associerad kamerametadata.

Finjustering av MoGe-2-ramverket på den nya dataset ‘signifikant mildrar’ skalkollapsen som författarna hänvisar till, och rapporterar överlägsna resultat i öppna domäner och state-of-the-art-prestation på relaterade benchmark.

Den nya artikeln heter Honey, I Shrunk the Arc de Triomphe! och kommer från fyra forskare vid Cornell University och Shanghai Jiao Tong University.

Metod

MetricScenes bygger delvis på den ovannämnda AerialMegaDepth och MegaScenes – två samlingar av internetfotografier som omfattar historiska arkiv, turistbilder och professionell fotografering. Även om MegaScenes erbjuder storskaliga SfM-rekonstruktioner, saknar dessa scener någon inbyggd verklig skala. För att hantera detta användes geotaggad bild från online-karttjänster för att justera rekonstruktionerna med kända fysiska platser och dimensioner.

Omvänt innehåller AerialMegaDepth redan geotaggade Google Earth-vyer, vilket ger metrisk skala-landmärke rekonstruktioner.

Potentiella rekonstruktionsfel orsakade av visuellt liknande men geografiskt avlägsna strukturer hanterades med MASt3R-SfM och Doppelgangers++-klassificeraren. Efter MVS-rekonstruktion filtrerades instabila djupuppskattningar och djupblödningsartefakter med en kombination av stabilitetskontroller och förutsägelser från MoGe-2:

AerialMegaDepth erhåller verklig skala genom att kombinera internetfotografier med geotaggade Google Earth-vyer, medan MegaScenes-scener justeras till fysiska dimensioner med hjälp av georefererad gatunivåbild. Efter MVS-rekonstruktion filtreras instabila djupuppskattningar och djupblödningsartefakter, vilket resulterar i renare metrisk skala-djupkartor som är lämpliga för träning. Gula rutor markerar transienta föremål som tas bort under bearbetning, medan röda rutor indikerar korrigerade djupblödningsområden.

Metrisk skala återställdes sedan genom georefererad bild. AerialMegaDepth erhåller redan skala från Google Earth-renderingar som fångats från kända platser, medan MegaScenes justerades till verkliga dimensioner med hjälp av geotaggad gatunivåbild från karttjänster.

Dessa bilder matchades med befintliga rekonstruktioner med MASt3R, raffinerades med Doppelganger-klassificeraren, justerades med COLMAP och skalades med RANSAC-baserad uppskattning med Earth-Centered, Earth-Fixed (ECEF)-koordinater. Scener med opålitliga skalestimeringar eller dålig registreringskvalitet kasserades.

Seende i stereo

MetricScenes-samlingen bygger också på den ovannämnda Stereo4D-dataseten, som innehåller tusentals verkliga stereoskopiska videosekvenser som fångats med VR180-kameror, vilket ger en tidsdimension till inspelningarna:

Stereo4D-datasetet byggdes från stereoskopiska internetvideor, som kombinerar kamerapositioner, djupuppskattningar och rörelsebanor för att återställa dynamiska 3D-scener i skala. Det resulterande datasetet innehåller hundratusentals videoklipp som representeras som punktmoln med långdistansrörelsebanor, vilket ger en stor källa till verklig 3D-geometri och rörelse för träning av visuella modeller. Källa

Eftersom den fysiska avståndet mellan de två kamerablenden varierar över olika enheter, användes endast videor med dokumenterade kamerakonfigurationer, vilket möjliggjorde att scenens djup kunde återställas i verklig skala.

Stereo4D byggde ursprungligen på det optiska flödessystemet SEA-RAFT för att uppskatta scengeometri, men författarna fann att ofullständig kamerakalibrering kunde förvränga rekonstruerade scener, vilket orsakade att strukturer som borde vara parallella konvergerade onaturligt. Därför ersattes denna metod med en multi-vy-rekonstruktionspipeline som gemensamt uppskattar kamerapositioner och djup från flera ramar.

Efter att ha jämfört π³, DepthAnything V3 och MapAnything valdes π³ för sin geometriska robusthet och förmåga att bevara fina detaljer:

Metrisk skala-djupåterställning från Stereo4D. Standard-stereomatchningsmetoder kan producera förvrängd geometri när kamerakalibreringen är ofullständig, medan π³ genererar mer konsekventa scenrekonstruktioner och bevarar fina detaljer. Den återställda geometrin justeras sedan till den kända fysiska baslinjen för stereokameran, vilket ger exakt skalade metrisk skala-djupkartor.

Eftersom π³ rekonstruerar scener i en godtycklig skala, justerades de resulterande djupkartorna till verkliga dimensioner med hjälp av den kända fysiska baslinjen för varje stereokamerarig. Ytterligare filtrering avlägsnade lågkvalitativa ramar, djupinnehållande inkonsekvenser, kalibreringsfel och opålitliga skalestimeringar.

En tvåstegs djupkompletteringsprocess användes också, som kombinerar förgrunds förutsägelser från MoGe-2 med bakgrundsgeometri från MVS, vilket producerar renare metrisk skala-träningsdata med mer konsekvent skala och skarpare objektsgränser:

Tvåstegs djupkomplettering. Att använda endast bakgrundsankare kan bevara scenstrukturen medan den förvränger den övergripande skalan, medan kombinationen av förgrunds- och bakgrundsrestriktioner i ett enda steg introducerar skalförskjutning och gränsartefakter. Den tvåstegsprocessen upprätthåller konsekvent metrisk skala över både nära och avlägsna föremål medan den bevarar rena objektsgränser.

Författarna observerade att internetfotografi ofta saknar tillförlitlig förgrunds-djup, medan stereobilder ofta saknar avlägsna bakgrundsregioner. Även om MoGe-2 kan härleda tät geometri över hela scenen, tenderar dess uppskattningar mot samma skalkollaps-problem som projektet försöker hantera. Därför utformades den tvåstegs djupkompletteringspipelinen för att kombinera styrkorna hos MoGe-2 och MVS.

Bakgrundsgeometri återställdes med hjälp av MVS-ankare, vilket skapade en bas-djupkarta med tillförlitlig stor skala-struktur. I ett andra steg återinfördes förgrunds-uppskattningar från MoGe-2 genom en kantmedveten kompletteringsprocess som utformades för att bevara objektsgränser medan den förhindrar skalförskjutning och djupblödningsartefakter.

Djupkartorna som producerades av denna metod, hävdar artikeln, var både visuellt kompletta och mer konsekventa i verklig skala:

Tvåstegs djupkompletteringspipeline. I det första steget används MVS-ankare för att återställa bakgrundsgeometri i en tillförlitlig metrisk skala. I det andra steget återinförs förgrunds-uppskattningar från MoGe-2 genom en kantmedveten sammansättningsprocess, vilket producerar en slutlig djupkarta som är utformad för att bevara både stor skala-precision och skarp lokal detalj.

Data och tester

Den slutliga MetricScenes-samlingen består av 47 579 exklusivt verkliga bilder som täcker 134 scener från AerialMegaDepth; 29 583 bilder från 356 scener från MegaScenes; och 22 549 ramar från 1 725 videor från Stereo4D.

Samlingen, från vilken 10 scener per källa hölls tillbaka som validering, täcker både exteriör- och interiörkontexter, samt marknivå- och luftvyer, och urbana såväl som naturliga landskap – en samlad och sammanhängande kontext som inte finns i någon av de enskilda bidragande samlingarna.

För en första kvalitativ test, finjusterade författarna MoGe-2 ViT-Large-Normal-modellen på den nya MetricScenes-dataseten för 10 000 iterationer vid en batchstorlek på 32 – effektivt runt tre epoker. Beskärning och allmän dataförstärkning tillvägagångssätt togs från de ursprungliga MoGe-2-testerna, och träning skedde vid en inlärningshastighet på 1×10^-6 (backbone) och 1×10^-5 (alla andra parametrar). För den kvalitativa testet utfördes djuprekonstruktioner av den finjusterade WildMoGe-modellen, som jämfördes med bas-MoGe-2; DepthAnything V3; Metric3Dv2; UniDepth v2 ; och DepthPro:

Jämförelse av metrisk skala-landmärke rekonstruktion. Ground-truth-mätningar från Google Maps visas i den vänstra kolumnen. Över osynliga verkliga landmärken producerar WildMoGe skalestimeringar som mer exakt matchar kända dimensioner, medan MoGe-2, DepthAnything V3 och Metric3D V2 ofta underskattar storleken på avlägsna strukturer. UniDepth V2 ger ofta mer trovärdiga skalor, men förblir inkonsekvent, medan DepthPro ibland producerar allvarliga skalfel.

Av detta resultat hävdar artikeln:

‘[WildMoGe]  återställer konsekvent mer exakta absoluta skalor över diverse landmärken, som nära matchar ground-truth-dimensioner (t.ex. 31,4 m vs 32,4 m för Philadelphia Museum of Art, 46,7 m vs 46,5 m för Piazza della Signorina). MoGe-2, DepthAnything v3 och Metric3D v25 uppvisar skalkollapsbeteende, som konsekvent underskattar storleken på fjärrstrukturer.

‘UniDepth v2 producerar mer realistiska skalor men avviker fortfarande från ground truth, och DepthPro misslyckas ofta med att återställa absolut skala, vilket resulterar i resultat som är flera storleksordningar mindre än verkligheten. Observera att dessa scener är frånvarande i träningsuppsättningen.

‘Denna prestation visar att WildMoGe kan generalisera till osynligt innehåll, snarare än att bara komma ihåg träningscener.’

För att säkerställa att de vinster som hittades inte var begränsade till landmärken och stora utomhusmiljöer, utvärderade författarna också WildMoGe på vanliga inomhus- och gatunivåbilder, där den producerade skalestimeringar som var bredvidigt konsekventa med MoGe-2, medan den uppnådde bättre precision på en ETH3D-gårdscen:

Jämförelse på standardscener. Över vanliga inomhus- och gatunivåmiljöer producerar WildMoGe skalestimeringar som är bredvidigt konsekventa med MoGe-2, medan den uppnår bättre precision på ETH3D-gårdsmiljöbenchmark, vilket återställer objektdimensioner som mer exakt matchar ground-truth-mätningar.

För att utvärdera om MetricScenes faktiskt förbättrade metrisk skala-resonemang, utfördes utvärdering både på en dedikerad MetricScenes-testuppsättning och på NYUv2; KITTI; ETH3D; iBims-1; GSO; Sintel; DDAD; DIODE; Spring; och HAMMER.

Författarna noterar att det fortfarande är svårt att erhålla täta ground-truth-mätningar för obegränsade internetbilder, vilket innebär att MetricScenes-etiketterna inte är perfekta. Standardbenchmark användes därför för att verifiera att eventuella vinster inte kom på bekostnad av allmän geometrisk prestanda.

Jämförelser gjordes mot MoGe-2; UniDepth V2; DepthPro; MASt3R; Depth Anything V2; Depth Anything V3; ZoeDepth; och Metric3D V2:

Kvantitativ utvärdering av relativ och metrisk geometri. På MetricScenes-testuppsättningen överträffar WildMoGe MoGe-2 över alla rapporterade mått, medan den förblir bredvidigt konkurrenskraftig med ZoeDepth, Metric3D V2, Depth Anything V2, Depth Anything V3, MASt3R, UniDepth V2 och DepthPro på etablerade benchmark, vilket indikerar att förbättrad metrisk skala-uppskattning uppnåddes utan att offra allmän geometrisk rekonstruktionskvalitet.

WildMoGe förbättrade avsevärt metrisk skala-prediktion på MetricScenes, överträffande MoGe-2 över alla rapporterade mått och uppnådde bättre metrisk geometri- och metrisk djup-poäng än MoGe-2, Depth Anything V3, Metric3D V2, UniDepth V2 och DepthPro.

Prestanda på NYUv2, KITTI, ETH3D, iBims-1, GSO, Sintel, DDAD, DIODE, Spring och HAMMER förblev bredvidigt jämförbar med MoGe-2. Författarna tillskriver dessa vinster MetricScenes metrisk övervakning, som tydligen hjälper till att minska skalkollapsen samtidigt som den bevarar allmän scenrekonstruktionsprestanda.

Slutsats

MetricScenes-lösningen för “skalkollaps” verkar som en sorts Heath-Robinson-arrangemang i artikeln – en sammanslagning och destillation av flera dataset, var och en med ett värdefullt perspektiv att bidra. Det verkar lite som att försöka bestämma formen på en elefant genom beröring.

Kanske är den mest värdefulla tjänsten som artikeln erbjuder att den väcker större uppmärksamhet kring problemet, som verkar kräva någon form av ny eller anpassad universell standard. Men eftersom en sådan innovation skulle avbryta reproducerbarheten och konsekvensen i nuvarande metoder, måste den vara mycket övertygande.

* Min omvandling av författarnas inline-citat till hyperlänkar.

Publicerad första gången torsdagen den 11 juni 2026