AI Worstelt om de Grootte van Bezienswaardigheden te Erkennen

Visuele Taalmodellen begrijpen monumenten, maar ze kunnen nog steeds niet het hele plaatje zien…

Een van de eerste overlevingsvaardigheden die we ontwikkelen, is het vermogen om onderscheid te maken tussen dingen die klein of ver weg zijn. We kunnen de maan met onze duim bedekken, zonder te denken dat het de grootte van een dime heeft, omdat we een intern begrip van relatieve schaal hebben geïnternaliseerd.

Dit is een ongewoon moeilijke taak voor computervisiestelsels, omdat de meeste van hen afhankelijk zijn van voorafgaande annotatie, die hen niet helpt om ‘schaal’ te ‘begrijpen’ op dezelfde manier als mensen. Bovendien is alles in de verte, voorbij een bepaalde en vrijwel nabije limiet, buiten het vermogen van stereovisie om te resolven – de auto aan het einde van de parkeerplaats; de wolkenkrabber in de verte daarbuiten; en de sikkelvormige maan die erboven opkomt…allemaal zijn ‘2D’-entiteiten voor de meeste visie-gebaseerde machine learning-systemen.

Natuurlijk, wanneer een specifiek voorbeeld van een ‘ver’ maar verkeerd geïnterpreteerd object eindigt in een goed vertegenwoordigde trainingsdata, kunnen systemen die deze data hebben gezien moeilijk te misleiden zijn:

ChatGPT-5.5 is niet onder de indruk van deze klassieke toeristentrekker.

Hoe minder het getrainde latent ruimte van een model specifieke en vaak herhaalde informatie bevat, hoe meer het zal moeten generaliseren en de concepten van schaal internaliseren die wij op jonge leeftijd begrijpen. Zonder dit, kunnen zelfs beroemde voorbeelden nog steeds tot schaalverwarring leiden:

In dit speculatieve voorbeeld, aangepast uit het nieuwe artikel dat we vandaag onderzoeken, bevat de camera’s POV de Arc De Triomphe op de achtergrond – maar het systeem weet niet hoe groot het is en maakt een verkeerde schatting. Bron

Het gevaar, met specifieke en zeer karakteristieke objecten zoals de Eiffeltoren, is dat het systeem een shortcut van grootte-schatting zal gebruiken die correct is voor het oorspronkelijke model, maar niet correct is voor de meerdere imitaties van de Parijse bezienswaardigheid die eveneens buiten stereo-resolutie-afstand liggen, maar nergens near zo groot zijn.

Daarom is het belangrijk dat visiesystemen nieuwe (onbekende) views benaderen met een gereed vaardigheidset, en niet alleen met een aantal ‘cheat codes’.

Schaal Verhogen

Daartoe biedt een nieuwe samenwerking tussen de VS en China een hersteld dataset, samen met een schattingsmethode, die het probleem aanpakt:

De nieuwe benadering wijzigt een voorafgaand systeem door verbeterd trainingsmateriaal – gegevens die gevarieerd genoeg zijn om een dieper begrip van diepte-problemen te bieden.

Samen met een accompanying website, heeft de MetricScenes-initiatief gegevens en code-releases.

Het artikel zegt*:

‘[We] vonden dat de huidige state-of-the-art-methoden vaak falen om de correcte schaal van de scène te schatten, wat leidt tot een persistent scale-collapse-fenomeen in “in-the-wild”-scenarios.

‘[Het bovenstaande beeld] toont een voorbeeld waarin duidelijke semantische referenties (mensen) aanwezig zijn, maar waar modellen zoals MoGe-2 een significante schaal-inconsistentie vertonen over het bereik van afstanden: de geschatte metrische schaal voor nabije objecten is plausibel – in dit geval hebben de toeristen een plausibele hoogte – maar de schaal voor verre structuren wordt dramatisch onderschat – hier is de Arc de Triomphe op de achtergrond metrisch geschat op slechts 18,8 m breed, wat meer dan 2× kleiner is dan de grondwaarheid-breedte (44,8 m).

‘MoGe-2 heeft een geminimaliseerd monument voorgesteld, ondanks aanwijzingen van het tegendeel.’

De Kracht van Drie

De auteurs van de nieuwe collectie hebben deze samengesteld door drie bestaande datasets te combineren: MegaScenes, AerialMegaDepth en Stereo4D:

Voorbeeldbeelden uit MegaScenes, die deel uitmaken van de nieuwe curatie. Bron

Het probleem met de datasets die bijdragen aan MetricScenes, wanneer ze afzonderlijk worden genomen, is dat ze elk van toepassing zijn op beperkte domeinen, zoals POV-auto-opnames of interieur-scènes, wanneer een gecombineerd domein nodig is om het probleem aan te pakken en visiesystemen dichter bij een menselijke conceptuele begrip van schaal te brengen.

Elk beeld wordt vergezeld van RGB-beelden, gedeeltelijk waargenomen diepte afgeleid van Structure from Motion (SfM), Multi-View Stereo (MVS) of andere geometrische prioriteiten, samen met een voltooide dieptekaart gegenereerd door een nieuwe twee-staps Poisson-voltooiing-proces en bijbehorende camerametadata.

Fijnafstemming van het MoGe-2-kader op de nieuwe dataset ‘vermindert significant’ de schaal-inconsistentie die de auteurs noemen, en zou een superieure prestatie bereiken in open-domein-scènes en state-of-the-art-prestaties op gerelateerde benchmarks.

Het nieuwe artikel heeft de titel Honey, I Shrunk the Arc de Triomphe! en komt van vier onderzoekers van Cornell University en Shanghai Jiao Tong University.

Methode

MetricScenes put partijen voor een deel op de eerdergenoemde AerialMegaDepth en MegaScenes – twee collecties van internet-foto’s die historische archieven, toeristenfoto’s en professionele fotografie omvatten. Hoewel MegaScenes grote schaal-Structure from Motion (SfM)-reconstructies biedt, ontbreken deze scènes van inherent reële schaal. Om dit aan te pakken, werd geotagged-beeldmateriaal van online-kaartdiensten gebruikt om de reconstructies te aligneren met bekende fysieke locaties en afmetingen.

Omgekeerd bevat AerialMegaDepth al geotagged Google Earth-weergaven, waardoor metrische schaal-landmark-reconstructies mogelijk zijn.

Potentiële reconstructiefouten veroorzaakt door visueel vergelijkbare maar geografisch-verwijderde structuren werden aangepakt met MASt3R-SfM en de Doppelgangers++-classifier. Na Multi-View Stereo (MVS)-reconstructie werden onstabiele diepteschattingen en diepte-bleeding-artefacten gefilterd met een combinatie van stabiliteitscontroles en voorspellingen van MoGe-2:

AerialMegaDepth leidt reële schaal af door internet-foto’s te combineren met geotagged Google Earth-weergaven, terwijl MegaScenes-scènes worden uitgelijnd met fysieke afmetingen met behulp van geo-referenced straatniveau-beelden. Na Multi-View Stereo (MVS)-reconstructie worden onstabiele diepteschattingen en diepte-bleeding-artefacten gefilterd, waardoor schone metrische dieptekaarten ontstaan die geschikt zijn voor training. Gele dozen benadrukken tijdelijke objecten die tijdens de verwerking zijn verwijderd, terwijl rode dozen aangeven dat diepte-bleeding-regio’s zijn gecorrigeerd.

Metrische schaal werd vervolgens hersteld door geo-referenced-beelden. AerialMegaDepth leidt al schaal af van Google Earth-weergaven die zijn vastgelegd vanuit bekende locaties, terwijl MegaScenes werd uitgelijnd met reële afmetingen met behulp van geotagged straatniveau-beelden die zijn verkregen van kaartdiensten.

Deze beelden werden gematcht met bestaande reconstructies met MASt3R, verfijnd met de Doppelganger-classifier, uitgelijnd met COLMAP en geschaald door RANSAC-gebaseerde schatting met behulp van Earth-Centered, Earth-Fixed (ECEF)-coördinaten. Scènes met onbetrouwbare schaalschattingen of slechte registratiekwaliteit werden verwijderd.

Stereo Zien

De MetricScenes-collectie put ook uit de eerdergenoemde Stereo4D-dataset, die duizenden echte stereoscopische video-sequenties bevat die zijn opgenomen met VR180-camera’s, waardoor een tijdsdimensie aan de opnames wordt toegevoegd:

De Stereo4D-dataset is gebouwd uit stereoscopische internet-video’s, die cameraposities, diepteschattingen en bewegingstrajecten combineren om dynamische 3D-scènes op schaal te herstellen. De resulterende dataset bevat honderdduizenden video-clips die worden weergegeven als puntenwolken met lange-afstands-bewegingssporen, waardoor een grote bron van reële 3D-geometrie en beweging voor visiemodellen ontstaat. Bron

Omdat de fysieke afstand tussen de twee cameralezen varieert over verschillende apparaten, werden alleen video’s met gedocumenteerde cameracconfiguraties gebruikt, waardoor scène-diepte kon worden hersteld op een accurate reële schaal.

Stereo4D was oorspronkelijk afhankelijk van het optische-stroomsysteem SEA-RAFT om scène-geometrie te schatten, maar de auteurs vonden dat onvolkomen camera-calibratie scènes kon vertekenen, waardoor structuren die parallel zouden moeten zijn, onnatuurlijk convergeerden. Daarom werd deze benadering vervangen door een multi-view-reconstructie-pipeline die cameraposities en diepte uit meerdere frames schat.

Na het vergelijken van π³, DepthAnything V3 en MapAnything, werd π³ geselecteerd vanwege zijn geometrische robuustheid en vermogen om fijne details te behouden:

Metrische diepterecuperatie van Stereo4D. Standaard stereo-matching-methoden kunnen vertekende geometrie produceren wanneer camera-calibratie onvolkomen is, terwijl π³ consistente scène-reconstructies genereert en fijne details behoudt. De herstelde geometrie wordt vervolgens uitgelijnd met de bekende fysieke baseline van de stereo-camera, waardoor nauwkeurig geschaalde metrische dieptekaarten ontstaan.

Omdat π³ scènes reconstrueert op een willekeurige schaal, werden de resulterende dieptekaarten uitgelijnd met reële afmetingen met behulp van de bekende fysieke baseline van elke stereo-camera-rig. Additionele filtering verwijderde lage-kwaliteit frames, diepte-inconsistenties, calibratiefouten en onbetrouwbare schaalschattingen.

Bovendien werd een twee-staps diepte-voltooiingsproces gebruikt, dat voorgrondvoorspellingen van MoGe-2 combineerde met achtergrondgeometrie van Multi-View Stereo (MVS), waardoor schone metrische dieptekaarten met consistente schaal en scherpe objectgrenzen ontstonden:

Twee-staps diepte-voltooiing. Het gebruik van alleen achtergrond-ankers kan scène-structuur behouden, maar kan de algehele schaal vertekenen, terwijl het combineren van voorgrond- en achtergrondbeperkingen in één stap schaaldrift en grensartefacten introduceert. De twee-stapsbenadering behoudt consistente metrische schaal over zowel nabije als verre objecten, terwijl schone objectgrenzen worden behouden.

De auteurs observeerden dat internet-foto-collecties vaak geen betrouwbare voorgrond-diepte hebben, terwijl stereo-beelden vaak verre achtergrond-regio’s missen. Hoewel MoGe-2 dense geometrie over de hele scène kan afleiden, neigen zijn schattingen naar hetzelfde schaal-collapse-probleem dat het project probeert aan te pakken. Daarom werd de twee-staps diepte-voltooiings-pipeline ontworpen om de sterke punten van MoGe-2 en Multi-View Stereo (MVS) te combineren.

Achtergrondgeometrie werd hersteld met behulp van MVS-afgeleide metrische ankers, waardoor een basis-dieptekaart met betrouwbare grote-schaalstructuur ontstond. In een tweede stap werden voorgrond-schattingen van MoGe-2 opnieuw geïntroduceerd door een rand-bewust voltooiingsproces dat was ontworpen om objectgrenzen te behouden en schaaldrift en diepte-bleeding-artefacten te voorkomen.

De dieptekaarten die door deze benadering werden gegenereerd, beweren de auteurs, waren zowel visueel compleet als meer consistent in reële schaal:

Twee-staps diepte-voltooiings-pipeline. In de eerste stap worden MVS-ankers gebruikt om achtergrondgeometrie te herstellen op een betrouwbare metrische schaal. In de tweede stap worden voorgrond-schattingen van MoGe-2 opnieuw geïntroduceerd door een rand-bewust samstellingsproces, waardoor een finale dieptekaart ontstaat die is ontworpen om zowel grote-schaal-accuraatheid als scherpe lokale details te behouden.

Gegevens en Tests

De finale MetricScenes-collectie bestaat uit 47.579 exclusief reële wereldbeelden die 134 scènes uit AerialMegaDepth dekken; 29.583 beelden uit 356 scènes uit MegaScenes; en 22.549 frames uit 1.725 video’s uit Stereo4D.

De collectie, waarvan 10 scènes per bron werden teruggeschoven als validatie, dekt zowel binnen- als buitencontexten, evenals grondniveau- en luchtfoto’s, en stedelijke en natuurlijke landschappen – een verzamelde en samenhangende context die niet beschikbaar is in een van de individuele bijdragende collecties.

Voor een initiële kwalitatieve test werden de auteurs gefinetuned met het MoGe-2 ViT-Large-Normal-model op de nieuwe MetricScenes-dataset voor 10.000 iteraties bij een batchgrootte van 32 – effectief rond de drie epochs. Cropping en algemene data-augmentatie-benaderingen werden overgenomen uit de oorspronkelijke MoGe-2-tests, en training vond plaats bij een leer tempo van 1×10^-6 (backbone) en 1×10^-5 (alle andere parameters). Voor de kwalitatieve test werden dieptereconstructies uitgevoerd door het gefinetuned WildMoGe-model, dat werd vergeleken met basis MoGe-2; DepthAnything V3; Metric3Dv2; UniDepth v2 ; en DepthPro:

Vergelijking van metrische schaal-landmark-reconstructie. Grondwaarheid-metingen van Google Maps worden getoond in de linkerkolom. Over ongezien reële landmarks produceert WildMoGe schaalschattingen die meer overeenkomen met bekende afmetingen, terwijl MoGe-2, DepthAnything V3 en Metric3D V2 de grootte van verre structuren vaak onderschatten. UniDepth V2 levert vaker plausibele schalen, maar blijft inconsistent, terwijl DepthPro soms ernstige schaalfouten produceert.

Van dit resultaat zegt het artikel:

‘[WildMoGe] herstelt consequent meer accurate absolute schalen over diverse landmarks, die dicht bij de grondwaarheid-dimensies liggen (bijv. 31,4 m vs. 32,4 m voor het Philadelphia Museum of Art, 46,7 m vs 46,5 m voor Piazza della Signorina). MoGe-2, DepthAnything v3 en Metric3D v25 vertonen schaal-collapse-gedrag, waarbij ze consequent de grootte van verre structuren onderschatten.

‘UniDepth v2 produceert meer realistische schalen, maar wijkt nog steeds af van de grondwaarheid, en DepthPro faalt vaak om absolute schaal te herstellen, waardoor resultaten ontstaan die een orde van grootte kleiner zijn dan de werkelijkheid. Opmerking: deze scènes zijn afwezig in de trainingsset.

‘Deze prestatie toont aan dat WildMoGe kan generaliseren naar ongezien inhoud, in plaats van alleen trainings-scènes te memoriseren.’

Om ervoor te zorgen dat de voordelen die werden gevonden niet beperkt waren tot landmarks en grote buitenscènes, hebben de auteurs WildMoGe ook geëvalueerd op gewone binnen- en straatniveau-beelden, waar het schaalschattingen produceerde die breed consistent waren met MoGe-2, terwijl het een grotere nauwkeurigheid bereikte op een ETH3D-binnenplaats-scène:

Vergelijking op standaardscènes. Over gewone binnen- en straatniveau-omgevingen produceert WildMoGe schaalschattingen die breed consistent zijn met MoGe-2, terwijl het een grotere nauwkeurigheid bereikt op de ETH3D-binnenplaats-benchmark, waardoor objectdimensies worden hersteld die dichter bij de grondwaarheid-metingen liggen.

Om te beoordelen of MetricScenes daadwerkelijk de metrische-schaal-redenering verbeterde, werd de evaluatie uitgevoerd op een speciale MetricScenes-testset en op NYUv2; KITTI; ETH3D; iBims-1; GSO; Sintel; DDAD; DIODE; Spring; en HAMMER.

De auteurs merken op dat het verkrijgen van dichte grondwaarheid-metingen voor onbeperkte internet-beelden moeilijk blijft, waardoor de MetricScenes-labels niet perfect zijn. Standaardbenchmarks werden daarom opgenomen om te verifiëren dat eventuele voordelen niet ten koste gingen van de algemene geometrische prestaties.

Vergelijkingen werden gemaakt met MoGe-2; UniDepth V2; DepthPro; MASt3R; Depth Anything V2; Depth Anything V3; ZoeDepth; en Metric3D V2:

Kwantitatieve evaluatie van relatieve en metrische geometrie. Op de MetricScenes-testset overtrof WildMoGe MoGe-2 over alle gerapporteerde metrieken, terwijl het breed concurrerend bleef met ZoeDepth, Metric3D V2, Depth Anything V2, Depth Anything V3, MASt3R, UniDepth V2 en DepthPro op gevestigde benchmarks, wat aangeeft dat verbeterde metrische schaalschatting werd bereikt zonder de algemene geometrische reconstructie-kwaliteit op te offeren.

WildMoGe verbeterde de metrische schaalschatting aanzienlijk op MetricScenes, waarbij het MoGe-2 overtrof over alle gerapporteerde metrieken en betere metrische geometrie- en metrische dieptescores behaalde dan MoGe-2, Depth Anything V3, Metric3D V2, UniDepth V2 en DepthPro.

De prestatie op NYUv2, KITTI, ETH3D, iBims-1, GSO, Sintel, DDAD, DIODE, Spring en HAMMER bleef breed vergelijkbaar met MoGe-2. De auteurs schrijven deze voordelen toe aan de metrische supervisie van MetricScenes, die schaal-collapse lijkt te verminderen terwijl de algemene scène-reconstructie-prestaties behouden blijft.

Conclusie

De MetricScenes-oplossing voor ‘schaal-collapse’ komt over als een soort Heath-Robinson-constructie, in het artikel – een haastige mengeling en destillatie van meerdere datasets, waarvan elk een waardevolle kijk heeft om bij te dragen. Het lijkt een beetje op het proberen te bepalen van de vorm van een olifant door aanraking.

Misschien biedt het artikel de meest waardevolle dienst door grotere aandacht te vestigen op het probleem, dat lijkt te vereisen een soort novum of aangepaste universele standaard. Echter, aangezien een dergelijke innovatie de reproduceerbaarheid en consistentie van huidige methodologieën zou onderbreken, zou het zeer overtuigend moeten zijn.

* Mijn conversie van de inline-citaten van de auteurs naar hyperlinks.

Publicatie op donderdag 11 juni 2026