Andersonin kulma
Tekoäly kamppailee maamerkkien koon tunnistamisessa

Keskeiset kohdatKonelaskennan konenäköjärjestelmiltä puuttuu ihmisen vaisto suhteellisesta…
Näytä lisää
- Konelaskennan konenäköjärjestelmiltä puuttuu ihmisen vaisto suhteellisesta mittakaavasta, ja ne usein kutistavat kaukaiset maamerkit pienoismalleiksi.
- MetricScenes yhdistää kolme tietoaineistoa, koska kukin niistä yksin kattaa liian kapean alueen yleisen mittakaavan opettamiseen.
- MetricScenes-aineistolla hienosäätö vähensi mittakaavan romahtamista ja voitti MoGe-2:n jokaisessa raportoidussa mittarissa.
Näkö-kielimallit ymmärtävät monumentteja, mutta ne eivät voi nähdä koko kuvaa…
Yksi varhaisimmista selviytymistaidoista, jonka kehitämme, on kyky erottaa asioita, jotka ovat pieniä tai kaukana. Voimme peittää kuun peukalolla, luulematta sen olevan yhdysvaltalaisen kymmenen sentin kolikon kokoinen, koska olemme sisäistäneet suhteellisen mittakaavan ymmärryksen.
Tämä on epätavallisen vaikea tehtävä tietokoneen näköjärjestelmille, koska useimmat niistä riippuvat aiemmasta annotaatiosta, joka ei auta niitä “ymmärtämään” mittakaavaa samalla tavalla kuin ihmiset. Lisäksi, tietyn ja melko lähellä olevan rajan jälkeen, kaikki etäiset kohteet ovat ulottumattomissa stereonäön erotuskyvyn ulkopuolella – auto pysäköintialueen kaukaisessa päässä; pilvenpiirtäjä kaukaisuudessa sen jälkeen; ja sen ylle nouseva kuunsirppi… kaikki ovat “2D”-entiteettejä, useimpien näköperusteisten koneoppimismenetelmien kannalta.
Tietysti, kun tietty esimerkki “kaukaisesta” mutta väärin tulkitusta kohteesta päätyy hyvin edustettuna koulutusdataan, järjestelmät, jotka ovat nähneet tämän datan, voivat olla vaikeasti huijattavia:

ChatGPT-5.5 ei ole lainkaan vaikuttunut tästä klassisesta matkailutroopista.
Mitä vähemmän mallin koulutettu latenttiavaruus sisältää tällaista tiettyä ja usein toistuvaa tietoa, sitä paremmin sen on pystyttävä yleistämään ja sisäistämään mittakaavan käsitteitä, joita me ymmärrämme nuorella iällä. Ilman tätä, jopa kuuluisat esimerkit voivat edelleen aiheuttaa mittakaavan väärin arvioimista:

Tässä spekulatiivisessa esimerkissä, joka on sovellettu tänään tarkasteltavasta uudesta tutkimuksesta, kameran näkymän taustalla on Arc de Triomphe – mutta järjestelmä ei tiedä, miten suuri se on, ja tekee virheellisen arvion. Lähde
Vaara, joka liittyy tiettyihin ja erittäin ominaispiirteisiin objekteihin, kuten Eiffel-torniin, on, että järjestelmä turvautuu oikotiehen koon arvioimiseen, joka on oikein alkuperäiselle mallille, mutta ei ole oikein monille Pariisin maamerkin jäljennöksille, jotka ovat myös stereonäön erotuskyvyn kantaman ulkopuolella, mutta eivät ole läheskään yhtä suuria.
Siksi on tärkeää, että näköjärjestelmät lähestyvät uusia (näkemättömiä) näkymiä valmiilla taitopohjalla, eikä vain joukolla “huijauskoodeja”.
Skalointi
Tähän tarkoitukseen Yhdysvaltain ja Kiinan välinen uusi yhteistyö tarjoaa korjaavaa tietojoukkoa ja arviointimenetelmää, joka vastaa ongelmaan:

Uusi lähestymistapa muuttaa aiempaa järjestelmää parannetun koulutusmateriaalin kautta – dataa, joka on tarpeeksi monipuolista, jotta voidaan saavuttaa syvempi ymmärrys syvyyden ongelmista.
Yhdessä sivuston kanssa, MetricScenes -aloite sisältää dataa ja koodia julkaisuja.
Tutkimus sanoo*:
‘[Me] löysimme, että nykyiset huipputason menetelmät usein epäonnistuvat arvioimaan oikean kohtauksen mittakaavaa, johtaen jatkuvaan mittakaavan romahdukseen “luonnonoloissa”.’
‘[Yllä oleva kuva] näyttää esimerkin, jossa selkeät semanttiset viittaukset (ihmiset) ovat läsnä, mutta jossa mallit kuten MoGe-2 osoittavat merkittävää mittakaavan epäjohdonmukaisuutta etäisyyden vaihtelussa: arvioitu metrinen mittakaava lähialueen objekteille on uskottava – tässä tapauksessa, turistien pituus on uskottava – mutta kaukaisen rakennelman mittakaava on dramaattisesti aliarvioitu – tässä tapauksessa, taustalla olevan Arc de Triomphen leveydeksi arvioidaan metrisesti vain 18,8 m, mikä on yli 2-kertaa pienempi kuin todellinen leveys (44,8 m).
‘MoGe-2 on olettanut maamerkin pienoiskokoiseksi, vastakkaisista vihjeistä huolimatta.’
Kolmen voima
Kirjoittajien uusi kokoelma koostuu kolmesta olemassa olevasta tietojoukosta: MegaScenes, AerialMegaDepth ja Stereo4D:

Esimerkkikuvia MegaScenesista, joka muodostaa osan uudesta kokoelmasta. Lähde
Ongelma, joka liittyy tietojoukkoihin, jotka muodostavat MetricScenesin, kun ne otetaan yksin, on, että ne soveltuvat rajoitettuihin alueisiin, kuten auton näkökulmasta kuvattuihin videoihin tai sisätiloihin, kun taas yhdistetty toiminta-alue on tarpeen ongelman ratkaisemiseksi ja näköjärjestelmien lähentämiseksi ihmisenkaltaiseen mittakaavan ymmärrykseen.
Jokaisen näytteen mukana on RGB-kuva sekä osittain havaittu syvyys, joka on johdettu Rakenteen liikkeestä (SfM), Moninäkökulmaisesta stereosta (MVS) tai muista geometrisista etuoletuksista, sekä valmis syvyyskartta, joka on tuotettu kahden vaiheen Poisson-täydennysprosessin kautta, ja vastaavat kameran metatiedot.
Hienosäätö MoGe-2-kehyksessä uudella tietojoukolla ‘merkittävästi lievittää‘ mittakaavan romahdusta, jota kirjoittajat mainitsevat, ja tuottaa raportin mukaan parempia tuloksia avoimissa kohtauksissa ja huipputason suorituskyvyn liittyvissä vertailutesteissä.
Uusi tutkimus on nimeltään Honey, I Shrunk the Arc de Triomphe!, ja se tulee neljältä tutkijalta Cornellin yliopistosta ja Shanghain Jiao Tong -yliopistosta.
Menetelmä
MetricScenes perustuu osittain mainittuihin AerialMegaDepth ja MegaScenes -tietojoukkoihin – kahteen Internet-valokuvakokoelmaan, jotka kattavat historialliset arkistot, matkailukuvat ja ammattivalokuvauksen. Vaikka MegaScenes tarjoaa laajamittaisia SfM-rekonstruktioita, näiltä kohtauksilta puuttuu todellisen maailman mittakaava. Tätä varten karttapalvelujen geotagattuja kuvia käytettiin sovittamaan rekonstruktiot vastaamaan tunnettuja fyysisiä sijainteja ja mittoja.
Toisaalta AerialMegaDepth sisältää jo geotagitut Google Earth -näkymät, jotka tarjoavat metrisen mittakaavan maamerkkirekonstruktioita.
Mahdolliset rekonstruktiovirheet, joita aiheuttivat visuaalisesti samankaltaiset mutta maantieteellisesti etäiset rakenteet, käsiteltiin MASt3R-SfM:n ja Doppelgangers++ -luokittelijan avulla. Moninäkymäisen stereorekonstruktion jälkeen epävakaat syvyysarviot ja syvyyden vuotamisesta johtuvat artefaktit suodatettiin pois yhdistelmällä vakaustarkastuksia ja MoGe-2:n ennusteita:

AerialMegaDepth johdattaa todellisen mittakaavan yhdistämällä Internet-kuvia geotagituihin Google Earth -näkymiin, kun taas MegaScenesin kohtaukset on suunnattu vastaamaan fyysisiä mittoja käyttämällä georeferoidun kadunnäkymän kuvaa. Moninäkymäisen stereorekonstruktion jälkeen epävakaat syvyysarviot ja syvyyden vuotamisesta johtuvat artefaktit suodatettiin pois, tuottaen puhtaammat metriset syvyyskartat, jotka soveltuvat koulutukseen. Keltaiset ruudut korostavat väliaikaisia objekteja, jotka poistettiin prosessin aikana, kun taas punaiset ruudut osoittavat korjattuja syvyyden vuotamisalueita.
Metrinen mittakaava palautettiin georeferoidun kuvan avulla. AerialMegaDepth sisältää jo mittakaavan, joka perustuu Google Earth -renderöinteihin, jotka on tuotettu tunnetuista sijainneista, kun taas MegaScenes on sovitettu todellisiin mittoihin käyttämällä geotagattuja katutason kuvia, jotka on saatu karttapalveluista.
Nämä kuvat on yhdistetty olemassa oleviin rekonstruktioihin MASt3R:llä, hienosäädetty Doppelganger-luokittelijalla, suunnattu COLMAP:lla ja mitattu RANSAC-pohjaisella arviointimenetelmällä, joka perustuu Maakeskeiseen, maakiinteään (ECEF) -koordinaatteihin. Kohtaukset, joissa mittakaava-arviot olivat epäluotettavia tai joilla oli huono rekisteröintilaatu, hylättiin.
Näkeminen stereona
MetricScenes-kokoelma perustuu myös edellä mainittuun Stereo4D-tietojoukkoon, joka sisältää tuhansia todellisen maailman stereoskooppisia videosekvenssejä, jotka on otettu VR180-kameroilla, tarjoten ajallisen ulottuvuuden näille:

Stereo4D-tietojoukko on rakennettu stereoskooppisista Internet-videoista, yhdistämällä kameran asennot, syvyyden arviot ja liikeradat, jotta voidaan palauttaa dynaamisia 3D-kohtauksia mittakaavassa. Tuloksena oleva tietojoukko sisältää satoja tuhansia videosekvenssejä, jotka on esitetty pistepilvinä pitkäkestoisilla liikeradoilla, tarjoten suuren määrän todellisen maailman 3D-geometriaa ja liikettä näkömallien koulutukseen. Lähde
Koska fyysinen etäisyys kahden kameraobjektiivin välillä vaihtelee eri laitteissa, vain videot, joissa on dokumentoitu kamerakonfiguraatio, otettiin käyttöön, jotta kohtauksen syvyys voitiin palauttaa oikeaan mittakaavaan.
Stereo4D perustui alun perin SEA-RAFT -optisen virtauksen järjestelmään syvyyden arvioimiseksi, mutta kirjoittajat totesivat, että epätäydellinen kamerakalibrointi voi vääristää rekonstruoituja kohtauksia, jolloin rakenteet, joiden pitäisi olla yhdensuuntaisia, lähentyvät toisiaan luonnottomasti. Tarkkuuden parantamiseksi he korvasivat tämän lähestymistavan moninäkökulmaisella rekonstruktioputkella, joka arvioi yhdessä kameran asennot ja syvyyden useista videoruuduista.
π³, DepthAnything V3 ja MapAnything oli vertailtu, π³ valittiin sen geometrisen vakauden ja kyvyn säilyttää hienot yksityiskohdat:

Metrinen syvyyden palautus Stereo4D:stä. Tavanomaiset stereovastaavuusmenetelmät voivat tuottaa vääristyneen geometrian, kun kamerakalibrointi on epätäydellinen, kun taas π³ generoi johdonmukaisempia kohtausten rekonstruktioita ja säilyttää hienot yksityiskohdat. Palautettu geometria on sitten suunnattu tunnetun fyysisen peruslinjan mukaan stereokamerasta, johtaen tarkasti mitattuihin metrisiin syvyyskarttoihin.
Koska π³ rekonstruoi kohtaukset mielivaltaisessa mittakaavassa, tuloksena olevat syvyyskartat on sovitettu todellisiin mittoihin käyttämällä kunkin stereokameran tunnettua fyysistä perusväliä. Lisäksi poistettiin heikkolaatuiset videoruudut, syvyyden epäjohdonmukaisuudet, kalibrointivirheet ja epäluotettavat mittakaava-arviot.
Lisäksi käytettiin kahden vaiheen syvyyden täydennysprosessia, joka yhdisti etualan ennusteet MoGe-2:sta Multi-View Stereon tuottamaan taustan geometriaan (MVS), tuottaen puhtaampaa metristä koulutusdataa, jossa on johdonmukaisempi mittakaava ja terävemmät objektirajat:

Kahden vaiheen syvyyden täydennys. Pelkkien tausta-ankkureiden käyttö voi säilyttää kohtauksen rakenne, mutta vääristää kokonaismittakaavaa, kun taas yhdistämällä etu- ja taustarajoitteita yhdessä vaiheessa, aiheutuu mittakaavan liukuminen ja reuna-artefakteja. Kahden vaiheen lähestymistapa säilyttää johdonmukaisen metrisen mittakaavan sekä lähellä oleville että kaukaisille objekteille, säilyttäen samalla selkeät objektirajat.
Kirjoittajat totesivat, että Internet-kuvakokoelmista puuttuu usein luotettava etualan syvyystieto, kun taas stereokuvista puuttuu usein kaukaisia tausta-alueita. Vaikka MoGe-2 voi johtaa tiheää geometriaa koko kohtauksessa, sen arviot taipuvat samaan mittakaavan romahdus -ongelmaan, jonka projekti pyrkii ratkaisemaan. Siksi kahden vaiheen syvyyden täydennysputki suunniteltiin yhdistämään MoGe-2:n ja Multi-View Stereon (MVS) vahvuudet.
Taustan geometria palautettiin MVS:n tuottamista metrisistä ankkureista, mikä tuotti perussyvyyskartan, jossa on luotettava suurmittakaavan rakenne. Toisessa vaiheessa etualan arviot MoGe-2:sta otettiin uudelleen käyttöön reunatietoisen täydennysprosessin kautta, joka on suunniteltu säilyttämään objektirajat estäen mittakaavan liukumista ja syvyyden vuotamisesta syntyviä artefakteja.
Tutkimuksen mukaan tällä lähestymistavalla tuotetut syvyyskartat olivat sekä visuaalisesti täydellisiä että johdonmukaisempia todellisessa mittakaavassa:

Kahden vaiheen syvyyden täydennysputki. Ensimmäisessä vaiheessa Multi-View Stereon (MVS) ankkureita käytetään taustan geometrian palauttamiseen luotettavassa metrisessä mittakaavassa. Toisessa vaiheessa etualan arviot MoGe-2:sta otetaan uudelleen käyttöön reunatietoisen kompositioprosessin kautta, tuottaen lopullisen syvyyskartan, joka on suunniteltu säilyttämään sekä suuren mittakaavan tarkkuus että terävät paikalliset yksityiskohdat.
Data ja testit
Lopullinen MetricScenes-kokoelma koostuu 47 579:stä ainoastaan todellisen maailman kuvasta, jotka kattavat 134 kohtausta AerialMegaDepthistä; 29 583 kuvaa 356 kohtauksesta MegaScenesistä; ja 22 549 videoruudusta 1 725 videosta Stereo4D:stä.
Kokoelma, josta 10 kohtausta kustakin lähteestä varattiin validointiin, kattaa sekä ulko- että sisätiloja, sekä maanpinnan- että ilmakuvia, sekä urbaaneja- että luonnonmaisemia – yhdistetty ja yhtenäinen konteksti, jota ei ole saatavilla yksittäisissä osallistuvissa kokoelmissa.
Alkuvaiheen laadullisessa testissä kirjoittajat hienosäätivät MoGe-2:n ViT-Large-Normal -mallin uudella MetricScenes-tietojoukolla 10 000 iteraation ajan eräkoolla 32 – tehokkaasti noin kolme epochia. Rajaus ja yleiset datan augmentointi -menetelmät otettiin alkuperäisistä MoGe-2-testeistä, ja koulutus tapahtui oppimisnopeudella 1×10-6 (runkoverkko) ja 1×10-5 (kaikki muut parametrit). Laadullisessa testissä syvyyden rekonstruktio tehtiin hienosäädetyllä WildMoGe -mallilla, jota verrattiin alkuperäiseen MoGe-2:een; DepthAnything V3:een; Metric3Dv2:een; UniDepth v2:een; ja DepthPro:een:

Metrinen mittakaavan maamerkin rekonstruktio. Todelliset mittaukset Google Mapsista näkyvät vasemmalla sarakkeessa. Aiemmin näkemättömien todellisen maailman maamerkkien kohdalla WildMoGe tuottaa mittakaava-arvioita, jotka ovat lähempänä tunnettuja mittoja, kun taas MoGe-2, DepthAnything V3 ja Metric3D V2 usein aliarvioivat kaukaisen rakennelman koon – UniDepth V2 usein tuottaa uskottavampia mittakaavoja, mutta on epäjohdonmukainen, kun taas DepthPro toisinaan tuottaa vakavia mittakaavan virheitä.
Tästä tuloksesta tutkimus sanoo:
‘[WildMoGe] palauttaa johdonmukaisesti tarkempia absoluuttisia mittakaavoja moninaisten maamerkkien kohdalla, vastaten hyvin todellisia mittoja (esim. 31,4 m vs. 32,4 m Philadelphian taidemuseolle, 46,7 m vs 46,5 m Piazza della Signorinalle). MoGe-2, DepthAnything v3 ja Metric3D v25 osoittavat mittakaavan romahdus-käyttäytymistä, joka aliarvioi jatkuvasti kaukaisen rakennelman koon.
‘UniDepth v2 tuottaa enemmän realistisia mittakaavoja, mutta poikkeaa edelleen todellisista mittauksista, ja DepthPro usein epäonnistuu palauttamaan absoluuttisen mittakaavan, tuottaen tuloksia, jotka ovat useita kertaluokkia pienempiä kuin todellisuus. Huomaa, että nämä kohtaukset puuttuvat koulutusjoukosta.
‘Tämä suorituskyky osoittaa, että WildMoGe voi yleistyä näkemättömiin sisältöihin, eikä vain muista koulutuskohtauksia.’
Jotta varmistettaisiin, että parannukset eivät rajoittuisi pelkästään maamerkkeihin ja suuriin ulkoilmakohtauksiin, kirjoittajat arvioivat myös WildMoGe:ä tavallisilla sisä- ja kadun tasolla olevilla kuvilla, joissa se tuotti mittakaava-arvioita, jotka olivat laajalti yhdenmukaisia MoGe-2:n kanssa, saavuttaen suuremman tarkkuuden ETH3D -pihan kohtauksella:

Vertailu standardikohtauksilla. Tavallisilla sisä- ja kadun tasolla olevilla ympäristöillä WildMoGe tuottaa mittakaava-arvioita, jotka ovat laajalti yhdenmukaisia MoGe-2:n kanssa, saavuttaen suuremman tarkkuuden ETH3D-piha-benchmarkilla, palauttaen objektien mitat, jotka ovat lähempänä todellisia mittauksia.
Sen arvioimiseksi, paransiko MetricScenes todella metriseen mittakaavaan liittyvää päättelyä, arviointi tehtiin sekä erillisellä MetricScenes-testijoukolla että seuraavilla aineistoilla: NYUv2, KITTI, ETH3D, iBims-1, GSO, Sintel, DDAD, DIODE, Spring, HAMMER.
Kirjoittajat huomauttavat, että tiheiden todellisiin mittoihin perustuvien vertailumittausten hankkiminen vapaasti kuvatuista internetkuvista on edelleen vaikeaa. Siksi MetricScenesin annotaatiot eivät ole täydellisiä. Vakiintuneet vertailutestit sisällytettiin arviointiin sen varmistamiseksi, etteivät parannukset heikennä yleistä geometrista suorituskykyä.
Vertailut tehtiin MoGe-2:een, UniDepth V2:een, DepthPro:hin, MASt3R:ään, Depth Anything V2:een, Depth Anything V3:een, ZoeDepth:iin ja Metric3D V2:een:

Suhteellisen ja metrisen geometrian määrällinen arviointi. MetricScenes-testijoukossa WildMoGe ylitti MoGe-2:n kaikissa ilmoitetuissa mittareissa ja pysyi laajalti kilpailukykyisenä ZoeDepthin, Metric3D V2:n, Depth Anything V2:n, Depth Anything V3:n, MASt3R:n, UniDepth V2:n ja DepthPro:n kanssa vakiintuneilla mittareilla, osoittaen, että parannettu metrisen mittakaavan arviointi saavutettiin ilman yleisen geometrian rekonstruktio-laadun uhraamista.
WildMoGe paransi merkittävästi metrisen mittakaavan ennustetta MetricScenes-testijoukossa, ylittäen MoGe-2:n kaikissa ilmoitetuissa mittareissa ja saavuttaen vahvemman metrisen geometrian ja metrisen syvyyden pisteet kuin MoGe-2, DepthAnything V3, Metric3D V2, UniDepth V2 ja DepthPro.
Suorituskyky NYUv2:ssa, KITTI:ssä, ETH3D:ssä, iBims-1:ssä, GSO:ssa, Sintel:ssä, DDAD:ssa, DIODE:ssa, Spring:ssä ja HAMMER:ssa pysyi laajalti verrattavissa MoGe-2:een. Kirjoittajat attribuoivat nämä parannukset MetricScenesin metriseen ohjaukseen, joka näyttää vähentävän mittakaavan romahdusta säilyttäen yleisen kohtauksen rekonstruktio-suorituskyvyn.
Johtopäätös
MetricScenes-ratkaisu “mittakaavan romahdukseen” näyttää melko Heath-Robinsonin kaltaiselta, tutkimuksessa – epätoivoinen useiden tietojoukkojen yhdistäminen ja tiivistäminen, joista kullakin on arvokas näkökulma. Se näyttää hieman yrittävän määrittää elefantin muodon koskettelemalla.
Luultavasti tärkein palvelu, jonka tutkimus tarjoaa, on se, että se herättää enemmän huomiota tähän ongelmaan, joka näyttää vaativan jonkinlaista uutta tai sovitettua yleistä standardia. Kuitenkin, sellaisen innovaation, joka keskeyttäisi nykyisten menetelmien toistettavuuden ja johdonmukaisuuden, pitäisi olla erittäin vakuuttava.
* Oma muunnokseni kirjoittajien tekstinsisäisistä lähdeviitteistä hyperlinkkeihin.
Julkaistu ensimmäisen kerran torstaina 11. kesäkuuta 2026












