Andersonův úhel

Umělá inteligence má potíže s rozpoznáním velikosti památek

Martin Anderson
Přidejte Unite.AI mezi své preferované zdroje na Google
AI-generated image (GPT-2 + Photoshop): High-angle view of a man holding a scale model of the Leaning Tower of Pisa on a grassy field, with an inset photograph showing the same model aligned from ground level to resemble the full-sized tower in the background.
Klíčové bodyVizualizační systémy postrádají lidský instinkt pro relativní měřítko a vzdálené…
Zobrazit více
  • Vizualizační systémy postrádají lidský instinkt pro relativní měřítko a vzdálené orientační body často slučují do miniaturních napodobenin.
  • MetricScenes slučuje tři datové sady, protože každá sama o sobě pokrývá příliš úzkou doménu na to, aby naučila obecné měřítko.
  • Doladění na MetricScenes omezilo kolaps měřítka a překonalo MoGe-2 v každé reportované metrice.

Modely jazyka a vidění rozumějí památkám, ale stále nedokážou vidět celý obraz…

 

Jedna z prvních dovedností pro přežití, které si osvojujeme, je schopnost rozlišovat mezi věcmi, které jsou malé nebo vzdálené. Můžeme zakrýt měsíc palcem, aniž bychom si mysleli, že je velikosti americké desetcentové mince, protože jsme internalizovali pochopení relativní velikosti.

Tato dovednost je neobvykle obtížná pro počítačové vidění, protože většina z nich spoléhá na předchozí anotaci, která jim nepomůže „porozumět“ velikosti stejným způsobem jako lidem. Kromě toho, za určitou a poměrně blízkou hranicí, je všechno v dálce mimo schopnost stereo vidění rozlišit – auto na konci parkoviště; mrakodrap v dálce za ním; a rostoucí srpek měsíce nad ním…všechny jsou „2D“ entity, pro většinu systémů založených na počítačovém vidění.

Samozřejmě, když konkrétní příklad „vzdáleného“, ale nesprávně interpretovaného objektu je dobře zastoupen v trénovacích datech, systémy, které viděly tato data, mohou být obtížné oklamat:

ChatGPT-5.5 není vůbec ohromen tímto klasickým turistickým trikem.

ChatGPT-5.5 není vůbec ohromen tímto klasickým turistickým trikem.

Čím méně obsahuje trénovací latentní prostor modelu specifické a často opakované informace, tím více bude muset být schopen generalizovat a internalizovat pojmy velikosti, které chápeme v mladém věku. Bez toho, i slavné příklady mohou stále způsobit nesprávné odhady velikosti:

V tomto spekulativním příkladu, převzatém z nové studie, kterou dnes zkoumáme, je kamera POV s Arc de Triomphe na pozadí – ale systém neví, jakou má velikost, a dělá nesprávnou domněnku. Zdroj - https://arxiv.org/pdf/2606.02379

V tomto spekulativním příkladu, převzatém z nové studie, kterou dnes zkoumáme, je kamera POV s Arc de Triomphe na pozadí – ale systém neví, jakou má velikost, a dělá nesprávnou domněnku. Zdroj

U konkrétních a výrazných objektů, jako je Eiffelova věž, spočívá nebezpečí v tom, že systém bude používat zkratku pro odhad velikosti, který je správný pro původní model, ale ne pro mnohé napodobeniny pařížské památky, které jsou stejně daleko za hranicí stereo vidění, ale nejsou téměř tak velké.

Proto je důležité, aby systémy vidění přistupovaly k novým (neviděným) pohledům s připraveným souborem dovedností, a ne jen s „cheat kódy“.

Škálování

K tomuto účelu nabízí nová spolupráce mezi USA a Čínou datový soubor k nápravě tohoto problému, spolu s metodou odhadu, která řeší problém:

Nový přístup modifikuje předchozí systém pomocí vylepšeného trénovacího materiálu – dat dostatečně rozmanitých, aby poskytovaly hlubší pochopení problémů hloubky.

Nový přístup modifikuje předchozí systém pomocí vylepšeného trénovacího materiálu – dat dostatečně rozmanitých, aby poskytovaly hlubší pochopení problémů hloubky.

Spuštěn spolu s doprovodnou webovou stránkou, iniciativa MetricScenes nabízí data a kód vydání.

Studie uvádí*:

‘[Zjistili jsme], že současné špičkové metody často selhávají při odhadu správné velikosti scény, což vede k trvalému jevu „kolapsu velikosti“ v reálných, nekontrolovaných scénářích.

‘[Obrázek výše] ukazuje příklad, kde jsou přítomny jasné semantické odkazy (lidé), ale kde modely jako MoGe-2 vykazují významnou nesrovnalost velikosti napříč rozsahem vzdáleností: předpovězená metrická velikost pro objekty v blízkosti je přijatelná – v tomto případě mají turisté přijatelnou výšku – ale velikost pro vzdálené struktury je dramaticky podceněna – zde je Arc de Triomphe na pozadí metricky předpovězen jako široký pouze 18,8 m, což je více než 2× menší než skutečná šířka (44,8 m).

‘MoGe-2 navrhl zmenšenou památku, navzdory protichůdným signálům.’

Síla tří

Nová sbírka autorů byla sestavena kombinací tří existujících datových souborů: MegaScenes, AerialMegaDepth a Stereo4D:

Příklad obrazu z MegaScenes, který je součástí nové sbírky. Zdroj - https://megascenes.github.io/

Příklad obrazu z MegaScenes, který je součástí nové sbírky. Zdroj

Problém s datovými soubory, které přispívají k MetricScenes, je, že každý z nich se vztahuje k omezeným doménám, jako je POV automobilového videa nebo vnitřní scény, zatímco je zapotřebí kombinovaná doména, aby se problém vyřešil a přiblížil systémy vidění k lidskému pochopení velikosti.

Každý obraz je doprovázen RGB obrazem, částečně pozorovanou hloubkou odvozenou ze Structure from Motion (SfM), Multi-View Stereo (MVS) nebo jinými geometrickými apriorními informacemi, spolu s dokončenou hloubkovou mapou vygenerovanou pomocí nového dvoufázového Poissonova doplňování procesu a s přidruženými metadaty kamery.

Fine-tuning rámce MoGe-2 na novém datovém souboru ‘signifikantně zmírňuje’ kolaps velikosti, o kterém autoři hovoří, a údajně dosahuje lepších výsledků v otevřených scénářích a špičkových výsledků na souvisejících benchmarcích.

Nová studie se jmenuje Honey, I Shrunk the Arc de Triomphe! a pochází od čtyř výzkumníků z Cornell University a Shanghai Jiao Tong University.

Metoda

MetricScenes částečně vychází z výše uvedeného AerialMegaDepth a MegaScenes – dvou sbírek internetových fotografií pokrývajících historické archivy, turistické obrázky a profesionální fotografii. MegaScenes nabízí velké měřítko rekonstrukcí Structure from Motion (SfM), ale tyto scény postrádají jakoukoli vnitřní reálnou velikost. Aby se tento problém vyřešil, byly použity geotagované obrázky z online mapovacích služeb k zarovnání rekonstrukcí s známými fyzickými umístěními a rozměry.

Naopak, AerialMegaDepth již zahrnuje geotagované pohledy Google Earth, které poskytují rekonstrukce památek v metrickém měřítku.

Potenciální chyby rekonstrukce způsobené vizuálně podobnými, ale geograficky vzdálenými strukturami, byly řešeny pomocí MASt3R-SfM a Doppelgangers++ klasifikátoru. Po rekonstrukci Multi-View Stereo (MVS) byly nestabilní odhady hloubky a artefakty krvácení hloubky filtrovány pomocí kombinace kontrol stability a předpovědí z MoGe-2:

AerialMegaDepth získává reálné měřítko kombinací internetových fotografií s geolokalizovanými pohledy Google Earth, zatímco scény MegaScenes jsou sladěny s fyzickými rozměry pomocí georeferencovaných snímků z úrovně ulice. Po rekonstrukci Multi-View Stereo (MVS) se odfiltrují nestabilní odhady hloubky a artefakty přetékání hloubky, čímž vznikají čistší metrické hloubkové mapy vhodné pro trénování. Žluté rámečky zvýrazňují přechodné objekty odstraněné během zpracování, zatímco červené označují opravené oblasti přetékání hloubky.

AerialMegaDepth získává reálné měřítko kombinací internetových fotografií s geolokalizovanými pohledy Google Earth, zatímco scény MegaScenes jsou sladěny s fyzickými rozměry pomocí georeferencovaných snímků z úrovně ulice. Po rekonstrukci Multi-View Stereo (MVS) se odfiltrují nestabilní odhady hloubky a artefakty přetékání hloubky, čímž vznikají čistší metrické hloubkové mapy vhodné pro trénování. Žluté rámečky zvýrazňují přechodné objekty odstraněné během zpracování, zatímco červené označují opravené oblasti přetékání hloubky.

Metrická velikost byla poté obnovena pomocí georeferencovaných obrázků. AerialMegaDepth již odvozuje velikost z renderování Google Earth zachycených z známých umístění, zatímco MegaScenes byly zarovnány s reálnými rozměry pomocí geotagovaných street-level obrázků získaných z mapovacích služeb.

Tyto obrázky byly zarovnány s existujícími rekonstrukcemi pomocí MASt3R, upraveny pomocí Doppelganger klasifikátoru, zarovnány s COLMAP a převedeny do správného měřítka odhadem založeným na RANSAC pomocí Earth-Centered, Earth-Fixed (ECEF) souřadnic. Scény s nespolehlivými odhady měřítka nebo špatnou kvalitou registrace byly vyřazeny.

Vidění ve stereo

Sbírka MetricScenes také vychází z výše uvedeného datového souboru Stereo4D, který obsahuje tisíce reálných stereoskopických videosekvencí zachycených kamerami VR180, nabízejících temporální dimenzi zachycení:

Datový soubor Stereo4D vznikl ze stereoskopických internetových videí kombinací poloh a orientací kamer, odhadů hloubky a trajektorií pohybu pro rozsáhlou rekonstrukci dynamických 3D scén. Výsledný soubor obsahuje stovky tisíc videoklipů reprezentovaných jako mračna bodů s dlouhými pohybovými trajektoriemi a poskytuje rozsáhlý zdroj reálné 3D geometrie a pohybu pro trénování modelů vidění. Zdroj - https://arxiv.org/pdf/2412.09621

Datový soubor Stereo4D vznikl ze stereoskopických internetových videí kombinací poloh a orientací kamer, odhadů hloubky a trajektorií pohybu pro rozsáhlou rekonstrukci dynamických 3D scén. Výsledný soubor obsahuje stovky tisíc videoklipů reprezentovaných jako mračna bodů s dlouhými pohybovými trajektoriemi a poskytuje rozsáhlý zdroj reálné 3D geometrie a pohybu pro trénování modelů vidění. Zdroj

Protože fyzická vzdálenost mezi dvěma kamerovými objektivy se liší v různých zařízeních, byly použity pouze videa s dokumentovanými kamerovými konfiguracemi, což umožnilo obnovit hloubku scény v přesném reálném měřítku.

Stereo4D původně spoléhal na optický tokový systém SEA-RAFT pro odhad scénové geometrie, ale autoři zjistili, že nedokonalá kamerová kalibrace mohla zkreslit rekonstruované scény, způsobující, že struktury, které by měly být rovnoběžné, se neúměrně sbíhají. Proto, aby se zlepšila přesnost, nahradili tento přístup pipeline rekonstrukce s více pohledy, která společně odhaduje kamerové pozice a hloubku z více snímků.

Po srovnání π³, DepthAnything V3 a MapAnything, π³ byl vybrán pro jeho geometrickou robustnost a schopnost zachovat jemné detaily:

Obnova metrické hloubky ze Stereo4D. Standardní metody stereoskopického párování mohou při nepřesné kalibraci kamer vytvářet zkreslenou geometrii, zatímco π³ vytváří konzistentnější rekonstrukce scén a zachovává jemné detaily. Obnovená geometrie se pak sladí se známou fyzickou vzdáleností mezi objektivy stereokamery, čímž vzniknou metrické hloubkové mapy se správným měřítkem.

Obnova metrické hloubky ze Stereo4D. Standardní metody stereoskopického párování mohou při nepřesné kalibraci kamer vytvářet zkreslenou geometrii, zatímco π³ vytváří konzistentnější rekonstrukce scén a zachovává jemné detaily. Obnovená geometrie se pak sladí se známou fyzickou vzdáleností mezi objektivy stereokamery, čímž vzniknou metrické hloubkové mapy se správným měřítkem.

Protože π³ rekonstruuje scény v libovolném měřítku, výsledné hloubkové mapy byly zarovnány s reálnými rozměry pomocí známé fyzické báze každé stereo kamerové sestavy. Další filtrování odstranilo nízkokvalitní snímky, nesrovnalosti hloubky, chyby kalibrace a nespolehlivé odhady měřítka.

Navíc byl použit dvoufázový proces doplňování hloubky, který kombinuje předpovědi popředí z MoGe-2 s geometrií pozadí z Multi-View Stereo (MVS) a vytváří čistší trénovací data v metrickém měřítku s konzistentnější škálou a ostřejšími hranicemi objektů:

Dvoufázové doplňování hloubky. Použití pouze kotev v pozadí může zachovat strukturu scény, ale zkreslit celkové měřítko. Spojení omezení popředí i pozadí v jediném průchodu naopak přináší posun měřítka a artefakty na hranicích. Dvoufázový přístup udržuje konzistentní metrické měřítko blízkých i vzdálených objektů a zároveň zachovává čisté hranice objektů.

Dvoufázové doplňování hloubky. Použití pouze kotev v pozadí může zachovat strukturu scény, ale zkreslit celkové měřítko. Spojení omezení popředí i pozadí v jediném průchodu naopak přináší posun měřítka a artefakty na hranicích. Dvoufázový přístup udržuje konzistentní metrické měřítko blízkých i vzdálených objektů a zároveň zachovává čisté hranice objektů.

Autoři zjistili, že internetové fotografické sbírky často postrádají spolehlivé přední hloubky, zatímco stereoskopické obrázky často chybí vzdálené pozadí. Ačkoli MoGe-2 může odhadnout hustou geometrii napříč celou scénou, jeho odhady tendují ke stejnému problému „kolapsu velikosti“, který projekt snaží vyřešit. Proto byl navržen dvoufázový pipeline dokončení hloubky, aby kombinoval silné stránky MoGe-2 a Multi-View Stereo (MVS).

Geometrie pozadí byla obnovena pomocí metrických kotev odvozených z MVS, vytvářejících základní hloubkovou mapu se spolehlivou velkou strukturou. Ve druhém kroku byly odhady popředí z MoGe-2 znovu zavedeny prostřednictvím procesu doplňování zohledňujícího hrany, navrženého pro zachování hranic objektů, zatímco zabraňuje posunu měřítka a artefaktům krvácení hloubky.

Hloubkové mapy vyprodukované tímto přístupem, tvrdí studie, byly jak vizuálně kompletní, tak konzistentnější v reálném měřítku:

Dvoufázový postup doplňování hloubky. V první fázi se pomocí kotev Multi-View Stereo (MVS) obnoví geometrie pozadí ve spolehlivém metrickém měřítku. Ve druhé fázi se znovu začlení odhady popředí z MoGe-2 pomocí skládání zohledňujícího hrany. Výsledná hloubková mapa má zachovat přesnost ve velkém měřítku i ostré místní detaily.

Dvoufázový postup doplňování hloubky. V první fázi se pomocí kotev Multi-View Stereo (MVS) obnoví geometrie pozadí ve spolehlivém metrickém měřítku. Ve druhé fázi se znovu začlení odhady popředí z MoGe-2 pomocí skládání zohledňujícího hrany. Výsledná hloubková mapa má zachovat přesnost ve velkém měřítku i ostré místní detaily.

Data a testy

Konečná sbírka MetricScenes se skládá z 47 579 výhradně reálných obrazů pokrývajících 134 scén z AerialMegaDepth; 29 583 obrazů z 356 scén z MegaScenes; a 22 549 snímků z 1 725 videí ze Stereo4D.

Sbírka, z níž bylo 10 scén z každého zdroje vyřazeno jako validační sada, pokrývá venkovní a vnitřní kontexty, jakož i pohledy z úrovně terénu a letecké pohledy, a městské i přírodní krajiny – kombinovaná a soudržná souvislost, která není k dispozici v žádné z jednotlivých přispívajících sbírek.

Pro počáteční kvalitativní test autoři doladili model MoGe-2 ViT-Large-Normal na novém datovém souboru MetricScenes po dobu 10 000 iterací při velikosti batche 32 – přibližně tři epochy. Ořezávání a obecné augmentace dat přístupy byly převzaty z původních testů MoGe-2, a trénink probíhal při rychlosti učení 1×10-6 (backbone) a 1×10-5 (všechny ostatní parametry). Pro kvalitativní test byly provedeny rekonstrukce hloubky doladěným WildMoGe modelem, který byl porovnán s původním MoGe-2; DepthAnything V3; Metric3Dv2; UniDepth v2 ; a DepthPro:

Srovnání rekonstrukcí památek v metrickém měřítku. V levém sloupci jsou referenční rozměry z Google Maps. U dosud neviděných reálných památek vytváří WildMoGe odhady měřítka bližší známým rozměrům, zatímco MoGe-2, DepthAnything V3 a Metric3D V2 často podhodnocují velikost vzdálených staveb. UniDepth V2 často poskytuje věrohodnější měřítka, zůstává však nekonzistentní, zatímco DepthPro občas vytváří závažné chyby měřítka.

Srovnání rekonstrukcí památek v metrickém měřítku. V levém sloupci jsou referenční rozměry z Google Maps. U dosud neviděných reálných památek vytváří WildMoGe odhady měřítka bližší známým rozměrům, zatímco MoGe-2, DepthAnything V3 a Metric3D V2 často podhodnocují velikost vzdálených staveb. UniDepth V2 často poskytuje věrohodnější měřítka, zůstává však nekonzistentní, zatímco DepthPro občas vytváří závažné chyby měřítka.

Z tohoto výsledku studie uvádí:

‘[WildMoGe] konzistentně obnovuje více přesné absolutní velikosti napříč různými památkami, úzce se shodující s měřeními z terénu (například 31,4 m vs. 32,4 m pro Filadelfské muzeum umění, 46,7 m vs 46,5 m pro Piazza della Signorina). MoGe-2, DepthAnything v3 a Metric3D v2 vykazují chování „kolapsu velikosti“, konzistentně podceňující velikost vzdálených struktur.

‘UniDepth v2 produkuje více realistická měřítka, ale stále se odchyluje od měření z terénu, a DepthPro často selhává při obnovení absolutní velikosti, produkování výsledků, které jsou řádově menší než realita. Poznámka: tyto scény nejsou přítomny ve trénovacím souboru.

‘Tento výkon demonstruje, že WildMoGe může generalizovat na dosud neviděný obsah, na rozdíl od toho, aby si pouze pamatoval trénovací scény.’

Aby se zajistilo, že zisky nalezené nebyly omezeny na památky a velké venkovní scény, autoři také vyhodnotili WildMoGe na běžných vnitřních a uličních obrazech, kde produkoval odhady velikosti obecně konzistentní s MoGe-2, zatímco dosahoval lepší přesnosti na ETH3D dvorek scéně:

Srovnání na standardních scénách. Napříč běžnými vnitřními a uličními prostředími WildMoGe produkuje odhady velikosti obecně konzistentní s MoGe-2, zatímco dosahuje lepší přesnosti na ETH3D dvorek benchmark, obnovující rozměry objektů, které se více shodují s měřeními z terénu.

Srovnání na standardních scénách. Napříč běžnými vnitřními a uličními prostředími WildMoGe produkuje odhady velikosti obecně konzistentní s MoGe-2, zatímco dosahuje lepší přesnosti na ETH3D dvorek benchmark, obnovující rozměry objektů, které se více shodují s měřeními z terénu.

Pro vyhodnocení, zda MetricScenes skutečně zlepšila metrickou velikostní úvahu, byla provedena evaluace na dedikovaném testovacím souboru MetricScenes a na NYUv2; KITTI; ETH3D; iBims-1; GSO; Sintel; DDAD; DIODE; Spring; a HAMMER.

Autoři poznamenávají, že získání hustých měření z terénu pro neomezené internetové obrázky zůstává obtížné, což znamená, že štítky MetricScenes nejsou dokonalé. Standardní benchmaky byly proto zahrnuty, aby se potvrdilo, že zisky nebyly získány na úkor obecné geometrické výkonnosti.

Srovnání byla provedena proti MoGe-2; UniDepth V2; DepthPro; MASt3R; Depth Anything V2; Depth Anything V3; ZoeDepth; a Metric3D V2:

Kvantitativní evaluace relativní a metrické geometrie. Na testovacím souboru MetricScenes WildMoGe překonal MoGe-2 napříč všemi uváděnými metrikami, zatímco zůstal obecně konkurenceschopný se ZoeDepth, Metric3D V2, Depth Anything V2, Depth Anything V3, MASt3R, UniDepth V2 a DepthPro na standardních benchmarcích, ukazující, že zlepšená metrická velikostní úvaha byla dosažena bez obětování obecné geometrické rekonstrukční kvality.

Kvantitativní evaluace relativní a metrické geometrie. Na testovacím souboru MetricScenes WildMoGe překonal MoGe-2 napříč všemi uváděnými metrikami, zatímco zůstal obecně konkurenceschopný se ZoeDepth, Metric3D V2, Depth Anything V2, Depth Anything V3, MASt3R, UniDepth V2 a DepthPro na standardních benchmarcích, ukazující, že zlepšená metrická velikostní úvaha byla dosažena bez obětování obecné geometrické rekonstrukční kvality.

WildMoGe podstatně zlepšil metrickou velikostní předpověď na MetricScenes, překonávající MoGe-2 napříč všemi uváděnými metrikami a dosahující silnějších metrických geometrických a hloubkových skórů než MoGe-2, DepthAnything V3, Metric3D V2, UniDepth V2 a DepthPro.

Výkon na NYUv2, KITTI, ETH3D, iBims-1, GSO, Sintel, DDAD, DIODE, Spring a HAMMER zůstal obecně srovnatelný s MoGe-2. Autoři připisují tyto zisky metrické supervizi MetricScenes, která údajně pomáhá snižovat kolaps velikosti, zatímco zachovává obecnou scénovou rekonstrukční výkonnost.

Závěr

Řešení MetricScenes pro „kolaps velikosti“ se jeví jako poněkud komplikovaná improvizovaná konstrukce ve stylu Heatha Robinsona, v článku – zoufalé spojení a destilace více datových souborů, z nichž každý má něco cenného k přispění. Zdá se to trochu jako pokus určit tvar slona dotykem.

Možná nejvýznamnější službou, kterou článek nabízí, je upozornění na problém, který zdá se vyžaduje nějaký druh novátorského nebo upraveného univerzálního standardu. Nicméně, protože takový inovační přístup by narušil reprodukovatelnost a konzistenci současných metodologií, musel by být velmi přesvědčivý.

 

* Moje konverze inline citací autorů na hypertextové odkazy.

Poprvé zveřejněno ve čtvrtek 11. června 2026

Spisovatel v oblasti strojového učení, odborník na syntézu lidských obrazů. Bývalý vedoucí výzkumného obsahu ve společnosti Metaphysic.ai, až do jejího sloučení do Brahma.ai společnosti DNEG.
Webová stránka: martinanderson.ai
Kontakt: martin@martinanderson.ai