Trudności AI z rozpoznawaniem rozmiaru zabytków

Modele języka i wizji rozumieją pomniki, ale nadal nie widzą całego obrazu…

Jedną z pierwszych umiejętności przetrwania, które rozwijamy, jest zdolność odróżniania rzeczy, które są małe lub oddalone. Możemy zakryć księżyc palcem, nie myśląc, że jest wielkości dziesięciocentówki, ponieważ wewnętrznie zrozumieliśmy pojęcie względnej skali.

To jest niezwykle trudne zadanie dla systemów komputerowego widzenia, ponieważ większość z nich opiera się na wcześniejszych adnotacjach, które nie pomagają im “zrozumieć” skali w taki sam sposób jak ludzie. Co więcej, poza pewnym i dość bliskim limitem, wszystko w oddali jest poza możliwością wizji stereoskopowej do rozdzielczości – samochód na końcu parkingu; wieżowiec w oddali; i sierp księżyca unoszący się nad nim… wszystkie są “dwuwymiarowymi” jednostkami dla większości systemów machine learning opartych na wizji.

Oczywiście, kiedy konkretny przykład “odległego” ale błędnie zinterpretowanego obiektu kończy się dobrze w danych treningowych, systemy, które widziały te dane, mogą być trudne do oszukania:

ChatGPT-5.5 nie jest wcale zadowolony z tego klasycznego turystycznego tropu.

Im mniej przestrzeni latentnej modelu zawiera takich konkretnych i często powtarzanych informacji, tym bardziej musi on móc uogólniać i wewnętrznie zrozumieć pojęcia skali, które pojmujemy w młodym wieku. Bez tego nawet słynne przykłady mogą nadal powodować błędne oszacowania skali:

W tym spekulatywnym przykładzie, zaadaptowanym z nowego artykułu, jaki dzisiaj analizujemy, kamera ma punkt widzenia z Łukiem Triumfalnym w tle – ale system nie wie, jaki jest jego rozmiar i robi błędną ocenę. Źródło

Zagrożeniem, w przypadku konkretnych i wyjątkowo charakterystycznych obiektów, takich jak Wieża Eiffla, jest to, że system może się posłużyć skrótem oszacowania rozmiaru, który jest poprawny dla oryginalnego modelu, ale niepoprawny dla wielu naśladownictw paryskiego zabytku, które są równie poza zasięgiem stereoskopowego widzenia, ale nie są nawet zbliżone do tego samego rozmiaru.

Dlatego tak ważne jest, aby systemy wizyjne podechowały do nowych (niewidzianych) widoków z gotowymi umiejętnościami, a nie tylko z “kodem cheat”.

Skalowanie

W tym celu nowa współpraca między USA a Chinami oferuje remediujący zestaw danych, wraz z metodą estymacji, która rozwiązuje problem:

Nowe podejście modyfikuje poprzedni system poprzez udoskonalone materiały szkoleniowe – dane wystarczająco zróżnicowane, aby zapewnić głębsze zrozumienie problemów z głębią.

Zapoczątkowana wraz z towarzyszącą stroną internetową, inicjatywa MetricScenes zawiera dane i wydania kodu.

Artykuł stwierdza*:

‘[Stwierdziliśmy, że] obecne metody stanu sztuki często nie są w stanie oszacować poprawnej skali sceny, co prowadzi do trwałego zjawiska zwanego “zawaleniem skali” w “dzikich” scenariuszach.

‘[Zdjęcie powyżej] pokazuje przykład, w którym są obecne wyraźne odniesienia semantyczne (ludzie), ale gdzie modele takie jak MoGe-2 wykazują znaczącą niezgodność skali na przestrzeni odległości: oszacowana metryczna skala dla obiektów w pobliżu jest prawdopodobna – w tym przypadku turyści mają prawdopodobną wysokość – ale skala dla struktur w oddali jest dramatycznie zaniżona – tutaj Łuk Triumfalny w tle jest metrycznie przewidziany jako mający zaledwie 18,8 m szerokości, co jest ponad 2× mniejsze niż rzeczywista szerokość (44,8 m).

‘MoGe-2 utrwalił pomnik, pomimo sygnałów przeciwnych.’

Potęga Trzech

Nowa kolekcja autorów została złożona przez połączenie trzech istniejących zestawów danych: MegaScenes, AerialMegaDepth i Stereo4D:

Przykładowe obrazy z MegaScenes, które stanowią część nowej kolekcji. Źródło

Problem z zestawami danych, które przyczyniają się do MetricScenes, gdy są brane oddzielnie, polega na tym, że każdy z nich odnosi się do ograniczonych dziedzin, takich jak nagrania z kamery samochodowej lub wnętrza, gdy potrzebna jest połączona dziedzina, aby rozwiązać problem i przybliżyć systemy wizyjne do ludzkiego pojęcia skali.

Każde zdjęcie jest opatrzony obrazem RGB, częściowo obserwowaną głębią pochodzącą z Structure from Motion (SfM), Multi-View Stereo (MVS) lub innych geometrycznych priorytetów, wraz z wygenerowaną mapą głębi za pomocą nowego dwuetapowego procesu Poissona i powiązanymi metadanych kamerowymi.

Dostosowanie ramy MoGe-2 do nowego zestawu danych ‘znacznie łagodzi’ zjawisko zwanego “zawaleniem skali”, o którym mówią autorzy, podobno osiągając lepsze wyniki w otwartych scenach i stanowiąc najlepsze osiągnięcia w powiązanych benchmarkach.

Nowy artykuł nowy artykuł nosi tytuł Honey, I Shrunk the Arc de Triomphe! i pochodzi od czterech badaczy z Cornell University i Shanghai Jiao Tong University.

Metoda

MetricScenes opiera się częściowo na wcześniej wspomnianych AerialMegaDepth i MegaScenes – dwóch kolekcjach zdjęć internetowych, obejmujących archiwa historyczne, zdjęcia turystyczne i profesjonalną fotografię. Chociaż MegaScenes oferuje duże, rozproszone rekonstrukcje z wykorzystaniem Structure from Motion (SfM), te sceny nie posiadają żadnej wewnętrznej, rzeczywistej skali. Aby rozwiązać ten problem, wykorzystano geoznaczone obrazy z usług mapowania online, aby wyalignować rekonstrukcje z znanymi fizycznymi lokalizacjami i wymiarami.

Odwracając, AerialMegaDepth już zawiera geoznaczone widoki Google Earth, zapewniając rekonstrukcje zabytków w skali metrycznej.

Potencjalne błędy rekonstrukcji spowodowane przez podobne, ale oddalone geograficznie struktury, zostały rozwiązane za pomocą MASt3R-SfM i klasyfikatora Doppelgangers++. Po rekonstrukcji Multi-View Stereo (MVS) niestabilne oszacowania głębi i artefakty krwawienia zostały odfiltrowane za pomocą kombinacji sprawdzeń stabilności i predykcji z MoGe-2:

AerialMegaDepth wywnioskowuje skalę świata, łącząc zdjęcia internetowe z geoznaczonymi widokami Google Earth, podczas gdy sceny MegaScenes są wyalignowane do fizycznych wymiarów za pomocą geo-referencyjnych obrazów z poziomu ulicy. Po rekonstrukcji Multi-View Stereo (MVS) niestabilne oszacowania głębi i artefakty krwawienia są odfiltrowane, wytwarzając czystsze, metryczne mapy głębi odpowiednie do szkolenia. Żółte ramki wskazują usunięte obiekty przejściowe podczas przetwarzania, podczas gdy czerwone ramki wskazują poprawione regiony krwawienia głębi.

Metryczna skala została następnie odzyskana za pomocą geo-referencyjnych obrazów. AerialMegaDepth już wywnioskowuje skalę z renderowań Google Earth, podczas gdy MegaScenes zostały wyalignowane do rzeczywistych wymiarów za pomocą geoznaczonych obrazów z poziomu ulicy uzyskanych z usług mapowania.

Te obrazy zostały dopasowane do istniejących rekonstrukcji za pomocą MASt3R, udoskonalone za pomocą klasyfikatora Doppelganger, wyalignowane z COLMAP i skalibrowane za pomocą estymacji opartej na RANSAC przy użyciu współrzędnych Earth-Centered, Earth-Fixed (ECEF). Sceny z niepewnymi oszacowaniami skali lub słabą jakością rejestracji zostały odrzucone.

Widzenie stereoskopowe

Kolekcja MetricScenes opiera się również na wcześniej wspomnianym zestawie danych Stereo4D, który zawiera tysiące sekwencji wideo stereoskopowych zarejestrowanych za pomocą kamer VR180, oferując wymiar czasowy do ujęć:

Zestaw danych Stereo4D został zbudowany z stereoskopowych filmów internetowych, łącząc pozyoje kamer, oszacowania głębi i trajektorie ruchu, aby odzyskać dynamiczne sceny 3D w skali. Wynikowy zestaw danych zawiera setki tysięcy klipów wideo reprezentowanych jako chmury punktów z długimi śladami ruchu, zapewniając duże źródło rzeczywistej geometrii 3D i ruchu do szkolenia modeli wizyjnych. Źródło

Ponieważ fizyczna odległość między dwiema soczewkami kamery różni się w zależności od urządzenia, wykorzystano tylko filmy z udokumentowanymi konfiguracjami kamery, co pozwoliło na odzyskanie głębi sceny w dokładnej, rzeczywistej skali.

Stereo4D pierwotnie opierał się na systemie optycznego przepływu SEA-RAFT do oszacowania geometrii sceny, ale autorzy stwierdzili, że niedoskonała kalibracja kamery może spowodować, że odtworzone sceny będą nienaturalnie zbieżne. Dlatego, aby poprawić dokładność, zastąpili to podejście potokiem rekonstrukcji wielowidokowej, który łącznie oszacowuje pozyoje kamer i głębię z wielu klatek.

Porównując π³, DepthAnything V3 i MapAnything, π³ został wybrany ze względu na swoją geometryczną wytrzymałość i zdolność do zachowania drobnych szczegółów:

Odzyskiwanie metrycznej głębi z Stereo4D. Standardowe metody dopasowania stereoskopowego mogą produkować zniekształcone geometrie, gdy kalibracja kamery jest niedoskonała, podczas gdy π³ generuje bardziej spójne rekonstrukcje scen i zachowuje drobne szczegóły. Odzyskana geometria jest następnie wyalignowana do znanej fizycznej bazylinii kamery stereoskopowej, dając dokładnie skalibrowane mapy głębi.

Ponieważ π³ rekonstruuje sceny w dowolnej skali, wynikowe mapy głębi zostały wyalignowane do rzeczywistych wymiarów za pomocą znanej fizycznej bazylinii każdej kamery stereoskopowej. Dodatkowe filtrowanie usunęło niskiej jakości klatki, niezgodności głębi, błędy kalibracji i niepewne oszacowania skali.

Ponadto, dwuetapowy proces uzupełniania głębi został wykorzystany, łącząc przewidywania z przodu z MoGe-2 z geometrią tła z Multi-View Stereo (MVS), wytwarzając czystsze, metryczne dane treningowe o bardziej spójnej skali i ostrzejszych granicach obiektów:

Dwuetapowe uzupełnianie głębi. Używanie tylko kotwic tła może zachować strukturę sceny, ale zniekształcić całą skalę, podczas gdy łączenie ograniczeń z przodu i z tyłu w jednym przejściu wprowadza dryf skali i artefakty granic. Dwuetapowe podejście utrzymuje spójną metryczną skalę zarówno dla obiektów bliskich, jak i oddalonych, zachowując przy tym czyste granice obiektów.

Autorzy stwierdzili, że kolekcje zdjęć internetowych często brakuje niezawodnej głębi z przodu, podczas gdy zdjęcia stereoskopowe często brakuje odległych regionów tła. Chociaż MoGe-2 może wywnioskować gęstą geometrię w całej scenie, jego oszacowania mają tendencję do tego samego zjawiska zwanego “zawaleniem skali”, które projekt próbuje rozwiązać. Dlatego dwuetapowy potok uzupełniania głębi został zaprojektowany, aby połączyć zalety MoGe-2 i Multi-View Stereo (MVS).

Geometria tła została odzyskana za pomocą kotwic metrycznych pochodzących z MVS, tworząc mapę głębi z niezawodną, dużą strukturą. W drugim etapie, oszacowania z przodu z MoGe-2 zostały ponownie wprowadzone za pomocą procesu kompozycji z uwzględnieniem krawędzi, zaprojektowanego w celu zachowania granic obiektów, jednocześnie zapobiegając dryfowi skali i artefaktom krwawienia głębi.

Mapy głębi wytworzone przez to podejście, jak twierdzi artykuł, były zarówno wizualnie kompletne, jak i bardziej spójne w rzeczywistej skali:

Dwuetapowy potok uzupełniania głębi. W pierwszym etapie, kotwice metryczne z MVS są używane do odzyskania geometrii tła w niezawodnej, metrycznej skali. W drugim etapie, oszacowania z przodu z MoGe-2 są ponownie wprowadzone za pomocą procesu kompozycji z uwzględnieniem krawędzi, wytwarzając ostateczną mapę głębi zaprojektowaną do zachowania zarówno dużej skali, jak i lokalnych szczegółów.

Dane i testy

Końcowa kolekcja MetricScenes składa się z 47 579 wyłącznie rzeczywistych obrazów, pokrywających 134 sceny z AerialMegaDepth; 29 583 obrazów z 356 scen z MegaScenes; oraz 22 549 klatek z 1 725 filmów z Stereo4D.

Kolekcja, z której 10 scen z każdego źródła zostało wyłączonych jako walidacja, obejmuje konteksty zewnętrzne i wewnętrzne, a także widoki na poziomie gruntu i lotnicze, oraz pejzaże miejskie i naturalne – kontekst zbiór i spójny, niedostępny w żadnej z poszczególnych kolekcji.

Dla początkowego, jakościowego testu, autorzy dostosowali model MoGe-2 ViT-Large-Normal do nowego zestawu danych MetricScenes przez 10 000 iteracji przy rozmiarze partii 32 – skutecznie około trzech epok. Przyjęto podejście do przycinania i ogólne wzmacnianie danych z oryginalnych testów MoGe-2, a szkolenie odbywało się przy stopy uczenia 1×10^-6 (backbone) i 1×10^-5 (wszystkie inne parametry). Dla jakościowego testu, rekonstrukcje głębi zostały przeprowadzone przez dostosowany WildMoGe model, który został zestawiony z modelem bazowym MoGe-2; DepthAnything V3; Metric3Dv2; UniDepth v2 ; oraz DepthPro:

Porównanie rekonstrukcji zabytków w skali metrycznej. Pomiary odniesienia z Google Maps są pokazane w lewej kolumnie. Przez niewidziane, rzeczywiste zabytki, WildMoGe wytwarza oszacowania skali bardziej odpowiadające znanym wymiarom, podczas gdy MoGe-2, DepthAnything V3 i Metric3D V2 często zaniżają rozmiar oddalonych struktur. UniDepth V2 często daje bardziej prawdopodobne skale, ale pozostaje niekonsekwentny, podczas gdy DepthPro okazjonalnie wytwarza poważne błędy skali.

Z tego wyniku, artykuł stwierdza:

‘[WildMoGe] konsekwentnie odzyskuje bardziej dokładne absolutne skale w różnych zabytkach, ściśle odpowiadające wymiarom odniesienia (np. 31,4 m vs. 32,4 m dla Muzeum Sztuki w Filadelfii, 46,7 m vs 46,5 m dla Piazza della Signorina). MoGe-2, DepthAnything v3 i Metric3D v25 wykazują zachowanie zwanego “zawaleniem skali”, konsekwentnie zaniżając rozmiar oddalonych struktur.

‘UniDepth v2 wytwarza bardziej realistyczne skale, ale nadal odbiega od wartości odniesienia, a DepthPro często nie jest w stanie odzyskać absolutnej skali, wytwarzając wyniki, które są o rząd wielkości mniejsze niż rzeczywistość. Należy zauważyć, że te sceny są nieobecne w zestawie treningowym.

‘To osiągnięcie pokazuje, że WildMoGe może uogólniać na niewidziany content, w przeciwieństwie do po prostu zapamiętywania scen treningowych.’

Aby upewnić się, że uzyskane korzyści nie są ograniczone do zabytków i dużych zewnętrznych scen, autorzy również ocenili WildMoGe na zwykłych wewnętrznych i ulicznych obrazach, gdzie wytwarza oszacowania skali ogólnie spójne z MoGe-2, osiągając większą dokładność w scenie ETH3D:

Porównanie na standardowych scenach. Przez zwykłe wewnętrzne i uliczne środowiska, WildMoGe wytwarza oszacowania skali ogólnie spójne z MoGe-2, osiągając większą dokładność w benchmarku ETH3D, odzyskując wymiary obiektów, które bardziej odpowiadają pomiarom odniesienia.

Aby ocenić, czy MetricScenes rzeczywiście poprawia rozumowanie metryczne, ocena została przeprowadzona zarówno na dedykowanym zestawie testowym MetricScenes, jak i na NYUv2; KITTI; ETH3D; iBims-1; GSO; Sintel; DDAD; DIODE; Spring; oraz HAMMER.

Autorzy zauważają, że uzyskanie gęstych pomiarów odniesienia dla nieograniczonych obrazów internetowych pozostaje trudne, co oznacza, że etykiety MetricScenes nie są idealne. Standardowe benchmarki zostały uwzględnione, aby potwierdzić, że jakiekolwiek korzyści nie nastąpiły kosztem ogólnej wydajności geometrycznej.

Porównania zostały przeprowadzone z MoGe-2; UniDepth V2; DepthPro; MASt3R; Depth Anything V2; Depth Anything V3; ZoeDepth; oraz Metric3D V2:

Ilościowa ocena geometrii względnej i metrycznej. Na zestawie testowym MetricScenes, WildMoGe przewyższa MoGe-2 we wszystkich raportowanych metrykach, pozostając ogólnie konkurencyjnym z ZoeDepth, Metric3D V2, Depth Anything V2, Depth Anything V3, MASt3R, UniDepth V2 i DepthPro na ustanowionych benchmarkach, wskazując, że poprawiona estymacja metrycznej skali została osiągnięta bez poświęcania ogólnej jakości rekonstrukcji geometrycznej.

WildMoGe znacznie poprawił predykcję metryczną na MetricScenes, przewyższając MoGe-2 we wszystkich raportowanych metrykach i osiągając lepsze wyniki geometryczne i głębiowe niż MoGe-2, DepthAnything V3, Metric3D V2, UniDepth V2 i DepthPro.

Wydajność na NYUv2, KITTI, ETH3D, iBims-1, GSO, Sintel, DDAD, DIODE, Spring i HAMMER pozostała ogólnie porównywalna do MoGe-2. Autorzy przypisują te korzyści nadzorowaniu metrycznemu w MetricScenes, które wydaje się pomagać w redukowaniu zjawiska “zawalenia skali”, zachowując przy tym ogólną wydajność rekonstrukcji sceny.

Wnioski

Rozwiązanie MetricScenes dla “zawalenia skali” wydaje się być trochę jak desperackie połączenie i destylacja wielu zestawów danych, z których każdy ma coś cennego do zaoferowania. Wydaje się to trochę jak próba określenia kształtu słonia przez dotyk.

Być może najcenniejszą usługą, jaką oferuje artykuł, jest zwrócenie większej uwagi na problem, który wydaje się wymagać jakiegoś nowego lub dostosowanego powszechnego standardu. Jednakże, ponieważ taka innowacja przerwałaby odtwarzalność i spójność obecnych metodologii, musiałaby być bardzo przekonywająca.

* Moja konwersja cytatów wstawionych przez autorów do linków.

Pierwotnie opublikowano w czwartek, 11 czerwca 2026