KI-Systeme haben Schwierigkeiten, die Größe von Wahrzeichen zu erkennen

Visions-Sprachmodelle verstehen Denkmäler, aber sie können immer noch nicht das gesamte Bild sehen…

Eine der frühesten Überlebensfähigkeiten, die wir entwickeln, ist die Fähigkeit, zwischen Dingen zu unterscheiden, die klein oder weit entfernt sind. Wir können den Mond mit unserem Daumen verdecken, ohne zu denken, dass er die Größe eines Dimes hat, weil wir ein Verständnis für relative Skala internalisiert haben.

Dies ist eine ungewöhnlich schwierige Aufgabe für Computer-Vision-Systeme, da die meisten von ihnen auf vorheriger Annotation angewiesen sind, die nicht hilft, Skala im gleichen Sinne wie Menschen zu “verstehen”. Um es noch schlimmer zu machen, liegt alles, was über eine bestimmte und ziemlich nahe Grenze hinausgeht, jenseits der Fähigkeit von Stereo-Vision zu lösen – das Auto am anderen Ende des Parkplatzes; der Wolkenkratzer in der Ferne dahinter; und der zunehmende Halbmond, der darüber aufsteigt… alles sind “2D”-Entitäten für die meisten vision-basierten Machine-Learning-Systeme.

Natürlich kann ein bestimmtes Beispiel eines “entfernten” aber falsch interpretierten Objekts, das gut in den Trainingsdaten repräsentiert ist, Systeme, die diese Daten gesehen haben, schwer zu täuschen:

ChatGPT-5.5 ist nicht im Entferntesten beeindruckt von diesem klassischen Touristen-Tropus.

Je weniger der trainierte latente Raum eines Modells spezifische und oft wiederholte Informationen enthält, desto mehr muss es in der Lage sein, zu generalisieren und die Konzepte von Skala zu internalisieren, die wir im jungen Alter erfassen. Ohne dies können sogar berühmte Beispiele noch zu Fehlschätzungen der Skala führen:

In diesem spekulativen Beispiel, das aus der neuen Studie, die wir heute untersuchen, entnommen wurde, zeigt die Kamera-Perspektive den Arc de Triomphe im Hintergrund – aber das System weiß nicht, wie groß es ist, und macht eine falsche Schätzung. Quelle

Die Gefahr bei spezifischen und sehr charakteristischen Objekten wie dem Eiffelturm besteht darin, dass das System auf einen Shortcut der Größenschätzung zurückgreift, der für das ursprüngliche Modell korrekt ist, aber nicht korrekt für die vielen Nachbildungen des Pariser Wahrzeichens, die gleich weit entfernt sind, aber nicht annähernd so groß sind.

Daher ist es wichtig, dass Vision-Systeme auf neue (unbekannte) Ansichten mit einem bereiten Skillset zugehen und nicht nur mit einer Menge “Cheats”.

Skalieren

Zu diesem Zweck bietet eine neue Zusammenarbeit zwischen den USA und China ein remediierendes Dataset sowie eine Schätzmethode, die das Problem anspricht:

Der neue Ansatz modifiziert ein vorheriges System durch verbessertes Trainingsmaterial – Daten, die vielfältig genug sind, um ein tieferes Verständnis von Tiefenproblemen zu bieten.

Das MetricScenes-Initiative, das zusammen mit einer begleitenden Website gestartet wurde, umfasst Daten und Code-Veröffentlichungen.

Die Studie besagt*:

‘[Wir] fanden heraus, dass aktuelle State-of-the-Art-Methoden häufig nicht in der Lage sind, die korrekte Szenen-Skala zu schätzen, was zu einem anhaltenden Skala-Kollaps-Phänomen in “in-the-wild”-Szenarien führt.

‘[Das Bild oben] zeigt ein Beispiel, bei dem klare semantische Referenzen (Menschen) vorhanden sind, aber bei dem Modelle wie MoGe-2 eine signifikante Skaleninkonsistenz über den Bereich der Entfernungen aufweisen: die vorhergesagte metrische Skala für Nahfeld-Objekte ist plausibel – in diesem Fall haben die Touristen eine plausible Höhe –, aber die Skala für Fernfeld-Strukturen wird dramatisch unterschätzt – hier wird der Arc de Triomphe im Hintergrund metrisch auf nur 18,8 m Breite geschätzt, was mehr als 2× kleiner ist als die tatsächliche Breite (44,8 m).

‘MoGe-2 hat ein miniaturisiertes Wahrzeichen angenommen, trotz Hinweisen auf das Gegenteil.’

Die Macht der Drei

Die neue Sammlung der Autoren wurde durch die Kombination von drei bestehenden Datensätzen erstellt: MegaScenes, AerialMegaDepth und Stereo4D:

Beispiel-Bildmaterial aus MegaScenes, das Teil der neuen Kuratierung ist. Quelle

Das Problem mit den Datensätzen, die zu MetricScenes beitragen, wenn sie einzeln betrachtet werden, besteht darin, dass sie jeweils auf begrenzte Domänen wie POV-Auto-Aufnahmen oder Innenraumszenen beschränkt sind, wenn ein kombinierter Domäne benötigt wird, um das Problem anzugehen und Vision-Systeme näher an ein menschliches Konzept von Skala zu bringen.

Jedes Bild wird von RGB-Bildmaterial begleitet, teilweise beobachteter Tiefe, die aus Structure from Motion (SfM), Multi-View-Stereo (MVS) oder anderen geometrischen Prioritäten abgeleitet wird, zusammen mit einer abgeschlossenen Tiefen-Karte, die durch einen neuen zweistufigen Poisson-Vervollständigungsprozess generiert wird, und assoziierte Kamerametadata.

Feinabstimmung des MoGe-2-Frameworks auf dem neuen Datensatz ‘lindert die Skala-Kollaps’, auf die die Autoren hinweisen, und soll bessere Ergebnisse in offenen Szenen und auf verwandten Benchmarks erzielt haben.

Die neue Studie trägt den Titel Honey, I Shrunk the Arc de Triomphe! und stammt von vier Forschern der Cornell University und der Shanghai Jiao Tong University.

Methode

MetricScenes basiert teilweise auf den bereits erwähnten AerialMegaDepth und MegaScenes – zwei Sammlungen von Internet-Fotografien, die historische Archive, Touristenbilder und professionelle Fotografie umfassen. Obwohl MegaScenes große Skala-Struktur-from-Motion-Rekonstruktionen bietet, fehlt diesen Szenen jegliche inhärente reale Skala. Um dies zu beheben, wurden geotaggte Bilder aus Online-Kartendiensten verwendet, um die Rekonstruktionen mit bekannten physischen Orten und Dimensionen auszurichten.

Im Gegensatz dazu enthält AerialMegaDepth bereits geotaggte Google-Earth-Ansichten, die metrische Wahrzeichen-Rekonstruktionen liefern.

Mögliche Rekonstruktionsfehler, die durch visuell ähnliche, aber geografisch entfernte Strukturen verursacht wurden, wurden mithilfe von MASt3R-SfM und dem Doppelgänger++-Klassifizierer behoben. Nach der Multi-View-Stereo-(MVS)-Rekonstruktion wurden instabile Tiefenschätzungen und Tiefen-Blutungsartefakte mithilfe einer Kombination von Stabilitätsprüfungen und Vorhersagen von MoGe-2 gefiltert:

AerialMegaDepth leitet reale Skala durch die Kombination von Internet-Fotografien mit geotaggten Google-Earth-Ansichten ab, während MegaScenes-Szenen an physische Dimensionen mithilfe von geo-referenzierten Straßenlevel-Bildern aus Kartendiensten ausgerichtet werden. Nach der Multi-View-Stereo-(MVS)-Rekonstruktion werden instabile Tiefenschätzungen und Tiefen-Blutungsartefakte gefiltert, um saubere metrische Tiefen-Karten für das Training zu produzieren. Gelbe Kästchen heben transienten Objekte hervor, die während der Verarbeitung entfernt wurden, während rote Kästchen korrigierte Tiefen-Blutungs-Regionen anzeigen.

Die metrische Skala wurde dann durch geo-referenzierte Bilder wiederhergestellt. AerialMegaDepth leitet bereits Skala aus Google-Earth-Renderings ab, die aus bekannten Orten aufgenommen wurden, während MegaScenes an reale Dimensionen mithilfe von geo-referenzierten Straßenlevel-Bildern aus Kartendiensten ausgerichtet wurde.

Diese Bilder wurden mit MASt3R, dem Doppelgänger-Klassifizierer, COLMAP und RANSAC-basierten Schätzungen mithilfe von Earth-Centered, Earth-Fixed (ECEF)-Koordinaten ausgerichtet und skaliert. Szenen mit unzuverlässigen Skalaschätzungen oder schlechter Registrierungsqualität wurden verworfen.

Stereo-Sehen

Die MetricScenes-Sammlung basiert auch auf dem bereits erwähnten Stereo4D-Datensatz, der Tausende von realen stereoskopischen Video-Sequenzen enthält, die mit VR180-Kameras aufgenommen wurden, und bietet eine zeitliche Dimension für die Aufnahmen:

Der Stereo4D-Datensatz wurde aus stereoskopischen Internet-Videos erstellt, indem Kamerapositionen, Tiefenschätzungen und Bewegungsbahnen kombiniert wurden, um dynamische 3D-Szenen im Maßstab wiederzugeben. Der resultierende Datensatz enthält Hunderttausende von Video-Clips, die als Punktwolken mit langen Bewegungsbahnen dargestellt werden, und bietet eine große Quelle für reale 3D-Geometrie und Bewegung für das Training von Vision-Modellen. Quelle

Da der physische Abstand zwischen den beiden Kameralinsen je nach Gerät variiert, wurden nur Videos mit dokumentierten Kamera-Konfigurationen verwendet, um die Szenen-Tiefe bei einem genauen realen Maßstab wiederherzustellen.

Stereo4D basierte ursprünglich auf dem optischen Fluss-System SEA-RAFT, um die Szenen-Geometrie zu schätzen, aber die Autoren fanden heraus, dass unvollkommene Kamera-Kalibrierung die rekonstruierten Szenen verzerren konnte, was Strukturen, die parallel sein sollten, unnatürlich zusammenlaufen ließ. Daher wurde dieser Ansatz durch eine Multi-View-Rekonstruktions-Pipeline ersetzt, die Kamerapositionen und Tiefe aus mehreren Frames gemeinsam schätzt.

Nach dem Vergleich von π³, DepthAnything V3 und MapAnything wurde π³ aufgrund seiner geometrischen Robustheit und seiner Fähigkeit, feine Details zu erhalten, ausgewählt:

Metrische Tiefen-Wiederherstellung aus Stereo4D. Standard-Stereo-Abgleich-Methoden können verzerrte Geometrie erzeugen, wenn die Kamera-Kalibrierung unvollkommen ist, während π³ konsistentere Szenen-Rekonstruktionen erzeugt und feine Details erhält. Die wiederhergestellte Geometrie wird dann an die bekannte physische Basislinie der Stereo-Kamera ausgerichtet, um genau skalierte metrische Tiefen-Karten zu erzeugen.

Da π³ Szenen bei einem willkürlichen Maßstab rekonstruiert, wurden die resultierenden Tiefen-Karten an reale Dimensionen mithilfe der bekannten physischen Basislinie jeder Stereo-Kamera ausgerichtet. Zusätzliche Filterung entfernte Frames mit schlechter Qualität, Tiefen-Inkonsistenzen, Kalibrierungsfehler und unzuverlässige Skalaschätzungen.

Darüber hinaus wurde ein zweistufiger Tiefen-Vervollständigungsprozess verwendet, der Vorhersagen von MoGe-2 mit Hintergrund-Geometrie aus Multi-View-Stereo (MVS) kombinierte, um saubere metrische Trainings-Daten mit konsistenterer Skala und schärferen Objekt-Grenzen zu erzeugen:

Zweistufige Tiefen-Vervollständigung. Die Verwendung von nur Hintergrund-Ankern kann die Szenen-Struktur erhalten, während die Gesamtskala verzerrt wird, während die Kombination von Vordergrund- und Hintergrund-Beschränkungen in einem einzigen Durchgang Skalen-Drift und Grenzen-Artefakte einführt. Der zweistufige Ansatz erhält konsistente metrische Skala über nahe und entfernte Objekte hinweg, während saubere Objekt-Grenzen erhalten bleiben.

Die Autoren beobachteten, dass Internet-Foto-Sammlungen häufig keine zuverlässigen Vordergrund-Tiefen haben, während Stereo-Bilder häufig entfernte Hintergrund-Regionen fehlen. Obwohl MoGe-2 dichte Geometrie über eine gesamte Szene ableiten kann, neigen seine Schätzungen dazu, das gleiche Skala-Kollaps-Problem aufzuweisen, das das Projekt zu beheben versucht. Daher wurde der zweistufige Tiefen-Vervollständigungs-Prozess entwickelt, um die Stärken von MoGe-2 und Multi-View-Stereo (MVS) zu kombinieren.

Hintergrund-Geometrie wurde mithilfe von MVS-abgeleiteten metrischen Ankern wiederhergestellt, um eine Basis-Tiefen-Karte mit zuverlässiger großer Struktur zu erstellen. In einem zweiten Schritt wurden Vordergrund-Schätzungen von MoGe-2 durch einen rand-bewussten Vervollständigungsprozess wieder eingeführt, der darauf ausgelegt war, Objekt-Grenzen zu erhalten, während Skalen-Drift und Tiefen-Blutungs-Artefakte verhindert wurden.

Die durch diesen Ansatz erzeugten Tiefen-Karten, so behauptet die Studie, seien sowohl visuell vollständig als auch konsistenter in realer Skala:

Zweistufiger Tiefen-Vervollständigungs-Prozess. Im ersten Schritt werden MVS-Anker verwendet, um Hintergrund-Geometrie bei einem zuverlässigen metrischen Maßstab wiederherzustellen. Im zweiten Schritt werden Vordergrund-Schätzungen von MoGe-2 durch einen rand-bewussten Zusammensetzungsprozess wieder eingeführt, um eine endgültige Tiefen-Karte zu erzeugen, die darauf ausgelegt ist, sowohl große Skala-Genauigkeit als auch scharfe lokale Details zu erhalten.

Daten und Tests

Die endgültige MetricScenes-Sammlung umfasst 47.579 ausschließlich realweltliche Bilder, die 134 Szenen aus AerialMegaDepth abdecken; 29.583 Bilder aus 356 Szenen aus MegaScenes; und 22.549 Frames, die aus 1.725 Videos aus Stereo4D stammen.

Die Sammlung, von der 10 Szenen pro Quelle zurückgehalten wurden, um als Validierung verwendet zu werden, umfasst Außen- und Innenkontexte sowie Boden- und Luftansichten und städtische sowie natürliche Landschaften – ein kollabierter und kohärenter Kontext, der in keiner der einzelnen beitragenden Sammlungen verfügbar ist.

Für einen ersten qualitativen Test feinabstimmten die Autoren das MoGe-2-ViT-Large-Normal-Modell auf dem neuen MetricScenes-Datensatz für 10.000 Iterationen bei einer Batch-Größe von 32 – effektiv etwa drei Epochen. Bildbeschneidung und allgemeine Daten-Augmentations-Ansätze wurden von den ursprünglichen MoGe-2-Tests übernommen, und das Training erfolgte bei einer Lernrate von 1×10^-6 (Rumpf) und 1×10^-5 (alle anderen Parameter). Für den qualitativen Test wurden Tiefen-Rekonstruktionen von dem feinabgestimmten WildMoGe-Modell durchgeführt, das gegen das Basis-MoGe-2; DepthAnything V3; Metric3Dv2; UniDepth v2 ; und DepthPro gesetzt wurde:

Vergleich der metrischen Wahrzeichen-Rekonstruktion. Ground-Truth-Messungen von Google Maps sind in der linken Spalte angegeben. Über unbekannte realweltliche Wahrzeichen hinweg produziert WildMoGe Skalenschätzungen, die den bekannten Dimensionen näher kommen, während MoGe-2, DepthAnything V3 und Metric3D V2 häufig die Größe entfernter Strukturen unterschätzen. UniDepth V2 liefert oft plausiblere Skalen, bleibt aber inkonsistent, während DepthPro gelegentlich schwere Skalenfehler produziert.

Von diesem Ergebnis sagt die Studie:

‘[WildMoGe] produziert konsistent genauere absolute Skalen über diverse Wahrzeichen hinweg, die den Ground-Truth-Dimensionen nahe kommen (z. B. 31,4 m vs. 32,4 m für das Philadelphia Museum of Art, 46,7 m vs 46,5 m für Piazza della Signorina). MoGe-2, DepthAnything v3 und Metric3D v25 zeigen Skala-Kollaps-Verhalten, das die Größe entfernter Strukturen konsistent unterschätzt.

‘UniDepth v2 produziert realistischere Skalen, aber weicht immer noch von der Ground-Truth ab, und DepthPro versagt oft, die absolute Skala wiederzugeben, und produziert Ergebnisse, die mehrere Größenordnungen kleiner sind als die Realität. Beachten Sie, dass diese Szenen nicht im Trainingsset enthalten sind.

‘Diese Leistung zeigt, dass WildMoGe generalisieren kann, um unbekannte Inhalte zu verarbeiten, anstatt einfach nur Trainings-Szenen zu memorieren.’

Um sicherzustellen, dass die Gewinne, die gefunden wurden, nicht auf Wahrzeichen und große Außenszenen beschränkt waren, bewerteten die Autoren WildMoGe auch auf gewöhnlichen Innen- und Straßenebenen-Bildern, bei denen es Skalenschätzungen produzierte, die im Allgemeinen mit MoGe-2 übereinstimmten, während es eine bessere Genauigkeit auf dem ETH3D-Hof-Benchmark erzielte, der Objekt-Abmessungen wiederherstellte, die den Ground-Truth-Messungen näher kamen:

Vergleich auf Standard-Szenen. Über gewöhnliche Innen- und Straßenebenen-Bilder hinweg produziert WildMoGe Skalenschätzungen, die im Allgemeinen mit MoGe-2 übereinstimmen, während es eine bessere Genauigkeit auf dem ETH3D-Hof-Benchmark erzielt, der Objekt-Abmessungen wiederherstellt, die den Ground-Truth-Messungen näher kommen.

Um zu überprüfen, ob MetricScenes tatsächlich die metrische Skala-Argumentation verbessert hat, wurde die Bewertung sowohl auf einem dedizierten MetricScenes-Test-Set als auch auf NYUv2; KITTI; ETH3D; iBims-1; GSO; Sintel; DDAD; DIODE; Spring; und HAMMER durchgeführt.

Die Autoren bemerken, dass die Erlangung dichter Ground-Truth-Messungen für unbeschränkte Internet-Bilder schwierig bleibt, was bedeutet, dass die MetricScenes-Labels nicht perfekt sind. Standard-Benchmarks wurden daher einbezogen, um zu überprüfen, ob die Gewinne nicht auf Kosten der allgemeinen geometrischen Leistung erfolgten.

Vergleiche wurden mit MoGe-2; UniDepth V2; DepthPro; MASt3R; Depth Anything V2; Depth Anything V3; ZoeDepth; und Metric3D V2 durchgeführt:

Quantitative Bewertung der relativen und metrischen Geometrie. Auf dem MetricScenes-Test-Set übertrifft WildMoGe MoGe-2 in allen gemeldeten Metriken, während es auf etablierten Benchmarks im Allgemeinen wettbewerbsfähig mit ZoeDepth, Metric3D V2, Depth Anything V2, Depth Anything V3, MASt3R, UniDepth V2 und DepthPro bleibt, was darauf hindeutet, dass die verbesserte metrische Skalenschätzung ohne Opferung der allgemeinen geometrischen Rekonstruktionsqualität erreicht wurde.

WildMoGe verbesserte die metrische Skalenschätzung auf MetricScenes erheblich, indem es MoGe-2 in allen gemeldeten Metriken übertraf und bessere metrische Geometrie- und Tiefen-Scores als MoGe-2, DepthAnything V3, Metric3D V2, UniDepth V2 und DepthPro erzielte.

Die Leistung auf NYUv2, KITTI, ETH3D, iBims-1, GSO, Sintel, DDAD, DIODE, Spring und HAMMER blieb im Allgemeinen mit MoGe-2 vergleichbar. Die Autoren führen diese Gewinne auf die metrische Aufsicht von MetricScenes zurück, die offensichtlich dazu beiträgt, den Skala-Kollaps zu reduzieren, während die allgemeine Szenen-Rekonstruktionsleistung erhalten bleibt.

Schlussfolgerung

Die MetricScenes-Lösung für den “Skala-Kollaps” kommt in der Studie wie ein etwas hektischer Versuch vor, mehrere Datensätze zu kombinieren und zu destillieren, von denen jeder einen wertvollen Blickwinkel beiträgt. Es sieht ein bisschen aus, als ob man versucht, die Form eines Elefanten durch Berührung zu bestimmen.

Vielleicht ist der wertvollste Dienst, den die Studie leistet, darin, dass sie die Aufmerksamkeit auf das Problem lenkt, das scheinbar eine Art von neuem oder adaptiertem universellem Standard erfordert. Allerdings würde eine solche Innovation die Reproduzierbarkeit und Konsistenz der aktuellen Methoden stören, sodass sie sehr überzeugend sein müsste.

* Meine Umwandlung der inline-Zitate der Autoren in Hyperlinks.

Erstveröffentlicht am Donnerstag, den 11. Juni 2026