Боротьба штучного інтелекту з розпізнаванням розмірів пам’яток

Моделі мови та зору розуміють пам’ятки, але вони все ще не можуть побачити всю картину…

Одна з перших навичок виживання, яку ми розвиваємо, – це здатність розрізняти речі, які є маленькими або далекими. Ми можемо закрити місяць великим пальцем, не думаючи, що він має розмір десятицентової монети, оскільки ми внутрішньо зрозуміли відносний масштаб.

Це надзвичайно складне завдання для систем комп’ютерного зору, оскільки більшість з них покладаються на попередню анотацію, яка не допомагає їм “розуміти” масштаб так само, як люди. До того ж, за певним і досить близьким лімітом все, що знаходиться на відстані, перебуває поза можливостями стереозору розрізняти – автомобіль на дальньому кінці парковки; хмарочос на відстані за ним; і зростаючий півмісяць над ним… всі ці об’єкти є “двовимірними” для більшості систем машинного навчання, заснованих на зорі.

Природно, коли певний приклад “далекого”, але неправильно інтерпретованого об’єкта опиняється добре представленим у навчальних даних, системи, які бачили ці дані, можуть бути досить складними для обману:

ChatGPT-5.5 зовсім не вражений цією класичною туристичною тривогою.

Чим менше латентний простір моделі містить таку конкретну та часто повторювану інформацію, тим більше їй потрібно буде узагальнювати і внутрішньо розуміти концепції масштабу, які ми схоплюємо в молодому віці. Без цього навіть знамениті приклади можуть все ще спричиняти неправильну оцінку масштабу:

У цьому спекулятивному прикладі, адаптованому з нової статті, яку ми розглядаємо сьогодні, камера зображує Тріумфальну арку на задньому плані – але система не знає, який її розмір, і робить неправильну оцінку. Джерело

Небезпека, пов’язана зі специфічними та характерними об’єктами, такими як Ейфелева вежа, полягає в тому, що система може вдатися до закорочення оцінки розміру, яке є правильним для оригінальної моделі, але не правильним для багатьох копій паризької пам’ятки, які знаходяться поза межами стереозору, але не мають такого самого розміру.

Отже, важливо, щоб системи зору підходили до нових (не бачених) видів з готовим набором навичок, а не просто з купою “шахрайських кодів”.

Масштабування

Для цього нове співробітництво між США та Китаєм пропонує лікувальний набір даних, разом із методом оцінки, який вирішує цю проблему:

Новий підхід модифікує попередню систему за допомогою покращеного навчального матеріалу – даних, достатньо різноманітних, щоб забезпечити глибше розуміння проблем глибини.

Запущений разом із супутнім сайтом, ініціатива MetricScenes пропонує дані та код випуски.

Стаття зазначає*:

‘[Ми] виявили, що сучасні методи часто не можуть оцінити правильний масштаб сцени, що призводить до постійного колапсу масштабу в “дикій” обстановці.

‘[Зображення вище] показує приклад, де присутні чіткі семантичні посилання (люди), але де моделі типу MoGe-2 демонструють значну несумісність масштабу на різних відстанях: передбачуваний метричний масштаб для об’єктів, що знаходяться поблизу, є правдоподібним – в цьому випадку туристи мають правдоподібну висоту – але масштаб для віддалених структур сильно недооцінюється – тут Тріумфальна арка на задньому плані має передбачувану ширину лише 18,8 м, що більше ніж у 2 рази менше справжньої ширини (44,8 м).

‘MoGe-2 припускає мініатюрну пам’ятку, незважаючи на протилежні ознаки.’

Сила трьох

Новий збір авторів був складений шляхом об’єднання трьох існуючих наборів даних: MegaScenes, AerialMegaDepth та Stereo4D:

Приклад зображення з MegaScenes, який складає частину нової кураторської роботи. Джерело

Проблема з наборами даних, які складають MetricScenes, полягає в тому, що вони кожен застосовується до обмежених доменів, таких як кадри з точки зору автомобіля або внутрішні сцени, тоді як для вирішення цієї проблеми та наближення систем зору до людського розуміння масштабу потрібен об’єднаний домен.

Кожне зображення супроводжується RGB-зображенням, частково спостережуваною глибиною, отриманою з структури з руху (SfM), стереозору з多окреної камери (MVS) або інших геометричних припущень, разом із завершеною глибинною картою, згенерованою за допомогою нового двоступеневого процесу завершення Пуассона, та асоційованими метаданими камери.

Настройка рамки MoGe-2 на новому наборі даних ‘значно пом’якшує’ колапс масштабу, про який говорять автори, і, як повідомляється, досягає кращих результатів у відкритих сценах та показує найкращу якість на пов’язаних бенчмарках.

Нова стаття називається Горщик, я звузив Тріумфальну арку! і походить від чотирьох дослідників з Корнелльського університету та Шанхайського університету Цзяо Тун.

Метод

MetricScenes частково використовує згадані вище AerialMegaDepth та MegaScenes – два зібрання Інтернет-фотографій, що охоплюють історичні архіви, туристичні зображення та професійну фотографію. Хоча MegaScenes пропонує великомасштабні реконструкції структури з руху (SfM), ці сцени не мають жодного внутрішнього реального масштабу. Для вирішення цієї проблеми використовувалися геотеговані зображення з Інтернет-сервісів карт, щоб вирівняти реконструкції з відомими фізичними місцями та розмірами.

Натомість AerialMegaDepth вже включає геотеговані види Google Earth, забезпечуючи реконструкції пам’яток у метричному масштабі.

Потенційні помилки реконструкції, викликані візуально схожими, але географічно віддаленими структурами, були вирішені за допомогою MASt3R-SfM та класифікатора Doppelgangers++. Після реконструкції стереозору з多окреної камери (MVS) нестабільні оцінки глибини та артефакти розмиття глибини були фільтровані за допомогою комбінації перевірок стабільності та передбачень MoGe-2:

AerialMegaDepth отримує реальний масштаб, поєднуючи Інтернет-зображення з геотегованими видами Google Earth, тоді як сцени MegaScenes вирівнюються до фізичних розмірів за допомогою геотегованих зображень вулиць, отриманих з сервісів карт. Після реконструкції стереозору з多окреної камери (MVS) нестабільні оцінки глибини та артефакти розмиття глибини фільтруються, виробляючи чистіші метричні глибинні карти, придатні для навчання. Жовті рамки виділяють тимчасові об’єкти, видалені під час обробки, тоді як червоні рамки вказують на виправлені артефакти розмиття глибини.

Метричний масштаб потім був відновлений за допомогою геотегованих зображень. AerialMegaDepth вже отримує масштаб з видів Google Earth, захоплених з відомих місць, тоді як MegaScenes був вирівняний до реальних розмірів за допомогою геотегованих зображень вулиць, отриманих з сервісів карт.

Ці зображення були зіставлені з існуючими реконструкціями за допомогою MASt3R, уточнені класифікатором Doppelganger, вирівняні з COLMAP та виміряні за допомогою оцінки, заснованої на RANSAC, з використанням координат Earth-Centered, Earth-Fixed (ECEF). Сцени з ненадійними оцінками масштабу або поганою якістю реєстрації були видалені.

Спостереження в стерео

Збірка MetricScenes також використовує згаданий вище набір даних Stereo4D, який містить тисячі реальних стереоскопічних відеосеквенцій, захоплених камерами VR180, забезпечуючи тимчасову вимірю в захопленні:

Набір даних Stereo4D був побудований зі стереоскопічних Інтернет-відео, поєднуючи положення камери, оцінки глибини та рухові траєкторії для відновлення динамічних 3D-сцен у масштабі. Результатом є набір даних, який містить сотні тисяч відеокліпів, представлених у вигляді точкових хмар з довгочасними руховими траєкторіями, забезпечуючи велике джерело реальної 3D-геометрії та руху для навчання моделей зору. Джерело

Оскільки фізична відстань між двома об’єктивами камери варіюється на різних пристроях, використовувалися лише відео з задокументованими конфігураціями камер, що дозволило відновити глибину сцени в точному реальному масштабі.

Спочатку Stereo4D використовував систему SEA-RAFT для оцінки сценічної геометрії, але автори виявили, що недосконала калібрування камери можуть викривлювати відновлені сцени, викликаючи структури, які повинні бути паралельними, сходяться ненатурально. Тому для покращення точності вони замінили цей підхід на багатоглядну систему реконструкції, яка спільно оцінює положення камери та глибину з декількох кадрів.

Після порівняння π³, DepthAnything V3 та MapAnything було вибрано π³ за його геометричну стійкість та здатність зберегти тонкі деталі:

Відновлення глибини в метричному масштабі з Stereo4D. Стандартні методи стереозору можуть виробляти викривлену геометрію, коли калібрування камери є недосконалим, тоді як π³ генерує більш послідовні реконструкції сцен, зберігаючи тонкі деталі. Відновлена геометрія потім вирівнюється з відомим фізичним базисом стереокамери, забезпечуючи точно виміряні метричні глибинні карти.

Оскільки π³ реконструює сцени в довільному масштабі, отримані глибинні карти були вирівняні з реальними розмірами за допомогою відомого фізичного базису кожної стереокамери. Додаткове фільтрування видало кадри низької якості, оцінки глибини, помилки калібрування та ненадійні оцінки масштабу.

Крім того, був використаний двоступеневий процес завершення глибини, який поєднував передбачення переднього плану з MoGe-2 з геометрією фону з багатоглядового стереозору (MVS), виробляючи чистіші метричні дані для навчання з більш послідовним масштабом та чіткими межами об’єктів:

Двоступеневе завершення глибини. Використання лише анкорів фону може зберегти структуру сцени, але викривити загальний масштаб, тоді як поєднання обмежень переднього та фону в одному проході вводить дрейф масштабу та артефакти меж. Двоступеневий підхід підтримує послідовний метричний масштаб як для ближніх, так і для віддалених об’єктів, зберігаючи чисті межі об’єктів.

Автори спостерігали, що Інтернет-збірки часто не мають надійної глибини переднього плану, тоді як стереозображення часто не мають віддалених фонових регіонів. Хоча MoGe-2 може здогадуватися густу геометрію по всій сцені, його оцінки схильні до тієї самої колапсу масштабу, яку проект намагається вирішити. Тому двоступеневий процес завершення глибини був розроблений для поєднання сильних сторін MoGe-2 та багатоглядового стереозору (MVS).

Геометрія фону була відновлена за допомогою метричних анкорів, отриманих з MVS, створюючи базову глибинну карту з надійною великомасштабною структурою. На другому етапі оцінки переднього плану з MoGe-2 були знову введені через процес завершення, розроблений для збереження меж об’єктів, запобігаючи дрейфу масштабу та артефактам розмиття глибини.

Глибинні карти, отримані цим підходом, як стверджує стаття, були візуально повними та більш послідовними у реальному масштабі:

Двоступеневий процес завершення глибини. На першому етапі анкори MVS використовуються для відновлення геометрії фону в надійному метричному масштабі. На другому етапі оцінки переднього плану з MoGe-2 знову вводяться через процес завершення, розроблений для збереження великомасштабної точності та місцевих деталей.

Дані та тести

Остаточна збірка MetricScenes складається з 47 579 реальних світових зображень, що охоплюють 134 сцени з AerialMegaDepth; 29 583 зображень з 356 сцен з MegaScenes; та 22 549 кадрів, взятих з 1 725 відео з Stereo4D.

Збірка, з якої було виділено 10 сцен з кожного джерела для валідації, охоплює зовнішні та внутрішні контексти, а також види з рівня землі та з повітря, а також міські та природні ландшафти – зібрано та узгоджено контекст, якого немає в жодному з окремих джерел.

Для початкового якісного тесту автори налаштували модель MoGe-2 ViT-Large-Normal на новому наборі даних MetricScenes за 10 000 ітерацій з розміром партії 32 – ефективно близько трьох епох. Обрізання та загальні підходи до аугментації даних були взяті з оригінальних тестів MoGe-2, а навчання відбувалося з швидкістю навчання 1х10^-6 (базова модель) та 1х10^-5 (всі інші параметри). Для якісного тесту реконструкції глибини були здійснені за допомогою налаштованої WildMoGe моделі, протиставленої базовій MoGe-2; DepthAnything V3; Metric3Dv2; UniDepth v2 ; та DepthPro:

Порівняння реконструкції пам’яток у метричному масштабі. Вимірювання з Google Maps показані в лівому стовпчику. По незнайомим реальним пам’яткам WildMoGe виробляє оцінки масштабу, які більш точно відповідають відомим розмірам, тоді як MoGe-2, DepthAnything V3 та Metric3D V2 часто недооцінюють розмір віддалених структур. UniDepth V2 часто дає більш правдоподібні масштаби, але залишається несумісним, тоді як DepthPro іноді виробляє серйозні помилки масштабу.

Про цей результат стаття зазначає:

‘[WildMoGe] послідовно відновлює більш точні абсолютні масштаби по різних пам’яткам, близькі до розмірів, виміряних з факту (наприклад, 31,4 м проти 32,4 м для Музею мистецтв Філадельфії, 46,7 м проти 46,5 м для Площі Сеньйорини). MoGe-2, DepthAnything v3 та Metric3D v25 демонструють поведінку колапсу масштабу, систематично недооцінюючи розмір віддалених структур.

‘UniDepth v2 дає більш реалістичні масштаби, але все ж відхиляється від розмірів, виміряних з факту, а DepthPro часто не може відновити абсолютний масштаб, виробляючи результати, які на кілька порядків менші за реальність. Відзначимо, що ці сцени відсутні в навчальному наборі.

‘Ця продуктивність демонструє, що WildMoGe може узагальнюватися до незнайомого вмісту, а не просто запам’ятовувати навчальні сцени.’

Для того щоб переконатися, що здобутки не обмежувалися лише пам’ятками та великими зовнішніми сценами, автори також оцінили WildMoGe на звичайних внутрішніх та вуличних зображеннях, де вона виробила оцінки масштабу, які були загалом сумісними з MoGe-2, але досягла більшої точності на бенчмарку ETH3D:

Порівняння на стандартних сценах. По звичайним внутрішнім та вуличним середовищам WildMoGe виробляє оцінки масштабу, загалом сумісні з MoGe-2, але досягає більшої точності на бенчмарку ETH3D, відновлюючи розміри об’єктів, які більш точно відповідають розмірам, виміряним з факту.

Для оцінки того, чи MetricScenes дійсно покращує метричний масштаб, оцінка була проведена як на спеціальному тестовому наборі MetricScenes, так і на NYUv2; KITTI; ETH3D; iBims-1; GSO; Sintel; DDAD; DIODE; Spring; та HAMMER.

Автори відзначають, що отримання густих розмірів, виміряних з факту, для необмежених Інтернет-зображень залишається складним завданням, тому стандартні бенчмарки були включені для підтвердження того, що будь-які здобутки не відбулися за рахунок загальної геометричної продуктивності.

Порівняння були проведені з MoGe-2; UniDepth V2; DepthPro; MASt3R; Depth Anything V2; Depth Anything V3; ZoeDepth; та Metric3D V2:

Кількісна оцінка відносної та метричної геометрії. На тестовому наборі MetricScenes WildMoGe перевершує MoGe-2 по всіх зареєстрованих метриках, залишаючись загалом конкурентоспроможним з ZoeDepth, Metric3D V2, Depth Anything V2, Depth Anything V3, MASt3R, UniDepth V2 та DepthPro на встановлених бенчмарках, вказуючи на те, що покращена оцінка метричного масштабу була досягнута без втрати загальної якості геометричної реконструкції.

WildMoGe суттєво покращила оцінку метричного масштабу на MetricScenes, перевершуючи MoGe-2 по всіх зареєстрованих метриках та досягнувши кращих результатів на пов’язаних бенчмарках.

Продуктивність на NYUv2, KITTI, ETH3D, iBims-1, GSO, Sintel, DDAD, DIODE, Spring та HAMMER залишилася загалом порівнянною з MoGe-2. Автори приписують ці здобутки метричному нагляду MetricScenes, який, як здається, допомагає зменшити колапс масштабу, зберігаючи загальну продуктивність реконструкції сцени.

Висновок

Рішення MetricScenes щодо “колапсу масштабу” виглядає як якийсь саморобний апарат, описаний у статті – це хаотичне поєднання та очищення декількох наборів даних, кожен з яких має цінний внесок. Це здається трохи подібним на визначення форми слона на дотик…

Можливо, найціннішою послугою, яку надає стаття, є привернення уваги до цієї проблеми, яка, здається, потребує якогось нового або адаптованого універсального стандарту. Однак така інновація повинна бути дуже переконливою, оскільки вона буде переривати репродуктивність та послідовність поточних методологій.

* Моя конвертація внутрішніх посилань авторів у гіперпосилання.

Перша публікація – четвер, 11 червня 2026 р.