Внутрішня локалізація користувача за допомогою візуального розпізнавання місць

Візуальне розпізнавання місць є одним із основних елементів розробки комп’ютерного зору та робототехніки. Завдання алгоритмів VPR полягає в ідентифікації досліджуваних місць на основі зображень. Ця технологія може підтримувати автономні роботи та людську робочу силу, ідентифікуючи оточення та полегшуючи виконання бажаних дій.

Дослідники у NeuroSYS використовують алгоритми комп’ютерного зору в рамках розробленої платформи AR, Nsflow, що дозволяє взаємодію з інтерактивними інструкціями та практичною підготовкою для визначення позиції користувача під час проходження навчання на місці. У цьому випадку використання VPR призводить до значного прискорення процесів навчання та налаштування через зменшення потреби у попередній підготовці та нагляді.

Знаходження людини або визначення бажаного місця за допомогою GPS вже не є новиною. Але що робити, коли супутникова система навігації не працює? Системи внутрішньої локалізації (IPS) приходять на допомогу.

Якщо ви шукаєте голку в копиці сена, ви можете використовувати різні методи, включаючи маяки, магнітне позиціювання, інерційні вимірювальні блоки (IMU) з акселерометрами та гіроскопами, вимірювання руху від останньої відомої точки, позиціювання на основі Wi-Fi або просто – використовувати візуальні маркери.

Всі вище згадані методи мають свої недоліки (наприклад, необхідність встановлення маркерів або маяків, IMU збільшує похибку вимірювання з часом і вимагає перепозиціювання), що переважає їхні переваги. Рішення проблеми визначення місцезнаходження користувача з точністю до кількох метрів виявляється в сфері алгоритмів.

Процес розпізнавання місць відбувається у два етапи, створюючи дві бази даних. Спочатку цільове місце фотографується, і певні об’єкти, ключові точки, позначаються детектором ознак для ідентифікації характерних елементів території. Після цього позначені точки порівнюються з довідковим зображенням. Як тільки оцінені ключові точки визнаються достатньо схожими за допомогою функції порівняння ознак, зображення вважається тим, що показує те саме місце.

База даних зображень об’єднує зображення цільових місць, в даному випадку робочих просторів, та набір їхніх властивостей, включаючи унікальні ідентифікатори, а також локальні та глобальні дескриптори. Інший набір, база даних кімнат, збігається з окремими ключовими точками певних ділянок у розглянутому просторі.

Використовуючи нейронні мережі SuperPoint, SuperGlue та netVLAD з галузі візуального розпізнавання місць, дослідники використали вище описаний процес для локалізації користувача. Глибокі нейронні мережі SuperPoint та SuperGlue співпрацюють у виявленні ознак та їхньому порівнянні, витягуючи інформацію з баз даних.

Глобальні дескриптори вступають на сцену

Процес вимагає глобальних дескрипторів, які служать векторами, що відрізняють місце, ідентифікуючи території таким чином, щоб не було двозначностей. Для виконання своєї ролі вектори повинні бути незалежними від освітлення та точки зору – незалежно від перспективи та умов освітлення, глобальні дескриптори повинні залишати жодних сумнівів при розпізнаванні місць на різних зображеннях.

Крім того, змінні об’єкти, присутні в області інтересу, не повинні бути зв’язані глобальними дескрипторами як ознаки, що відрізняють місця. Предмети, такі як мебль та обладнання, схильні до змін (переобладнання, демонтаж), що означає, що вони не можуть визначати території через свою присутність.

Розпізнавання місць, що використовує комп’ютерний зір, спирається на постійні елементи досліджуваних місць, як-от двері, вікна, сходи та інші характерні об’єкти довготривалої природи. Під час дослідження в питаннях використовувалася глибока нейронна мережа NetVLAD для розрахунків, представляючи в результаті вектори, що відповідають заданим вимогам. У процесі збігання глобальних дескрипторів обробляються зображення найбільш схожих векторів, після чого відбувається розрахунок відстані між кожною характерною точкою.

При обробці двох баз даних – бази даних кімнат та іншої, що містить ключові точки та глобальні дескриптори – система працює з атрибутами зображень. Після виконання оцінки схожості та найкоротших відстаней друга нейронна мережа, SuperGlue, ідентифікує зображення місць. Система, що використовує VPR, дозволяє локалізувати користувача на основі кількості збігających ключових точок.

Алгоритми знайшли застосування в платформі AI та AR, допомагаючи користувачам виконувати навчання, оснащені розумними окулярами. VPR дозволяє локалізувати користувачів на робочому місці, запускаючи відповідні навчальні матеріали та посібники, призначені для конкретних місць, покращуючи безпеку та зменшуючи потребу в прямому нагляді.

Проект спільно фінансувався з коштів Європейського Союзу в рамках програми оперативного плану “Умовий ріст” як частина Національного центру досліджень та розвитку: Швидка доріжка.