Lokalisasi Pengguna Indoor Menggunakan Pengenalan Tempat Visual

Pengenalan tempat visual adalah salah satu fondasi dari pengembangan visi komputer dan robotika. Tugas algoritma VPR adalah mengidentifikasi lokasi yang diperiksa berdasarkan gambar. Teknologi ini dapat mendukung robot otonom dan tenaga kerja manusia, mengidentifikasi sekitar dan memfasilitasi eksekusi tindakan yang diinginkan.

Peneliti di NeuroSYS menggunakan algoritma visi komputer sebagai bagian dari platform AR yang dikembangkan, Nsflow, memungkinkan instruksi kerja interaktif dan pelatihan tangan untuk mengidentifikasi posisi pengguna saat menjalani pelatihan di lokasi. Dalam hal ini, penggunaan VPR menyebabkan percepatan yang signifikan dalam proses onboarding dan pembelajaran karena pengurangan kebutuhan pelatihan dan pengawasan sebelumnya.

Menemukan orang atau menemukan tempat yang diinginkan menggunakan GPS sudah menjadi berita lama. Tapi apa yang harus dilakukan ketika sistem navigasi berbasis satelit tidak berfungsi? Sistem posisi indoor (IPS) datang untuk menyelamatkan.

Ketika mencari jarum di tumpukan jerami, Anda dapat menggunakan berbagai teknik, termasuk beacon, posisi magnetik, unit pengukuran inersia (IMU) dengan akselerometer dan giroskop, mengukur pergerakan dari titik terakhir yang diketahui, posisi berbasis Wi-Fi, atau hanya – menggunakan penanda visual.

Semua metode di atas memiliki kelemahan (misalnya kebutuhan untuk memasang penanda atau beacon, IMU meningkatkan kesalahan pengukuran seiring waktu dan memerlukan reposisi), melebihi kelebihannya. Solusi yang menjawab masalah penting – lokasi pengguna secara umum dengan akurasi hingga beberapa meter – ternyata berada dalam ruang lingkup algoritma.

Proses pengenalan tempat bergantung pada prosedur dua langkah, membuat dua basis data. Awalnya, tempat target difoto dan beberapa item, titik kunci, ditandai oleh detektor fitur untuk mengidentifikasi elemen khas daerah tersebut. Setelah itu, titik yang dilabeli dibandingkan dengan gambar referensi. Ketika titik kunci yang dievaluasi dianggap cukup mirip oleh pembanding fitur, gambar tersebut memenuhi syarat sebagai menampilkan tempat yang sama.

Basis data gambar menggabungkan gambar-gambar lokasi target, dalam hal ini, tempat kerja, dan sekumpulan properti mereka, termasuk pengidentifikasi unik, diikuti oleh deskriptor lokal dan global. Set lain, basis data ruangan, mencocokkan titik kunci tunggal dengan area tertentu di ruang yang dipertimbangkan.

Menggunakan SuperPoint, SuperGlue, dan netVLAD jaringan saraf dari bidang pengenalan tempat visual, peneliti menggunakan proses di atas dalam pelokalan pengguna. Jaringan saraf dalam, SuperPoint dan SuperGlue, bekerja sama dalam deteksi fitur dan pencocokan, mengekstrak informasi dari basis data.

Deskriptor global memasuki panggung

Proses ini membutuhkan deskriptor global, yang berfungsi sebagai vektor yang membedakan tempat, mengidentifikasi area dengan cara yang tidak menimbulkan keraguan. Untuk memenuhi peran mereka, vektor harus tidak bergantung pada iluminasi dan sudut pandang – tidak peduli perspektif dan kondisi pencahayaan, deskriptor global harus tidak menimbulkan keraguan ketika membedakan tempat dalam gambar yang berbeda.

Selain itu, objek yang berubah-ubah di area yang diminati tidak boleh diikat oleh deskriptor global sebagai fitur yang membedakan tempat. Item seperti perabotan dan peralatan cenderung berubah (dekorasi ulang, pembongkaran), yang berarti mereka tidak dapat mendefinisikan area melalui kehadiran mereka.

Pengenalan tempat yang ditenagai komputer-visi bergantung pada elemen permanen dari lokasi yang diperiksa, seperti pintu, jendela, tangga, dan item khas lainnya yang bersifat langgeng. Selama penelitian yang bersangkutan, jaringan saraf dalam NetVLAD digunakan untuk perhitungan, menyajikan, sebagai hasil, vektor yang memenuhi persyaratan yang ditetapkan. Dalam proses pencocokan deskriptor global, gambar dengan vektor yang paling mirip diproses, mengikuti perhitungan jarak antara setiap titik jangkar khas.

Ketika memproses dua basis data – basis data ruangan dan yang lain, yang berisi titik kunci dan deskriptor global – sistem menangani atribut gambar. Setelah melakukan estimasi kesamaan dan jarak terpendek, jaringan saraf kedua, SuperGlue, mengidentifikasi gambar lokasi. Sistem yang menggunakan VPR memungkinkan pelokalan pengguna berdasarkan, singkatnya, jumlah titik kunci yang cocok.

Algoritma tersebut diterapkan dalam platform AI & AR, membantu pengguna untuk melakukan pelatihan dengan kacamata pintar. VPR memungkinkan pelokalan pelatih di tempat kerja, meluncurkan tutorial dan panduan yang sesuai yang ditugaskan untuk to particular spots, improving safety, and reducing the need for direct supervision. Project co-financed from European Union funds under the European Regional Development Funds as part of the Smart Growth Operational Programme. Project implemented as part of the National Centre for Research and Development: Fast Track.