Indoor-Benutzer-Ortung mit visueller Platzerkennung

Die visuelle Platzerkennung ist einer der Grundpfeiler der Entwicklung der Computer-Vision und der Robotik. Die Aufgabe der VPR-Algorithmen besteht darin, untersuchte Orte anhand von Bildern zu identifizieren. Die Technologie kann sowohl autonome Roboter als auch die menschliche Arbeitskraft unterstützen, indem sie die Umgebung identifiziert und die Ausführung von gewünschten Aktionen erleichtert.

Forscher bei NeuroSYS nutzen Computer-Vision-Algorithmen als Teil der entwickelten AR-Plattform, Nsflow, um interaktive Arbeitsanweisungen und praktische Schulungen zu ermöglichen, um die Positionen von Benutzern während der Schulung vor Ort zu identifizieren. In diesem Fall führt die Verwendung von VPR zu einer erheblichen Beschleunigung der Einarbeitungs- und Lernprozesse aufgrund der reduzierten Notwendigkeit von vorheriger Schulung und Aufsicht.

Die Ortung einer Person oder die Suche nach einem bestimmten Ort mit GPS ist bereits alt. Was aber, wenn das satellitengestützte Navigationssystem nicht funktioniert? Indoor-Positionierungssysteme (IPS) kommen zu Hilfe.

Wenn man nach einer Nadel im Heuhaufen sucht, kann man verschiedene Techniken anwenden, wie z.B. Beacon-Technologie, magnetische Positionierung, inertiale Messgeräte (IMU) mit Beschleunigungsmessern und Gyroskopen, die Bewegung vom letzten bekannten Punkt messen, Wi-Fi-basierte Positionierung oder einfach – visuelle Marker nutzen.

All diese Methoden haben ihre Schwächen (z.B. die Notwendigkeit, Marker oder Beacon-Technologie zu installieren, IMU erhöht den Messfehler über die Zeit und erfordert eine Neupositionierung), die ihre Vorteile überwiegen. Die Lösung für das entscheidende Problem – die allgemeine Benutzerortung mit einer Genauigkeit von einigen Metern – liegt im Bereich der Algorithmen.

Der Prozess der Platzerkennung basiert auf einem zweistufigen Verfahren, bei dem zwei Datenbanken erstellt werden. Zunächst wird der Zielort fotografiert und bestimmte Elemente, sogenannte Keypoints, von einem Feature-Detektor markiert, um charakteristische Elemente des Bereichs zu identifizieren. Anschließend werden die markierten Punkte mit einem Referenzbild verglichen. Sobald die bewerteten Keypoints als ähnlich genug von einem Feature-Matcher bewertet werden, qualifiziert sich das Bild als dasselbe.

Die Bilddatenbank kombiniert Bilder von Zielorten, in diesem Fall Arbeitsplätzen, und eine Reihe von Eigenschaften, einschließlich eindeutiger Identifikatoren, gefolgt von lokalen und globalen Deskriptoren. Die andere Datenbank, die Raumdatenbank, ordnet einzelne Keypoints bestimmten Bereichen im betrachteten Raum zu.

Mithilfe von SuperPoint-, SuperGlue- und netVLAD-Neural-Netzwerken aus dem Bereich der visuellen Platzerkennung nutzten Forscher den oben beschriebenen Prozess für die Benutzerortung. Die tiefen neuronalen Netze SuperPoint und SuperGlue arbeiten bei der Merkmalserkennung und -vergleichung zusammen, indem sie Informationen aus den Datenbanken extrahieren.

Die globalen Deskriptoren treten auf den Plan

Der Prozess erfordert globale Deskriptoren, die als Vektoren dienen, um den Ort zu unterscheiden und Bereiche auf eine Weise zu identifizieren, die keine Mehrdeutigkeiten aufweist. Um ihre Rolle zu erfüllen, sollten die Vektoren unabhängig von Beleuchtung und Perspektive sein – unabhängig von der Perspektive und den Beleuchtungsbedingungen sollten die globalen Deskriptoren keine Zweifel aufkommen lassen, wenn sie Orte in verschiedenen Bildern unterscheiden.

Zusätzlich sollten variable Objekte, die in dem Bereich von Interesse vorhanden sind, nicht durch globale Deskriptoren als Merkmale zur Unterscheidung von Orten gebunden werden. Elemente wie Möbel und Ausrüstung sind anfällig für Änderungen (Umdekorierung, Demontage), was bedeutet, dass sie Bereiche durch ihre Anwesenheit nicht definieren können.

Die computer-vision-gestützte Platzerkennung basiert auf permanenten Elementen von untersuchten Orten, wie Türen, Fenstern, Treppen und anderen charakteristischen Elementen von langer Lebensdauer. Während der Forschung wurde das Deep-Learning-Netz NetVLAD für Berechnungen verwendet, das Vektoren mit den erforderlichen Eigenschaften lieferte. Im Prozess der globalen Deskriptor-Verknüpfung werden Bilder der ähnlichsten Vektoren verarbeitet, gefolgt von Distanzberechnungen zwischen jedem charakteristischen Ankerpunkt.

Wenn das System zwei Datenbanken – die Raumdatenbank und die andere, die Keypoints und globale Deskriptoren enthält – verarbeitet, beschäftigt es sich mit Attributen von Bildern. Nach der Schätzung von Ähnlichkeiten und kürzesten Distanzen identifiziert das zweite neuronale Netz, SuperGlue, Ortbilder. Das System, das VPR verwendet, ermöglicht die Benutzerortung basierend auf der Anzahl der übereinstimmenden Keypoints.

Die Algorithmen fanden Anwendung in der AI- & AR-Plattform, die Benutzern hilft, Schulungen mit intelligenten Brillen durchzuführen. VPR ermöglicht die Ortung von Trainingspersonen am Arbeitsplatz, startet entsprechende Tutorials und Anleitungen, die bestimmten Orten zugeordnet sind, verbessert die Sicherheit und reduziert die Notwendigkeit von direkter Aufsicht.

Projekt gefördert durch Mittel der Europäischen Union im Rahmen des Operationellen Programms für intelligentes Wachstum. Projekt umgesetzt im Rahmen des Nationalen Zentrums für Forschung und Entwicklung: Fast Track.