Pfade für Blinde mit Machine Learning kartieren

Neue Forschung aus Deutschland bietet ein neuartiges, GPU-basiertes portables System, um sehbehinderten Menschen zu helfen, in der realen Welt zu navigieren. Das System adressiert eine der Kernherausforderungen in Echtzeit-Computer-Vision-Frameworks – die Identifizierung von Glas und anderen transparenten Hindernissen.

Das Papier, aus dem Karlsruher Institut für Technologie, beschreibt den Aufbau eines benutzergetragenen Systems, das Trans4Trans genannt wird und aus einer Brille mit intelligenten Gläsern besteht, die mit einem portablen GPU-Gehäuse verbunden sind, das effektiv ein leichtes Notebook ist, das RGB- und Tiefenbilder mit 640×480 Pixeln in einem kontinuierlichen Strom aufnimmt, der dann durch ein semantisches Segmentierungsframework verarbeitet wird.

Die mobilen Sensoren im Trans4Trans-Rig. Quelle: https://arxiv.org/pdf/2107.03172.pdf

Die sensorischen Feedback-Fähigkeiten des Systems werden durch ein Paar Knochenleitungs-Kopfhörer verstärkt, die akustisches Feedback in Reaktion auf Umgebungs-Hindernisse emittieren.

Das Trans4Trans-System wurde auch auf dem Microsoft HoloLens 2-Augmented-Reality-Rig getestet und erreichte eine vollständige und konsistente Segmentierung (d. h. Erkennung) von potenziell gefährlichen Hindernissen wie Glas-Türen.

Trans4Trans auf dem HoloLens 2.

Architektur

Trans4Trans verwendet einen dualen Ansatz, der sowohl einen transformator-basierten Encoder als auch einen Decoder verwendet und ein proprietäres Transformer-Pairing-Modul (TPM) nutzt, das in der Lage ist, Feature-Karten zu sammeln, die durch die Einbettungen von dichten Partitionen generiert werden, während der transformator-basierte Decoder in der Lage ist, konsistent Feature-Karten von seinem gepaarten Encoder zu parsen.

Die Architektur von Trans4Trans.

Jedes TPM besteht aus einer einzelnen transformator-basierten Schicht, die für den geringen Ressourcenverbrauch und die Portabilität des Systems unerlässlich ist. Der Decoder enthält vier symmetrische Stufen für den Encoder, mit einem TPM-Modul, das jeder zugewiesen ist. Das System spart Ressourcen, indem es die Funktionalität mehrerer Ansätze in ein kohärentes System integriert, anstatt zwei separate Modelle in einem linearen Arbeitsablauf zu deployen.

Hardware

Die in dem System verwendeten Gläser enthalten einen RealSense R200-RGB-D-Sensor, während die Host-Maschine ein Jetson AGX Xavier NVIDIA-GPU beherbergt, das für eingebettete Systeme konzipiert ist und 384 NVIDIA-CUDA-Kerne und 48 Tensor-Kerne aufweist.

Der R200 bietet Speckle-Projektion und passives Stereo-Matching, was es für Innen- und Außenumgebungen geeignet macht. Die Speckle-Facilität ist von besonderem Vorteil bei der Bewertung von transparenten Oberflächen, da sie die eingehenden visuellen Daten ergänzt und klärt, ohne von extremen Lichtquellen geblendet zu werden. Die Infrarot-Fähigkeiten des Sensors helfen auch, eine deutliche Geometrie und handlungsfähige Tiefen-Karten zu erhalten, die für die Hindernis-Vermeidung im Rahmen der Ziele des Projekts von entscheidender Bedeutung sind.

Vermeidung von kognitiver Überlastung für den Benutzer

Das System muss ein Gleichgewicht zwischen angemessener Datenhäufigkeit und übermäßiger Information finden, da der Träger in der Lage sein muss, die Umgebung durch akustisches Feedback und Vibration kohärent zu erkennen.

Daher begrenzt Trans4Trans künstlich die Menge an Feedback-Daten, mit einem einzelnen Standard-Schwellenwert, der auf einen Meter festgelegt ist, anstatt den Benutzer zu zwingen, eine Vielzahl von Vibrationseinstellungen zu erlernen, die den verschiedenen Entfernungen von Hindernissen und Barrieren entsprechen.

Testen von Trans4Trans

Das Trans4Trans-System wurde auf zwei Datensätzen getestet, die sich mit der Segmentierung von transparenten Objekten befassen: Trans10K-V2, von der Universität Hongkong et al, das 10.428 Bilder von transparenten Objekten für Validierung, Training und Testen enthält; und der Stanford2D3D-Datensatz, der 70.496 Bilder von gemischten transparenten Objekten mit einer Auflösung von 1080×1080 enthält.

Bilder und entsprechende Masken aus dem Trans10k-Datensatz. Quelle: https://arxiv.org/pdf/2101.08461.pdf

Das Stanford2D3D-System in Aktion. Quelle: http://buildingparser.stanford.edu/dataset.html

Bei den Tests konnte Trans4Trans auch transparente Objekte segmentieren, die von der Trans2Seg Initiative zu Beginn des Jahres 2021 von den gleichen Forschern veröffentlicht wurden, während es weniger GFLOPS benötigte, um die Oberflächen zu berechnen und zu segmentieren.

Im Gegensatz zu Trans2Seq, das einen CNN-basierten Encoder und einen transformator-basierten Decoder verwendet, verwendet Trans4Trans nur eine transformator-basierte Encoder-Decoder-Architektur, die den vorherigen Ansatz übertrifft und auch erheblich auf PVT verbessert.

Der Algorithmus erreichte auch Spitzenleistungen für eine bestimmte Anzahl von transparenten Klassen, einschließlich Gläser, Fenster, Türen, Becher, Kisten und Flaschen.