Mappare i percorsi per i non vedenti con l’apprendimento automatico

Una nuova ricerca tedesca offre un sistema portatile innovativo, alimentato da GPU, per aiutare le persone con disabilità visiva a navigare nel mondo reale. Il sistema affronta una delle sfide principali nei framework di visione artificiale in tempo reale – l’identificazione di ostacoli trasparenti come il vetro e altri materiali.

Il documento, dell’Istituto di Tecnologia di Karlsruhe, descrive la costruzione di un sistema indossabile, chiamato Trans4Trans, costituito da un paio di occhiali intelligenti collegati a un contenitore portatile GPU, che cattura immagini RGB e di profondità a 640×480 pixel in un flusso continuo, che viene poi elaborato attraverso un framework di segmentazione semantica.

I sensori mobili nel sistema Trans4Trans. Fonte: https://arxiv.org/pdf/2107.03172.pdf

Le capacità di feedback sensoriale del sistema sono potenziate da un paio di cuffie a conduzione ossea, che emettono feedback acustico in risposta agli ostacoli ambientali.

Il sistema Trans4Trans è stato anche testato sul dispositivo di realtà aumentata Microsoft HoloLens 2, raggiungendo una segmentazione completa e coerente (ovvero il riconoscimento) di ostacoli potenzialmente pericolosi come le porte di vetro.

Trans4Trans in esecuzione su HoloLens 2.

Architettura

Trans4Trans utilizza un approccio duale, utilizzando sia un encoder basato su trasformatori e un decoder, e sfruttando un modulo di accoppiamento di trasformatori (TPM) proprietario in grado di raccogliere mappe di caratteristiche generate dalle embeddings di partizioni dense, mentre il decoder basato su trasformatori è in grado di analizzare coerentemente le mappe di caratteristiche dal suo encoder accoppiato.

L’architettura di Trans4Trans.

Ogni TPM consiste in un singolo strato basato su trasformatori, essenziale per il basso consumo di risorse e la portabilità del sistema. Il decoder contiene quattro fasi simmetriche per l’encoder, con un modulo TPM assegnato a ciascuno. Il sistema risparmia risorse integrando la funzionalità di più approcci in un sistema coerente, invece di distribuire due modelli separati in un flusso di lavoro lineare.

Hardware

Gli occhiali utilizzati nel sistema incorporano un sensore RGB-D RealSense R200, mentre la macchina host ospita un GPU NVIDIA Jetson AGX Xavier progettato per sistemi embedded, con 384 core CUDA NVIDIA e 48 core Tensor.

Il R200 offre proiezione di speckle e abbinamento stereo passivo, rendendolo adatto per ambienti interni ed esterni. La facoltà di speckling è di particolare beneficio nella valutazione di superfici trasparenti, poiché aumenta e chiarisce i dati visivi in ingresso senza essere accecato da fonti di luce estreme. Le capacità infrarosse del sensore aiutano anche a ottenere una geometria distinta e mappe di profondità azionabili, che sono critiche per l’evitamento degli ostacoli, nel contesto degli obiettivi del progetto.

Prevenire il sovraccarico cognitivo per l’utente

Il sistema deve trovare un equilibrio tra la frequenza dei dati adeguata e l’eccesso di informazioni, poiché l’utente deve essere in grado di distinguere l’ambiente in modo coerente attraverso il feedback audio e la vibrazione.

Di conseguenza, Trans4Trans limita artificialmente il volume dei dati di feedback, con una soglia predefinita singola impostata a un metro, anziché costringere l’utente a imparare una varietà di impostazioni di vibrazione che corrispondono a distanze diverse di oggetti e barriere incombenti.

Test di Trans4Trans

Il sistema Trans4Trans è stato testato su due set di dati che trattano la segmentazione di oggetti trasparenti: Trans10K-V2, dell’Università di Hong Kong et al, che contiene 10.428 immagini di oggetti trasparenti per convalida, formazione e testing; e il set di dati Stanford2D3D, che contiene 70.496 immagini di oggetti di trasparenza mista, catturate a risoluzione 1080×1080.

Immagini e relative maschere dal set di dati Trans10k. Fonte: https://arxiv.org/pdf/2101.08461.pdf

Il sistema Stanford2D3D in azione. Fonte: http://buildingparser.stanford.edu/dataset.html

Nel testing, Trans4Trans è stato in grado di segmentare oggetti trasparenti che erano stati mal classificati dall’iniziativa Trans2Seg rilasciata all’inizio del 2021 dagli stessi ricercatori, richiedendo meno GFLOPS per calcolare e segmentare le superfici.

A differenza di Trans2Seq, che utilizza un encoder basato su CNN e un decoder basato su trasformatori, Trans4Trans utilizza solo un’architettura encoder-decoder basata su trasformatori, superando l’approccio precedente e migliorando notevolmente anche il PVT.

L’algoritmo ha anche raggiunto risultati di stato dell’arte per un certo numero di classi trasparenti, tra cui jar, finestra, porta, tazza, scatola e bottiglia.