Mapowanie ścieżek dla niewidomych za pomocą uczenia maszynowego

Nowe badania przeprowadzone w Niemczech oferują nowy, przenośny system zasilany procesorem GPU, który pomaga osobom niewidomym w nawigacji w świecie rzeczywistym. System rozwiązuje jeden z podstawowych wyzwań w ramach czasu rzeczywistego frameworku komputerowego widzenia – identyfikację szkła i innych przeźroczystych przeszkód.

Artykuł artykuł, pochodzący z Instytutu Technologicznego w Karlsruhe, opisuje konstrukcję noszonego przez użytkownika systemu, zatytułowanego Trans4Trans, składającego się z pary okularów inteligentnych połączonych z przenośną obudową GPU, która efektywnie działa jako lekki laptop, który przechwytuje obrazy RGB i głębi w rozdzielczości 640×480 pikseli w ciągłym strumieniu, który jest następnie przetwarzany za pomocą ramy segmentacji semantycznej.

Mobilne sensory w zestawie Trans4Trans. Źródło: https://arxiv.org/pdf/2107.03172.pdf

Możliwości systemu w zakresie informacji zwrotnej są zwiększone dzięki parze słuchawek przewodzących przez kości, które emitują informację zwrotną w postaci dźwięku w odpowiedzi na przeszkody środowiskowe.

System Trans4Trans został również przetestowany na zestawie rzeczywistości rozszerzonej Microsoft HoloLens 2, osiągając pełną i spójną segmentację (tj. rozpoznanie) potencjalnie niebezpiecznych przeszkód, takich jak szklane drzwi.

Trans4Trans uruchomiony na HoloLens 2.

Architektura

Trans4Trans wykorzystuje podwójne podejście, wykorzystując zarówno transformer-based encoder i decoder, oraz wykorzystując własny Transformer Pairing Module (TPM), który może łączyć mapy cech wygenerowane przez osadzanie gęstych partycji, podczas gdy transformer-based decoder jest w stanie ciągle parsować mapy cech od swojego sparowanego encodera.

Architektura Trans4Trans.

Każdy TPM składa się z jednej warstwy opartej na transformatorze, co jest niezbędne dla niskiego zużycia zasobów i przenośności systemu. Decoder zawiera cztery symetryczne etapy dla encodera, z modułem TPM przypisanym do każdego. System oszczędza zasoby, łącząc funkcjonalność kilku podejść w spójny system, zamiast wdrożenia dwóch oddzielnych modeli w liniowym przepływie pracy.

Sprzęt

Okulary wykorzystywane w systemie zawierają czujnik RGB-D RealSense R200, podczas gdy maszyna hostująca zawiera Jetson AGX Xavier NVIDIA GPU, zaprojektowany dla systemów osadzonych, i wyposażony w 384 rdzenie CUDA NVIDIA i 48 rdzenie Tensor.

Czujnik R200 oferuje projekcję punktów i pasywną stereoskopię, co sprawia, że jest on odpowiedni dla środowisk wewnętrznych i zewnętrznych. Możliwość projekcji punktów jest szczególnie przydatna w ocenie powierzchni przeźroczystych, ponieważ uzupełnia i wyjaśnia dane wizualne bez ulegania ekstremalnym źródłom światła. Możliwości podczerwone czujnika również pomagają uzyskać wyraźną geometrię i tworzyć mapy głębi, które są kluczowe dla unikania przeszkód w kontekście celów projektu.

Zapobieganie przeciążeniu poznawczemu użytkownika

System musi znaleźć równowagę między odpowiednią częstotliwością danych a nadmierną ilością informacji, ponieważ użytkownik musi być w stanie odróżnić środowisko spójnie za pomocą informacji zwrotnej dźwiękowej i wibracyjnej.

W związku z tym Trans4Trans sztucznie ogranicza ilość danych zwrotnych, z jednym domyślnym progiem ustawionym na jeden metr, zamiast zmuszać użytkownika do nauki różnych ustawień wibracji, które odpowiadają różnym odległościom zbliżających się obiektów i przeszkód.

Testowanie Trans4Trans

System Trans4Trans został przetestowany na dwóch zestawach danych dotyczących segmentacji obiektów przeźroczystych: Trans10K-V2, z Uniwersytetu w Hongkongu et al, który zawiera 10 428 obrazów obiektów przeźroczystych do walidacji, szkolenia i testowania; oraz zestaw danych Stanford2D3D, który zawiera 70 496 obrazów obiektów o mieszanej przeźroczystości, przechwyconych w rozdzielczości 1080×1080.

Obrazy i odpowiadające im maski z zestawu Trans10k. Źródło: https://arxiv.org/pdf/2101.08461.pdf

System Stanford2D3D w działaniu. Źródło: http://buildingparser.stanford.edu/dataset.html

Podczas testów Trans4Trans był również w stanie wyodrębnić obiekty przeźroczyste, które były błędnie sklasyfikowane przez inicjatywę Trans2Seg inicjatywę opublikowaną na początku 2021 roku przez tych samych badaczy, przy jednoczesnym wymaganiu mniejszej ilości operacji zmiennoprzecinkowych do obliczania i segmentacji powierzchni.

W przeciwieństwie do Trans2Seq, który wykorzystuje encoder oparty na CNN i decoder oparty na transformatorze, Trans4Trans wykorzystuje tylko architekturę encoder-decoder opartą na transformatorze, przewyższając poprzednie podejście i znacznie poprawiając wyniki w porównaniu z PVT.

Algorytm ten również osiągnął wyniki na poziomie stanu techniki dla określonej liczby klas przeźroczystych, w tym słoika, okna, drzwi, filizanki, pudełka i butelki.