Χαρτογραφώντας Διαδρομές για Τυφλούς με Μηχανική Μάθηση

Νέα έρευνα από τη Γερμανία προσφέρει ένα καινοτόμο, φορητό σύστημα που βασίζεται σε GPU για να βοηθήσει τους τυφλούς ανθρώπους να πλοηγηθούν στον πραγματικό κόσμο. Το σύστημα αντιμετωπίζει одну από τις βασικές προκλήσεις στα πλαίσια των πραγματικών υπολογιστικών προτύπων όρασης – την αναγνώριση γυαλιού και άλλων διαφανών εμποδίων.

Το έγγραφο, από το Ινστιτούτο Τεχνολογίας του Καρλσρούη, περιγράφει την κατασκευή ενός συστήματος που φοριέται από τον χρήστη, με τίτλο Trans4Trans, το οποίο αποτελείται από ένα ζευγάρι έξυπνων γυαλιών που συνδέονται με一个 φορητό κάλυμμα GPU, που είναι ουσιαστικά ένα ελαφρύ λάπτοπ, το οποίο καταγράφει εικόνες RGB και βάθους σε συνεχή ροή, οι οποίες στη συνέχεια διέρχονται από ένα πλαίσιο σεμαντικής διαίρεσης.

Οι κινητές αισθητήρες στο σύστημα Trans4Trans. Πηγή: https://arxiv.org/pdf/2107.03172.pdf

Οι ικανότητες αισθητηριακής ανάδρασης του συστήματος ενισχύονται από ένα ζευγάρι οστούχων ακουστικών, τα οποία εκπέμπουν ακουστική ανάδραση ως απάντηση σε περιβαλλοντικά εμπόδια.

Το σύστημα Trans4Trans έχει επίσης δοκιμαστεί στο Microsoft HoloLens 2, επιτυγχάνοντας πλήρη και συνεπή διαίρεση (δηλαδή αναγνώριση) των πιθανών επικίνδυνων εμποδίων, όπως γυάλινοι θύρες.

Το Trans4Trans εκτελείται στο HoloLens 2.

Αρχιτεκτονική

Το Trans4Trans χρησιμοποιεί μια διπλή προσέγγιση, χρησιμοποιώντας τόσο einen μετασχηματιστή-βασισμένο κωδικοποιητή και έναν αποκωδικοποιητή, και χρησιμοποιώντας ένα ιδιόκτητο Μονάδα Σύνδεσης Μετασχηματιστή (TPM) που είναι ικανό να συλλέγει χάρτες χαρακτηριστικών που παράγονται από τις ενσωματώσεις των πυκνών διαμερισμάτων, ενώ ο μετασχηματιστής-βασισμένος αποκωδικοποιητής είναι ικανός να αναλύει συνεχώς χάρτες χαρακτηριστικών από τον συζευγμένο κωδικοποιητή.

Η αρχιτεκτονική του Trans4Trans.

Κάθε Μονάδα Σύνδεσης Μετασχηματιστή αποτελείται από ένα μόνο μετασχηματιστή-βασισμένο επίπεδο, που είναι απαραίτητο για την χαμηλή κατανάλωση πόρων και την φορητότητα του συστήματος. Ο αποκωδικοποιητής περιέχει τέσσερα συμμετρικά στάδια για τον κωδικοποιητή, με μια Μονάδα Σύνδεσης Μετασχηματιστή που έχει ανατεθεί σε κάθε一个. Το σύστημα πραγματοποιεί εξοικονόμηση πόρων ενσωματώνοντας τη λειτουργικότητα πολλών προσεγγίσεων σε ένα συνεκτικό σύστημα, αντί να αναπτύσσει δύο ξεχωριστά μοντέλα σε μια γραμμική ροή εργασίας.

Απαρίθμηση

Τα γυαλιά που χρησιμοποιούνται στο σύστημα περιλαμβάνουν einen αισθητήρα RealSense R200 RGB-D, ενώ η μηχανή υπολογιστή περιέχει einen NVIDIA Jetson AGX Xavier GPU, σχεδιασμένο για ενσωματωμένα συστήματα, και διαθέτει 384 πυρήνες NVIDIA CUDA και 48 πυρήνες Tensor.

Ο R200 προσφέρει προβολή σπινθήρων και παθητική στερεοσκοπική αντιστοίχηση, καθιστώντας τον κατάλληλο για εσωτερικούς και εξωτερικούς χώρους. Η εγκατάσταση σπινθήρων είναι ιδιαίτερα полезή στη αξιολόγηση διαφανών επιφανειών, поскольку αυξάνει και διευκρινίζει τα εισερχόμενα οπτικά δεδομένα χωρίς να τυφλωθεί από ακραίες πηγές φωτός. Οι ικανότητες υπέρυθρης ακτινοβολίας του αισθητήρα επίσης βοηθούν στην απόκτηση διακριτής γεωμετρίας και μορφής για την δημιουργία χαρτών βάθους, οι οποίοι είναι κρίσιμοι για την αποφυγή εμποδίων, στο πλαίσιο των στόχων του έργου.

Προστασία από την Νοητική Υπερφόρτωση του Χρήστη

Το σύστημα πρέπει να ισορροπήσει μεταξύ επαρκούς συχνότητας δεδομένων και υπερβολικής πληροφόρησης,既然 ο χρήστης πρέπει να είναι σε θέση να διακρίνει το περιβάλλον συνειδητά μέσω της ακουστικής και της振動ικής ανάδρασης.

Συνεπώς, το Trans4Trans giớiρίζει τεχνητά τον όγκο των δεδομένων ανάδρασης, με ένα μόνο προεπιλεγμένο όριο που έχει οριστεί σε ένα μέτρο, αντί να αναγκάζει τον χρήστη να μάθει μια ποικιλία ρυθμίσεων振動 που αντιστοιχούν σε διαφορετικές αποστάσεις εμπόδίων και εμποδίων.

Δοκιμή του Trans4Trans

Το σύστημα Trans4Trans δοκιμάστηκε σε δύο συνόλους δεδομένων που ασχολούνται με τη διαίρεση διαφανών αντικειμένων: Trans10K-V2, από το Πανεπιστήμιο του Χονγκ Κονγκ et al, το οποίο περιέχει 10.428 εικόνες διαφανών αντικειμένων για επικύρωση, εκπαίδευση και δοκιμή, και το σύνολο δεδομένων Stanford2D3D, το οποίο περιέχει 70.496 εικόνες μεικτών διαφανών αντικειμένων, που καταγράφηκαν σε ανάλυση 1080×1080.

Εικόνες και αντίστοιχες μάσκες από το σύνολο δεδομένων Trans10k. Πηγή: https://arxiv.org/pdf/2101.08461.pdf

Το σύστημα Stanford2D3D σε λειτουργία. Πηγή: http://buildingparser.stanford.edu/dataset.html

Στη δοκιμή, το Trans4Trans ήταν επίσης σε θέση να διαχωρίσει διαφανή αντικείμενα που είχαν καταταχθεί λανθασμένα από την Trans2Seg πρωτοβουλία που κυκλοφόρησε στην αρχή του 2021 από τους ίδιους ερευνητές, ενώ απαιτούσε λιγότερους GFLOPS για τον υπολογισμό και τη διαίρεση των επιφανειών.

Σε αντίθεση με το Trans2Seq, το οποίο χρησιμοποιεί έναν κωδικοποιητή CNN-βασισμένο και έναν αποκωδικοποιητή μετασχηματιστή-βασισμένο, το Trans4Trans χρησιμοποιεί μόνο αρχιτεκτονική κωδικοποιητή-αποκωδικοποιητή μετασχηματιστή, υπερβαίνοντας την προηγούμενη προσέγγιση και βελτιώνοντας σημαντικά την PVT.

Ο αλγόριθμος επίσης πέτυχε αποτελέσματα στην κορυφή της κατηγορίας για έναν συγκεκριμένο αριθμό διαφανών κατηγοριών, συμπεριλαμβανομένων jar, παράθυρο, θύρα, κύπελλο, κουτί και μπουκάλι.