Προσαρμογές στο AR και VR με τη Νέα Κάμερα Πήχης

Η εικονική πραγματικότητα (AR) και η εικονική πραγματικότητα (VR) έχουν προχωρήσει ένα βήμα πιο μπροστά με τη δημιουργία ενός νέου συσκευής που φοριέται στο πήχης για την εκτίμηση της θέσης του χεριού σε 3D. Η συσκευή δημιουργήθηκε από ερευνητές στο Ινστιτούτο Τεχνολογίας του Τόκιο (Tokyo Tech), μαζί με ομάδες από το Πανεπιστήμιο Carnegie Mellon, το Πανεπιστήμιο του St Andrews και το Πανεπιστήμιο της Νέας Νότιας Ουαλίας.

Το κύριο σημείο του νέου συστήματος είναι μια κάμερα που είναι ικανή να καπνίζει εικόνες στην πίσω πλευρά του χεριού. Αυτό το επιτυγχάνει μέσω της χρήσης ενός νευρωνικού δικτύου που ονομάζεται DorsalNet. Το νευρωνικό δίκτυο είναι ικανό να αναγνωρίζει δυναμικές χειρονομίες.

Η χρήση συσκευών AR και VR αυξάνεται, ιδιαίτερα σε βιομηχανίες όπως η υγεία, ο αθλητισμός και η ψυχαγωγία. Αυτή η νέα εξέλιξη θα βοηθήσει να μετακινηθεί η βιομηχανία μακριά από τις πιο βαρείς μεθόδους που χρησιμοποιούνται σήμερα, οι οποίες περιλαμβάνουν μεγάλες γάντες που καθιστούν δύσκολη την φυσική κίνηση.

Σύστημα Αναγνώρισης Θέσης Χεριού σε 3D

Η ερευνητική ομάδα ηγήθηκε από τον Hideki Koike στο Tokyo Tech.

Σύμφωνα με τους ερευνητές, «Αυτή η εργασία είναι η πρώτη οπτική πραγματικού χρόνου εκτιμητής θέσης χεριού σε 3D που χρησιμοποιεί οπτικά χαρακτηριστικά από την πίσω πλευρά του χεριού. Το σύστημα αποτελείται από μια κάμερα που υποστηρίζεται από ένα νευρωνικό δίκτυο που ονομάζεται DorsalNet, το οποίο μπορεί να εκτιμήσει ακριβώς τις θέσεις χεριού σε 3D αναγνωρίζοντας αλλαγές στην πίσω πλευρά του χεριού.»

Η συσκευή έχει μια κάμερα και φοριέται στο πήχης, και λειτουργεί ως σύστημα αναγνώρισης θέσης χεριού σε 3D. Το πιο σημαντικό χαρακτηριστικό της συσκευής, το οποίο μπορεί να είναι παρόμοιο με ένα smartwatch, είναι ότι μπορεί να καπνίζει κινήσεις χεριού ακόμη και όταν το περιβάλλον και η συσκευή herself κινείται.

Ακρίβεια και Προκαταρκτικά Τεστ

Η έρευνα απέδειξε ότι το νεοαναπτυγμένο σύστημα εκτελείται καλύτερα από τις προηγούμενες προσπάθειες. Συγκεκριμένα, είναι κατά μέσο όρο 20% πιο ακριβές στην αναγνώριση δυναμικών χειρονομιών. Όταν πρόκειται για την αναγνώριση 11 διαφορετικών τύπων χεριών, έχει ποσοστό ακρίβειας 75%.

Τα προκαταρκτικά τεστ έδειξαν ότι το σύστημα μπορεί να χρησιμοποιηθεί για τον έλεγχο έξυπνων συσκευών. Αυτές οι εφαρμογές περιλαμβάνουν πράγματα όπως η αλλαγή της ώρας ενός smartwatch με την αλλαγή του γωνίου του δακτύλου. Εκτός από αυτό, οι ερευνητές απέδειξαν πώς μπορεί να λειτουργήσει ως εικονικός ποντίκας ή πληκτρολόγιο, επιτρέποντας ενέργειες όπως η περιστροφή του πήχης να ελέγχει einen δείκτη.

Σύμφωνα με τους ερευνητές, θα πρέπει να exist περισσότερες βελτιώσεις για το σύστημα να χρησιμοποιηθεί στον πραγματικό κόσμο. Για παράδειγμα, θα πρέπει να χρησιμοποιήσουν μια πιο προηγμένη κάμερα με υψηλότερο ρυθμό καρέ για να καπνίσουν γρηγορότερες κινήσεις πήχης, καθώς και να χειριστούν διάφορες διαφορετικές συνθήκες φωτισμού.

Η έρευνα θα παρουσιαστεί στο 33ο Σύμποσιο ACM για το Λογισμικό και την Τεχνολογία Διεπαφής Χρήστη (UIST), το οποίο θα διεξαχθεί εικονικά στις 20-23 Οκτωβρίου 2020.