Σύστημα AI που αναγνωρίζει χειρονομίες χεριών με ακρίβεια

Ένα νέο σύστημα τεχνητής νοημοσύνης (AI) που είναι ικανό να αναγνωρίζει χειρονομίες χεριών έχει αναπτυχθεί από επιστήμονες από το Πανεπιστήμιο Nanyang Technological, Σιγκαπούρη (NTU Singapore). Η τεχνολογία λειτουργεί συνδυάζοντας ηλεκτρονικά που μοιάζουν με δέρμα με οπτική υπολογιστή.

Η ανάπτυξη συστημάτων AI για την αναγνώριση χειρονομιών χεριών ανθρώπων λαμβάνει χώρα για περίπου 10 χρόνια και χρησιμοποιείται目前 σε χειρουργικούς ρομπότ, εξοπλισμό παρακολούθησης υγείας και σε συστήματα παιχνιδιών.

Τα αρχικά συστήματα AI για την αναγνώριση χειρονομιών ήταν μόνο οπτικά και έχουν ενταχθεί εισόδους από αισθητήρες που φοριούνται για να τα βελτιώσουν. Αυτό ονομάζεται “σύντηξη δεδομένων”. Μια από τις ικανότητες αίσθησης ονομάζεται “σοματοαισθητική” και οι αισθητήρες που φοριούνται μπορούν να την αναπαράγουν.

Η ακρίβεια αναγνώρισης χειρονομιών εξακολουθεί να είναι δύσκολο να επιτευχθεί λόγω της χαμηλής ποιότητας δεδομένων που προέρχονται από αισθητήρες που φοριούνται. Αυτό συμβαίνει λόγω του όγκου και της κακής επαφής με τον χρήστη, καθώς και των επιπτώσεων των οπτικά εμποδισμένων αντικειμένων και της κακής φωτισμού.

Περισσότερες προκλήσεις προέρχονται από την ολοκλήρωση των οπτικών και αισθητικών δεδομένων,既然 τα ανταποκριζόμενα σύνολα δεδομένων πρέπει να επεξεργαστούν ξεχωριστά και τελικά να συγχωνευθούν στο τέλος. Αυτή η διαδικασία είναι ανεφάρμοστη και οδηγεί σε πιο αργές χρόνους απόκρισης.

Η ομάδα του NTU ανέπτυξε μερικούς τρόπους για να υπερβεί αυτές τις προκλήσεις, συμπεριλαμβανομένης της δημιουργίας ενός “βιο-εμπνευσμένου” συστήματος σύντηξης δεδομένων που βασίζεται σε αισθητήρες τάσης που μοιάζουν με δέρμα και που κατασκευάζονται από μονο-τοιχωματικούς νανοσωλήνες άνθρακα. Η ομάδα βασίστηκε επίσης στην AI ως τρόπο να αναπαραστήσει πώς το δέρμα και η όραση επεξεργάζονται μαζί στο εγκέφαλο.

Τρεις προσεγγίσεις νευρωνικών δικτύων συνδυάστηκαν σε ένα σύστημα για την ανάπτυξη του συστήματος AI. Οι τρεις τύποι νευρωνικών δικτύων ήταν: ένα συν볼ικό νευρωνικό δίκτυο, ένα σπάνιο νευρωνικό δίκτυο και ένα πολυεπίπεδο νευρωνικό δίκτυο.

Συνδυάζοντας αυτά τα τρία, η ομάδα μπορούσε να αναπτύξει ένα σύστημα που είναι ικανό να αναγνωρίζει ανθρώπινες χειρονομίες με μεγαλύτερη ακρίβεια σε σύγκριση με άλλες μεθόδους.

Ο καθηγητής Chen Xiaodon είναι ο κύριος συγγραφέας της μελέτης. Είναι από το Τμήμα Επιστημών και Μηχανικής Υλικών στο NTU.

“Η αρχιτεκτονική της σύντηξης δεδομένων μας έχει τις δικές της μοναδικές βιο-εμπνευσμένες λειτουργίες που περιλαμβάνουν ένα ανθρώπινο σύστημα που μοιάζει με την ιεραρχία της σοματοαισθητικής-οπτικής σύντηξης στον εγκέφαλο. Πιστεύουμε ότι αυτές οι λειτουργίες κάνουν την αρχιτεκτονική μας μοναδική σε σχέση με τις υπάρχουσες προσεγγίσεις.”

Ο Chen είναι επίσης Διευθυντής του Κέντρου για τα καινοτόμα και ευέλικτα συσκευές (iFLEX) στο NTU.

“Σε σύγκριση με τους σκληρούς αισθητήρες που φοριούνται που δεν σχηματίζουν μια αρκετά στενή επαφή με τον χρήστη για ακριβή συλλογή δεδομένων, η καινοτομία μας χρησιμοποιεί αισθητήρες τάσης που είναι ελαστικοί και που μπορούν να προσαρμοστούν στο ανθρώπινο δέρμα. Αυτό επιτρέπει την υψηλής ποιότητας συλλογή σημάτων, η οποία είναι απαραίτητη για εργασίες αναγνώρισης υψηλής ακρίβειας,” είπε ο Chen.

Τα ευρήματα της ομάδας που αποτελείται από επιστήμονες από το NTU Singapore και το Πανεπιστήμιο Τεχνολογίας της Σίδνεϋ (UTS) δημοσιεύθηκαν τον Ιούνιο στο επιστημονικό περιοδικό Nature Electronics.

Δοκιμή του Συστήματος

Η ομάδα δοκιμάσε το βιο-εμπνευσμένο σύστημα AI με ένα ρομπότ που ελέγχεται μέσω χειρονομιών. Το ρομπότ οδηγήθηκε μέσα από einen λαβύρινθο και τα αποτελέσματα έδειξαν ότι το σύστημα AI για την αναγνώριση χειρονομιών ήταν ικανό να οδηγήσει το ρομπότ μέσα από τον λαβύρινθο χωρίς λάθη. Αυτό σε σύγκριση με ένα σύστημα αναγνώρισης που βασίζεται μόνο στην όραση, το οποίο έκανε έξι λάθη στον ίδιο λαβύρινθο.

Δοκιμή υπό κακές συνθήκες, όπως θόρυβος και κακός φωτισμός, το σύστημα AI διατήρησε ακόμα υψηλή ακρίβεια. Ο ρυθμός ακρίβειας αναγνώρισης έφτασε πάνω από 96,7%.

Ο Δρ Wang Ming από το Τμήμα Επιστημών και Μηχανικής Υλικών στο NTU Singapore ήταν ο πρώτος συγγραφέας της μελέτης.

“Το μυστικό πίσω από την υψηλή ακρίβεια στη αρχιτεκτονική μας лежει στο γεγονός ότι οι οπτικές και σοματοαισθητικές πληροφορίες μπορούν να αλληλεπιδράσουν και να συμπληρώσουν η μια την άλλη σε ένα πρώιμο στάδιο πριν από την εκτέλεση σύνθετης ερμηνείας,” είπε ο Ming. “Ως αποτέλεσμα, το σύστημα μπορεί να συλλέξει συνειδητά συνεκτικά δεδομένα με λιγότερα περιττά δεδομένα και λιγότερη αμφιβολία, οδηγώντας σε καλύτερη ακρίβεια.”

Σύμφωνα με μια ανεξάρτητη άποψη από τον καθηγητή Markus Antonietti, Διευθυντή του Ινστιτούτου Max Planck για τα Κολλοειδή και τις Διεπαφές στη Γερμανία, “Τα ευρήματα από αυτό το έγγραφο μας φέρνουν ένα βήμα πιο κοντά σε ένα έξυπνο και πιο υποστηριζόμενο από μηχανές κόσμο. Όπως η εφεύρεση του smartphone που έχει επανακατασκευάσει την κοινωνία, αυτή η εργασία μας δίνει ελπίδα ότι μπορούμε να ελέγχουμε φυσικά όλα τα περιβάλλοντα μας με μεγάλη αξιοπιστία και ακρίβεια μέσω μιας χειρονομίας.”

“Υπάρχουν απλά ατελείωτες εφαρμογές για τέτοια τεχνολογία στην αγορά για να υποστηρίξουν αυτό το μέλλον. Για παράδειγμα, από τηλεχειρισμό ρομπότ σε έξυπνες εργασιακές περιοχές μέχρι εξοσκελετούς για ηλικιωμένους.”

Η ερευνητική ομάδα θα εργαστεί τώρα σε ένα σύστημα εικονικής και aumented πραγματικότητας που βασίζεται στο βιο-εμπνευσμένο σύστημα AI.