Ένας Αόρατος Κινητός Πίνακας με Τυποποίηση που Επιτρέπει την Ταχύτερη Τυποποίηση κατά 157%

Ερευνητές από τη Νότια Κορέα έχουν χρησιμοποιήσει τεχνικές μηχανικής μάθησης για την ανάπτυξη ενός “αόρατου” πίνακα για κινητές συσκευές με περιορισμένο χώρο που επιτρέπει στους χρήστες να τυπώνουν 157,5% ταχύτερα, ακόμη και αν δεν υπάρχει ορατός πίνακας στην οθόνη.

Η αντίδραση των χρηστών στη νέα μέθοδο – που ονομάζεται απλώς Αόρατος Κινητός Πίνακας (IMK) – αναφέρεται ως πολύ θετική, με τους δοκιμαστικούς χρήστες να αναφέρουν χαμηλά επίπεδα σωματικής, νοητικής και χρονικής ζήτησης κατά τη χρήση του πίνακα. Όσον αφορά την αποδοτικότητα, ο IMK υπερβαίνει ελαφρώς την πιο πρόσφατη μέθοδο εναλλακτικής εισαγωγής, φθάνοντας σε ένα σκορ 51,6 λέξεις ανά λεπτό.

Ο Φανταστικός Πίνακας

Για να ξεκινήσει η εισαγωγή, οι χρήστες μπορούν απλώς να αρχίσουν να τυπώνουν στην οθόνη, σαν να υπήρχε ορατός πίνακας (αν και δεν υπάρχει). Τίποτα δεν εμφανίζεται για να εμποδίσει την οθόνη του περιεχομένου, και οι τυποποιημένες λέξεις θα εμφανιστούν σε οποιαδήποτε υποδοχή κειμένου όπου ξεκίνησε η τυποποίηση, και προαιρετικά ως một λεπτή ροή κειμένου που ο χρήστης μπορεί να ελέγξει για ακρίβεια.

Το σύστημα αυτο-ρυθμίζεται από τη στιγμή που αναγνωρίζει την εισαγωγή. Έτσι, ο χρήστης μπορεί να έχει την κινητή συσκευή σε οριζόντιο ή κατακόρυφο προσανατολισμό και να χρησιμοποιήσει όλο τον διαθέσιμο χώρο οθόνης για να τυπώσει το κείμενο.

Σε ένα συνοδευτικό βίντεο (βλ. τέλος του άρθρου και εικόνα ακριβώς κάτω) οι συγγραφείς του εγγράφου εικονογραφούν πώς λειτουργεί η δράση, αν και διευκρινίζουν ότι δεν υπάρχει πραγματικός πίνακας κατά τη διάρκεια της εισαγωγής (υπάρχει μόνο για εικονογραφικούς σκοπούς στο βίντεο):

Αυτό είναι ένα παράδειγμα του IMK στη φάση συλλογής δεδομένων, αν και λειτουργεί ταυτόσημα στη χρήση. Ο πίνακας που εμφανίζεται είναι μόνο για εικονογραφικούς σκοπούς και δεν εμφανίζεται στον χρήστη ούτε κατά τη διαδικασία συλλογής δεδομένων ούτε στη τελική χρήση της διεπαφής. Πηγή: https://www.youtube.com/watch?v=PuhiVGOfIR0

Τυποποίηση ως Σύστημα Συντεταγμένων

Η έρευνα προέρχεται από το Κορεατικό Ινστιτούτο Επιστημών και Τεχνολογίας (KAIST) και εκμεταλλεύεται την φυσική ικανότητά μας να “χαρτογραφούμε” πού είναι το επόμενο πλήκτρο σε ένα πίνακα. Αν και μπορεί να φαίνεται αντι-ευλογικό να κρύψουμε τον πίνακα και να περιμένουμε από τον χρήστη να βρει το επόμενο επιθυμητό πλήκτρο, στην πραγματικότητα ακόμη και ένας μέσος τυπογράφος προσανατολίζεται αυτομάτως στο σωστό χαρακτήρα.

Εфективικά, ο IMK αντιμετωπίζει τον πίνακα ως一个 πίνακα συντεταγμένων και οι συγγραφείς έχουν συλλέξει μια εκτεταμένη βάση δεδομένων εισαγωγής χρήστη για να παρέχουν δεδομένα για την εκπαίδευση του Self-Attention Neural Character Decoder (SA-NCD) του συστήματος.

Ο SA-NCD θα σημειώσει τη θέση μιας “πτώσης πλήκτρου” και θα υπολογίσει την πιθανότητα του πλήκτρου που επιθυμούμε. Όσο οι λέξεις σχηματίζονται μέσω πλήκτρων, ο SA-NCD μπορεί να συνθέσει και να διαλύσει τους χαρακτήρες σε λέξεις, καθαρίζοντας την εισαγωγή σε πραγματικό χρόνο.

Η αρχιτεκτονική του δικτύου SA-NCD, όπου Q/K/V αντιπροσωπεύουν ερώτηση, κλειδί και τιμή της αυτο-προσοχής. Πηγή: https://arxiv.org/pdf/2108.09030.pdf

Ο SA-NCD δεν περιμένει την ολοκλήρωση μιας πιθανής πρότασης,既然 δεν έχει ιδέα πότε θα ολοκληρωθεί η εισαγωγή, και καθώς μια λέξη ή λέξεις προστίθενται στην φράση, μπορεί να επανεξετάσει και να ξαναγράψει προηγούμενες ερμηνείες από την πρόταση στο φως της τελευταίας εισαγωγής.

Βάση Δεδομένων

Για να τροφοδοτήσει τη διαδικασία εκπαίδευσης, οι ερευνητές συνέλεξαν περίπου δύο εκατομμύρια ζευγάρια σημείων αφής και κειμένου από δοκιμαστικούς χρήστες, οι οποίοι χρησιμοποιούσαν μια απλή διαδικτυακή διεπαφή που προσεγγιζόταν από αφής-ικανές κινητές συσκευές.

Η βάση δεδομένων περιέχει τα αρχικά του ονόματος του χρήστη, το μέγεθος της οθόνης της συσκευής του, την ηλικία του, τον τύπο της κινητής συσκευής που χρησιμοποιείται (π.χ. ταμπλέτα, smartphone, κ.λπ.), και τις τιμές συντεταγμένων x και y κάθε καταγεγραμμένου πλήκτρου.

Μέσες θέσεις πτώσεων πλήκτρων μεταξύ χρηστών, με κουκκίδες του ίδιου χρώματος που υποδηλώνουν πτώσεις πλήκτρων από τους ίδιους χρήστες. Η αναγνώριση δεδομένων του ίδιου χρήστη βοηθά στην βελτίωση της βάσης δεδομένων και την αποφυγή υπερ-προσαρμογής συγκρίνοντας μέσες ομαδοποιήσεις πτώσεων πλήκτρων από ατομικούς χρήστες, αντί να εκπαιδεύει τα πλήκτρα ενός χρήστη ενάντια στα δικά του.

Η εκπαίδευση έπρεπε να λάβει υπόψη τις αξιοσημείωτες διαφορές στις μέσες αποστάσεις pixel μεταξύ πλήκτρων μεταξύ χρηστών. Ορισμένοι χρήστες, ίσως αυτοί που είναι συνηθισμένοι σε πολύ στενούς λογισμικούς πίνακες, διατήρησαν μια μέση απόσταση μεταξύ πλήκτρων μόνο 50 pixel στο άξονα z, ενώ άλλοι είχαν μέση απόσταση 300 pixel.

Αυτές οι διαφορές είναι κρίσιμες,既然 σε περίπτωση άξονα Y, ένα λάθος θα τοποθετήσει την πτώση του πλήκτρου στη λάθος σειρά, αντικαθιστώντας, για παράδειγμα, ένα “Ι” ή ένα “Μ” για το επιθυμητό πλήκτρο “Κ”.

Αρχιτεκτονική και Εκπαίδευση

Ο SA-NCD αποτελείται από δύο μονάδες αποκωδικοποιητών: einen γεωμετρικό αποκωδικοποιητή, ο οποίος υπολογίζει πού στον αόρατο πίνακα θα έπεφτε ένα πλήκτρο; και einen σημασιολογικό αποκωδικοποιητή, ο οποίος χειρίζεται την ερμηνεία του κειμένου σε πραγματικό χρόνο.

Ο γεωμετρικός αποκωδικοποιητής χρησιμοποιεί Bidirectional GRU (BiGRU), με GRU που υιοθετείται ως Recurrent Neural Network (RNN), με προώθηση και ανάκληση που διευκολύνουν μια συνεχώς μεταβαλλόμενη ερμηνεία της πρότασης.

Η σημασιολογική συνιστώσα χρησιμοποιεί μια Transformer αρχιτεκτονική, η οποία ερμηνεύει την εισαγωγή μετά από μια “μάσκα πίστης” που σχεδιάστηκε για να συγκρίνει την μέση χρήση με τη νέα συγκεκριμένη πτώση πλήκτρου. Ο σημασιολογικός αποκωδικοποιητής εκπαιδεύτηκε ως μοντέλο γλώσσας με μάσκα χαρακτήρων ενάντια στο One Billion Word Benchmark, μια συνεργασία του 2014 μεταξύ της Google, του Πανεπιστημίου του Κέιμπριτζ και του Πανεπιστημίου του Εδιμβούργου.

Αποτελέσματα

Σε δοκιμές, οι χρήστες μπορούσαν να τυπώνουν 157,5% ταχύτερα χρησιμοποιώντας τον IMK από ότι με τρίτους πίνακες λογισμικού στις δικές τους κινητές συσκευές. Επιπλέον, βρέθηκε ότι ο IMK υπερέβη τα αποτελέσματα που επιτεύχθηκαν από αντίπαλες καινοτόμες μεθόδους, όπως μεθόδους εισαγωγής με βάση τις κινήσεις, με βάση την αφή και με δέκα δακτύλους των τελευταίων ετών. Το έγγραφο αναφέρει ότι οι χρήστες έδειξαν υψηλή ικανοποίηση με το σύστημα.

Δείτε το βίντεο των συγγραφέων παρακάτω για να μάθετε περισσότερα για τον IMK.