Una Tastiera Mobile Invisibile Guidata da Intelligenza Artificiale che Ti Consente di Digitare il 157% più Velocemente

I ricercatori della Corea del Sud hanno utilizzato tecniche di apprendimento automatico per sviluppare una tastiera “invisibile” per dispositivi mobili con spazio limitato, che consente agli utenti di digitare il 157,5% più velocemente, anche se non è visibile una tastiera sullo schermo.

La risposta degli utenti al nuovo metodo – chiamato semplicemente Invisible Mobile Keyboard (IMK) – è riportata come molto positiva, con gli utenti di test che segnalano bassi livelli di richiesta fisica, mentale e temporale durante l’utilizzo della tastiera. In termini di efficienza, IMK supera leggermente il metodo di input alternativo più recente e all’avanguardia, raggiungendo un punteggio di 51,6 parole al minuto.

La Tastiera Fantasma

Per iniziare a generare input, gli utenti possono semplicemente iniziare a digitare sullo schermo, come se una tastiera fosse visibile (anche se non c’è). Nulla appare per ostruire la vista del contenuto e le parole digitate appariranno in qualsiasi casella di testo recettiva dove si origina la digitazione, e opzionalmente come un flusso sottile di testo che l’utente può verificare per l’accuratezza.

Il sistema si auto-calibra dal momento in cui riconosce l’input. Pertanto, l’utente può avere il dispositivo mobile in modalità landscape o portrait e utilizzare l’intero spazio schermo disponibile per digitare il testo.

In un video allegato (vedi fine dell’articolo e immagine direttamente sotto) gli autori del documento illustrano come funziona l’azione, anche se chiariscono che non appare effettivamente una tastiera durante l’input (è presente solo a scopo illustrativo nel video):

Esempio di IMK alla fase di raccolta dei dati, anche se funziona in modo identico nell’utilizzo finale. La tastiera che appare è solo a scopo illustrativo e non appare all’utente durante il processo di raccolta dei dati o nell’utilizzo finale dell’interfaccia. Fonte: https://www.youtube.com/watch?v=PuhiVGOfIR0

Digitazione come Sistema di Coordinate

La ricerca proviene dall’Istituto Coreano di Scienza e Tecnologia Avanzata (KAIST) e sfrutta la nostra naturale capacità di “tracciare” dove si trova la prossima chiave sulla tastiera. Anche se può sembrare controintuitivo nascondere la tastiera e aspettarsi che il dito dell’utente trovi la chiave desiderata, in realtà anche un digitatore medio istintivamente si dirige verso il carattere corretto.

Effettivamente IMK tratta la tastiera come una matrice di tracciamento e gli autori hanno raccolto un’ampia banca dati di input utente per fornire dati al decoder di caratteri neurali di auto-attenzione (SA-NCD) per addestrare.

SA-NCD nota la posizione di un “caduta di chiave” e calcola la probabilità di quale chiave sia stata desiderata. Mentre le parole si costruiscono attraverso le battute, SA-NCD può compilare e dividere i caratteri nelle parole intese, pulendo l’input in tempo reale.

L’architettura di rete di SA-NCD, dove Q/K/V stanno per query, chiave e valore di auto-atenzione. Fonte: https://arxiv.org/pdf/2108.09030.pdf

SA-NCD non attende il completamento di una possibile frase, poiché non ha idea di quando la frase di input terminerà, e mentre una parola o parole vengono aggiunte alla frase, potrebbe ritornare e riscrivere interpretazioni precedenti della frase alla luce dell’ultimo input.

Database

Per alimentare il processo di addestramento, i ricercatori hanno raccolto circa due milioni di coppie di punti di tocco e testo da soggetti di test, che utilizzavano un’interfaccia web semplice accessibile da dispositivi mobili touch.

Il set di dati contiene le iniziali del nome dell’utente, la dimensione dello schermo del dispositivo, la loro età, il tipo di dispositivo mobile utilizzato (ad esempio tablet, smartphone, ecc.), e i valori di coordinata x e y di ogni chiave registrata.

Posizioni medie di caduta di chiave tra gli utenti, con punti di colore identico che significano cadute di chiave dagli stessi utenti. Identificare i dati dello stesso utente aiuta a ottimizzare il set di dati e a evitare di sovrapporre i dati di addestramento di un utente contro se stesso.

L’addestramento ha dovuto tenere conto delle notevoli variazioni nella distanza media in pixel tra i colpi tra gli utenti. Alcuni utenti, forse quelli abituati a tastiere software molto strette, mantenevano una distanza media tra le chiavi di solo 50 pixel sull’asse z, mentre altri avevano una media di 300 pixel.

Queste differenze sono critiche, poiché nel caso dell’asse Y, un errore posizionerebbe la caduta di chiave sulla riga sbagliata, sostituendo ad esempio un ‘I’ o un ‘M’ per il colpo ‘K’ inteso.

Architettura e Addestramento

SA-NCD consiste in due moduli di decoder: un decoder geometrico, che calcola dove sulla tastiera invisibile una battuta è stata intesa; e un decoder semantico, che gestisce l’interpretazione live del testo di input.

Il decoder geometrico utilizza BiGRU (BiGRU), con GRU adottato come rete neurale ricorrente (RNN), con passaggi in avanti e indietro che facilitano un’interpretazione costantemente in evoluzione della frase.

La componente semantica utilizza un’architettura Transformer, che interpreta l’input dopo che è passato attraverso un processo di “maschera di confidenza” progettato per confrontare l’uso medio con la nuova chiave specifica. Il decoder semantico è stato addestrato come modello di linguaggio di caratteri mascherati contro il One Billion Word Benchmark, una collaborazione del 2014 tra Google, l’Università di Cambridge e l’Università di Edimburgo.

Risultati

Nei test, gli utenti sono stati in grado di digitare il 157,5% più velocemente utilizzando IMK rispetto alle tastiere software di terze parti sui loro smartphone. Inoltre, è stato trovato che IMK ha superato i risultati ottenuti da metodi di input innovativi rivali, come metodi di input basati su gesti, touch e dieci dita degli ultimi anni. Il documento riporta che gli utenti hanno mostrato una grande soddisfazione per il sistema.

Guarda il video degli autori qui sotto per scoprire di più su IMK.