Un clavier mobile invisible alimenté par l’IA qui vous permet de taper 157% plus vite

Des chercheurs de Corée du Sud ont utilisé des techniques d’apprentissage automatique pour développer un clavier « invisible » pour les appareils mobiles à espace limité, qui permet aux utilisateurs de taper 157,5 % plus vite, même si aucun clavier n’est visible sur l’écran.

La réponse des utilisateurs à la nouvelle méthode – appelée simplement Invisible Mobile Keyboard (IMK) – est rapportée comme très positive, les utilisateurs testant signalant des niveaux de demande physique, mentale et temporelle faibles lors de l’utilisation du clavier. En termes d’efficacité, IMK dépasse légèrement le plus récent état de l’art des méthodes de saisie alternatives, atteignant un score de 51,6 mots par minute.

Le clavier fantôme

Pour commencer à générer des entrées, les utilisateurs peuvent simplement commencer à taper sur l’écran, comme si un clavier était visible (bien qu’il n’y en ait pas). Rien ne surgit pour obstruer la vue du contenu, et les mots tapés apparaissent dans n’importe quelle boîte de texte réceptive où la saisie commence, et éventuellement sous forme d’un flux de texte mince que l’utilisateur peut vérifier pour l’exactitude.

Le système s’autocalibre dès qu’il reconnaît une entrée. Par conséquent, l’utilisateur peut avoir l’appareil mobile en mode paysage ou portrait, et utiliser tout l’espace d’écran disponible pour taper son texte.

Dans une vidéo jointe (voir fin de l’article, et image ci-dessous) les auteurs de l’article illustrent comment l’action fonctionne, bien qu’ils précisent qu’aucun clavier réel n’apparaît pendant la saisie (il n’est là que pour des fins d’illustration dans la vidéo):

Ceci est un exemple d’IMK à l’étape de collecte de données, bien qu’il fonctionne de manière identique en utilisation finale. Le clavier qui apparaît n’est là que pour des fins d’illustration, et n’apparaît pas à l’utilisateur, ni pendant le processus de collecte de données ni lors de l’utilisation finale de l’interface. Source: https://www.youtube.com/watch?v=PuhiVGOfIR0

La saisie comme système de coordonnées

La recherche provient de l’Institut coréen de science et de technologie avancée (KAIST), et exploite notre capacité naturelle à « tracer » où se trouve la prochaine touche sur un clavier. Bien qu’il puisse sembler contre-intuitif de cacher le clavier et de s’attendre à ce que le doigt de l’utilisateur trouve la prochaine touche souhaitée, en fait, même un typiste moyen se dirige instinctivement vers la touche correcte.

En effet, IMK traite le clavier comme une matrice de tracé, et les auteurs ont compilé une base de données extensive d’entrées utilisateur afin de fournir des données pour que le décodeur de caractères neuronal d’auto-attention (SA-NCD) du système se forme.

SA-NCD note la position d’une « chute de touche » et calcule la probabilité de la touche souhaitée. À mesure que les mots se forment à travers les frappes, SA-NCD peut compiler et diviser les caractères en mots intentionnels, nettoyant l’entrée en temps réel.

L’architecture du réseau de SA-NCD, où Q/K/V représentent la requête, la clé et la valeur de l’auto-attention. Source: https://arxiv.org/pdf/2108.09030.pdf

SA-NCD ne attend pas la fin d’une phrase possible, car il ne sait pas quand la saisie de la phrase se terminera, et à mesure que des mots sont ajoutés à la phrase, il peut réexaminer et réécrire les interprétations antérieures de la phrase à la lumière de la dernière entrée.

Base de données

Afin d’alimenter le processus de formation, les chercheurs ont réuni environ deux millions de paires de points de touche et de texte à partir de sujets test, qui utilisaient une interface web basique accessible à partir d’appareils mobiles tactiles.

La base de données contient les initiales du nom de l’utilisateur, la taille de l’écran de son appareil, son âge, le type d’appareil mobile utilisé (par exemple, tablette, smartphone, etc.), et les valeurs de coordonnées x et y de chaque touche enregistrée.

Positions moyennes des chutes de touche parmi les utilisateurs, avec des points de couleur identique indiquant des chutes de touche des mêmes utilisateurs. L’identification des données de l’utilisateur aide à optimiser la base de données et à éviter le surapprentissage en comparant les regroupements moyens de chutes de touche d’utilisateurs individuels, plutôt que de former les frappes d’un utilisateur contre les autres.

La formation a dû tenir compte des variations notables dans la distance moyenne en pixels entre les frappes parmi les utilisateurs. Certains utilisateurs, peut-être ceux qui sont habitués à des claviers logiciels très serrés, maintenaient une distance moyenne entre les touches de seulement 50 pixels sur l’axe z, tandis que d’autres avaient une moyenne de 300 pixels.

Ces différences sont cruciales, car dans le cas de l’axe Y, une erreur placerait la chute de touche sur la mauvaise rangée, substituant par exemple un « I » ou un « M » à la frappe « K » intentionnée.

Architecture et formation

SA-NCD se compose de deux modules de décodeur: un décodeur géométrique, qui calcule où sur le clavier invisible une frappe a été intentionnellement placée; et un décodeur sémantique, qui gère l’interprétation en temps réel du texte saisi.

Le décodeur géométrique utilise un GRU bidirectionnel (BiGRU), avec un GRU adopté comme réseau neuronal récurrent (RNN), avec des passes avant et arrière facilitant une interprétation constamment changeante de la phrase.

La composante sémantique utilise une architecture de Transformateur, qui interprète l’entrée après qu’elle ait traversé un processus de « masquage de confiance » conçu pour comparer l’utilisation moyenne à la nouvelle frappe spécifique. Le décodeur sémantique a été formé comme un modèle de langage de caractères masqués contre la One Billion Word Benchmark, une collaboration de 2014 entre Google, l’Université de Cambridge et l’Université d’Édimbourg.

Résultats

Dans les tests, les utilisateurs ont pu taper 157,5 % plus vite en utilisant IMK que avec des claviers logiciels tiers sur leurs propres smartphones. De plus, il a été constaté que IMK a dépassé les résultats obtenus par des méthodes nouvelles rivales, telles que les méthodes de saisie basées sur les gestes, le toucher et les dix doigts des dernières années. L’article rapporte que les utilisateurs ont montré une grande satisfaction à l’égard du système.

Consultez la vidéo des auteurs ci-dessous pour en savoir plus sur IMK.