Modèle d’IA prédit comment nous tapons sur les écrans tactiles

Un nouveau modèle d’intelligence artificielle (IA) développé par des chercheurs de l’Université Aalto et du Centre finlandais pour l’intelligence artificielle (FCAI) est le premier de son genre à prédire comment nous déplaçons nos yeux et nos doigts lors de la saisie sur les écrans. Ce nouveau développement fournit un aperçu frais de cette compétence difficile, qui nous oblige à nous fier à notre sens de la vue pour taper et détecter les erreurs simultanément. 

L’IA est capable de simuler comment un individu taperait une phrase sur n’importe quel design de clavier, et il fait et détecte des erreurs. Même si les erreurs ne sont pas toujours détectées immédiatement, l’IA est capable de les corriger comme nous. Un autre aspect de l’IA est qu’il peut prédire comment les styles d’écriture des gens changent en fonction des circonstances données, telles qu’une auto-correction ou un design de clavier différent. 

Le Dr Jussi Jokinen a dirigé les travaux sur le nouveau modèle d’IA, qui a été présenté ce mois à l’ACM CHI le 12 mai.

« Auparavant, la saisie sur écran tactile a été comprise principalement du point de vue de la façon dont nos doigts bougent », déclare Jokinen. « Les méthodes basées sur l’IA ont aidé à jeter une nouvelle lumière sur ces mouvements : ce que nous avons découvert est l’importance de décider quand et où regarder. Maintenant, nous pouvons faire des prédictions beaucoup plus précises sur la façon dont les gens tapent sur leurs téléphones ou tablettes. »

« Maintenant que nous avons une simulation réaliste de la façon dont les humains tapent sur les écrans tactiles, il devrait être beaucoup plus facile d’optimiser les conceptions de clavier pour une meilleure saisie – ce qui signifie moins d’erreurs, une saisie plus rapide et, ce qui est le plus important pour moi, moins de frustration », continue Jokinen.

https://www.youtube.com/watch?v=6cl2OoTNB6g&t=1s

Compte tenu des différents types d’utilisateurs

Le modèle d’IA ne fonctionne pas seulement avec un type d’utilisateur générique, mais il peut s’adapter en fonction de différents types d’utilisateurs. Cela peut inclure des personnes ayant des déficiences motrices, que l’IA pourrait aider en développant des aides de saisie ou des interfaces spécifiques.

En dehors des problèmes médicaux, l’IA peut également tenir compte des personnes ayant des styles d’écriture différents en identifiant des modèles lorsque une personne fait des erreurs répétées dans les textes. Avec ces données, le type de clavier ou de système de correction automatique le plus adapté à une personne peut être déterminé. 

Les travaux précédents de l’équipe

Les chercheurs ont précédemment construit leur travail autour d’un modèle cognitif de la façon dont les humains tapent, ce qui a conduit à la création d’un modèle génératif capable de taper par lui-même. Tout cela fait partie du projet d’IA interactive au Centre finlandais pour l’intelligence artificielle. 

La recherche repose fortement sur l’apprentissage par renforcement, qui fonctionne en créant un système de récompense et/ou de punition, souvent utilisé pour enseigner aux robots à résoudre des problèmes par essais et erreurs. L’apprentissage par renforcement a été utilisé par l’équipe pour simuler les humains cette fois, et il leur a permis de générer un comportement similaire à celui des humains. 

« Nous avons donné au modèle les mêmes capacités et limites que nous, en tant qu’humains, avons. Lorsque nous lui avons demandé de taper de manière efficace, il a découvert comment utiliser au mieux ces capacités. Le résultat final est très similaire à la façon dont les humains tapent, sans avoir à enseigner le modèle avec des données humaines », déclare Jokinen.

Lorsqu’il est comparé aux données de saisie humaine, les prévisions du nouveau modèle sont précises. L’équipe vise maintenant à simuler des techniques de saisie lente et rapide, ce qui pourrait aider à la conception de modules d’apprentissage pour les personnes souhaitant améliorer leurs compétences en saisie.