Um Teclado Móvel Invisível Impulsionado por IA Que Deixa Você Digitar 157% Mais Rápido

Pesquisadores da Coreia do Sul utilizaram técnicas de aprendizado de máquina para desenvolver um teclado “invisível” para dispositivos móveis com restrições de espaço, que permite aos usuários digitar 157,5% mais rápido, mesmo que nenhum teclado seja aparente na tela.

A resposta do usuário ao novo método – chamado simplesmente de Teclado Móvel Invisível (IMK) – é relatada como muito positiva, com usuários de teste relatando níveis baixos de demanda física, mental e temporal ao usar o teclado. Em termos de eficiência, o IMK ligeiramente supera o método de entrada alternativo mais recente e estado da arte, atingindo uma pontuação de 51,6 palavras por minuto.

O Teclado Fantasma

Para começar a gerar entrada, os usuários podem simplesmente começar a digitar na tela, como se um teclado estivesse visível (embora nenhum esteja). Nada aparece para obstruir a visão do conteúdo, e as palavras digitadas aparecerão em qualquer caixa de texto receptiva onde a digitação se originou, e opcionalmente como um fluxo fino de texto que o usuário pode verificar para precisão.

O sistema se auto-calibra desde o momento em que reconhece a entrada. Portanto, o usuário pode ter o dispositivo móvel no modo paisagem ou retrato e usar todo o espaço de tela disponível para digitar o texto.

Em um vídeo acompanhante (veja o final do artigo e a imagem diretamente abaixo), os autores do artigo ilustram como a ação funciona, embora esclareçam que nenhum teclado real aparece durante a entrada (está lá apenas para fins ilustrativos no vídeo):

Este é um exemplo do IMK na etapa de coleta de dados, embora funcione de forma idêntica no uso final. O teclado que aparece é apenas para fins ilustrativos e não aparece para o usuário durante o processo de coleta de dados ou no uso final da interface. Fonte: https://www.youtube.com/watch?v=PuhiVGOfIR0

Digitação como um Sistema de Coordenadas

A pesquisa origina-se do Instituto de Ciência e Tecnologia Avançada da Coreia (KAIST) e explora nossa capacidade natural de “plotar” onde a próxima tecla está no teclado. Embora possa parecer contraintuitivo esconder o teclado e esperar que o dedo do usuário encontre a próxima tecla desejada, na verdade, mesmo um digitador médio instintivamente se dirige para a tecla correta.

Em essência, o IMK trata o teclado como uma matriz de plotagem, e os autores compilaram um banco de dados extensivo de entrada do usuário para fornecer dados para o decodificador de caractere neural de auto-atenção (SA-NCD) se treinar.

O SA-NCD observará a posição de uma “queda de tecla” e calculará a probabilidade de qual tecla foi desejada. À medida que as palavras se constróem por meio de teclas, o SA-NCD pode compilar e dividir os caracteres em suas palavras intencionais, limpando a entrada em tempo real.

A arquitetura de rede do SA-NCD, onde Q/K/V representam consulta, chave e valor de auto-atenção. Fonte: https://arxiv.org/pdf/2108.09030.pdf

O SA-NCD não espera a conclusão de uma possível frase, pois não tem ideia de quando a entrada da frase terminará, e à medida que uma palavra ou palavras são adicionadas à frase, ele pode reexaminar e reescrever interpretações anteriores da frase à luz da entrada mais recente.

Banco de Dados

Para alimentar o processo de treinamento, os pesquisadores reuniram cerca de dois milhões de pares de pontos de toque e texto de sujeitos de teste, que estavam usando uma interface baseada na web acessada a partir de dispositivos móveis com capacidade de toque.

O conjunto de dados contém as iniciais do nome do usuário, o tamanho da tela do dispositivo, a idade, o tipo de dispositivo móvel usado (por exemplo, tablet, smartphone, etc.) e os valores de coordenadas x e y de cada queda de tecla registrada.

Posições médias de quedas de tecla entre os usuários, com pontos de cor idêntica significando quedas de tecla dos mesmos usuários. Identificar dados do mesmo usuário ajuda a otimizar o conjunto de dados e evitar o sobre-ajuste, comparando agrupamentos de quedas de tecla médias de usuários individuais, em vez de treinar as teclas de um usuário contra as do outro.

O treinamento teve que levar em conta as variações notáveis na distância média de pixels entre os traços entre os usuários. Alguns usuários, talvez aqueles acostumados a teclados de software muito apertados, mantiveram uma distância média entre as teclas de apenas 50 pixels no eixo z, enquanto outros tinham uma média de 300 pixels.

Essas diferenças são críticas, pois no caso do eixo Y, um erro colocaria a queda de tecla na linha errada, substituindo, por exemplo, um “I” ou um “M” pelo “K” pretendido.

Arquitetura e Treinamento

O SA-NCD consiste em dois módulos de decodificador: um decodificador geométrico, que calcula onde no teclado invisível uma tecla foi intencionada a cair; e um decodificador semântico, que lida com a interpretação ao vivo do texto de entrada.

O decodificador geométrico usa BiGRU (BiGRU), com GRU adotado como uma Rede Neural Recorrente (RNN), com passes para frente e para trás facilitando uma interpretação constantemente alterada da frase.

O componente semântico usa uma arquitetura de Transformer, que interpreta a entrada após ter passado por um processo de “máscara de confiança” projetado para comparar o uso médio com a queda de tecla específica. O decodificador semântico foi treinado como um modelo de linguagem de caractere mascarado contra o One Billion Word Benchmark, uma colaboração de 2014 entre o Google, a Universidade de Cambridge e a Universidade de Edimburgo.

Resultados

Nos testes, os usuários foram capazes de digitar 157,5% mais rápido usando o IMK do que com teclados de software de terceiros em seus próprios smartphones. Além disso, foi constatado que o IMK superou os resultados obtidos por métodos de entrada rivais e novos, como métodos de entrada baseados em gestos, toque e digitação de dez dedos dos últimos anos. O artigo relata que os usuários mostraram alta satisfação com o sistema.

Veja o vídeo dos autores abaixo para saber mais sobre o IMK.