Un teclado móvil invisible impulsado por IA que te permite escribir un 157% más rápido

Investigadores de Corea del Sur han utilizado técnicas de aprendizaje automático para desarrollar un teclado “invisible” para dispositivos móviles con espacio limitado que permite a los usuarios escribir un 157,5% más rápido, aunque no hay teclado visible en la pantalla.

La respuesta de los usuarios al nuevo método – llamado simplemente Teclado Móvil Invisible (IMK) – se informa que es muy positiva, con usuarios de prueba que informan niveles bajos de demanda física, mental y temporal mientras utilizan el teclado. En términos de eficiencia, IMK supera ligeramente al método de entrada alternativo más reciente, alcanzando una puntuación de vanguardia de 51,6 palabras por minuto.

El teclado fantasma

Para comenzar a generar entrada, los usuarios pueden simplemente comenzar a escribir en la pantalla, como si hubiera un teclado visible (aunque no hay none). Nada aparece para obstaculizar la vista del contenido, y las palabras escritas aparecerán en cualquier cuadro de texto receptivo donde se origine la escritura, y opcionalmente como una corriente delgada de texto que el usuario puede verificar para garantizar la precisión.

El sistema se autoajusta desde el momento en que reconoce la entrada. Por lo tanto, el usuario puede tener el dispositivo móvil en modo paisaje o retrato, y utilizar todo el espacio de pantalla disponible para escribir su texto.

En un video acompañante (ver al final del artículo, y la imagen directamente debajo) los autores del documento ilustran cómo funciona la acción, aunque aclaran que no aparece un teclado real durante la entrada (solo está allí para fines ilustrativos en el video):

Este es un ejemplo de IMK en la etapa de recopilación de datos, aunque funciona de manera idéntica en la utilización final. El teclado que aparece es solo para fines ilustrativos, y no aparece al usuario ni durante el proceso de recopilación de datos ni en la utilización final de la interfaz. Fuente: https://www.youtube.com/watch?v=PuhiVGOfIR0

Escribir como un sistema de coordenadas

La investigación proviene del Instituto Coreano de Ciencia y Tecnología Avanzada (KAIST), y explota nuestra capacidad natural para “trazar” dónde está la próxima tecla en un teclado. Aunque puede parecer contraintuitivo ocultar el teclado y esperar que el dedo del usuario encuentre la próxima tecla deseada, en realidad incluso un mecanógrafo promedio se dirige instintivamente hacia el carácter correcto.

En efecto, IMK trata el teclado como una matriz de trazado, y los autores han compilado una base de datos extensa de entrada de usuario para suministrar datos para que el decodificador de caracteres neuronales de autoatención (SA-NCD) del sistema se capacite.

SA-NCD observará la posición de una “caída de tecla” y calculará la probabilidad de qué tecla se deseaba. A medida que se construyen las palabras a través de las pulsaciones de teclas, SA-NCD puede compilar y descomponer los caracteres en las palabras intencionadas, limpiando la entrada de manera en vivo.

La arquitectura de la red de SA-NCD, donde Q/K/V representan la consulta, la clave y el valor de la autoatención. Fuente: https://arxiv.org/pdf/2108.09030.pdf

SA-NCD no espera a que se complete una posible oración, ya que no tiene idea de cuándo terminará la entrada de la oración, y a medida que se agregan palabras o frases a la oración, puede revisar y reescribir interpretaciones anteriores de la oración a la luz de la última entrada.

Base de datos

Para alimentar el proceso de capacitación, los investigadores reunieron alrededor de dos millones de pares de puntos de contacto y texto de sujetos de prueba, que utilizaban una interfaz web simple accesible desde dispositivos móviles con capacidad táctil.

La base de datos contiene las iniciales del nombre del usuario, el tamaño de la pantalla de su dispositivo, su edad, el tipo de dispositivo móvil utilizado (es decir, tableta, teléfono inteligente, etc.), y los valores de las coordenadas x e y de cada caída de tecla registrada.

Posiciones promedio de caídas de teclas entre los usuarios, con puntos de color idéntico que significan caídas de teclas del mismo usuario. Identificar datos del mismo usuario ayuda a optimizar la base de datos y evitar el sobreajuste al comparar grupos de caídas de teclas promedio de usuarios individuales, en lugar de capacitar las pulsaciones de teclas de un usuario contra las de otro.

La capacitación tuvo que tener en cuenta las notables variaciones en la distancia promedio de píxeles entre golpes entre los usuarios. Algunos usuarios, quizás aquellos acostumbrados a teclados de software muy apretados, mantuvieron una distancia promedio entre teclas de solo 50 píxeles en el eje z, mientras que otros promediaron 300 píxeles.

Estas diferencias son críticas, ya que en el caso del eje Y, un error colocaría la caída de tecla en la fila incorrecta, sustituyendo, por ejemplo, una “I” o una “M” por la pulsación de tecla “K” intencionada.

Arquitectura y capacitación

SA-NCD consiste en dos módulos de decodificador: un decodificador geométrico, que calcula dónde en el teclado invisible se pretendió que cayera una pulsación de tecla; y un decodificador semántico, que maneja la interpretación en vivo de la entrada de texto.

El decodificador geométrico utiliza GRU bidireccional (BiGRU), con GRU adoptado como una Red Neuronal Recurrente (RNN), con pasadas hacia adelante y hacia atrás que facilitan una interpretación en constante cambio de la oración.

El componente semántico utiliza una arquitectura Transformer, que interpreta la entrada después de que ha pasado por un proceso de “enmascaramiento de confianza” diseñado para comparar el uso promedio con la caída de tecla específica nueva. El decodificador semántico se capacitó como un modelo de lenguaje de caracteres enmascarados contra el Benchmarck de un mil millones de palabras, una colaboración de 2014 entre Google, la Universidad de Cambridge y la Universidad de Edimburgo.

Resultados

En las pruebas, los usuarios pudieron escribir un 157,5% más rápido utilizando IMK que con teclados de software de terceros en sus propios teléfonos inteligentes. Además, se encontró que IMK superó los resultados obtenidos por métodos de entrada novel rivales, como métodos de entrada de texto basados en gestos, táctiles y de diez dedos de los últimos años. El documento informa que los usuarios mostraron una alta satisfacción con el sistema.

Ver el video de los autores a continuación para saber más sobre IMK.