AI 驱动的隐形移动键盘可让您打字速度提高 157%

韩国研究人员利用机器学习技术为空间有限的移动设备开发了一种“隐形”键盘，即使屏幕上没有明显的键盘，用户的打字速度也能提高 157.5%。

用户响应 新方法 据报道，该键盘被简称为“隐形移动键盘”(IMK)，效果非常积极，测试用户表示在使用键盘时身体、精神和时间需求水平较低。 在效率方面，IMK 略微超过了最新最先进的替代输入法，达到了每分钟 51.6 个单词的领先分数。

幻影键盘

要开始生成输入，用户只需开始在屏幕上键入即可，就像键盘可见一样（尽管没有键盘）。 不会弹出任何内容来阻碍内容的查看，并且键入的单词将出现在键入的任何接收文本框中，并且可以选择作为用户可以检查准确性的细文本流。

系统从识别输入的那一刻起就会进行自我校准。 因此，用户可以让移动设备处于横向或纵向模式，并使用整个可用屏幕空间来键入文本。

在随附的视频中（请参阅文章结尾和下面的图片），论文作者说明了该操作的工作原理，尽管他们澄清说在输入过程中没有出现实际的键盘（在视频中仅用于说明目的）：

这是数据收集阶段的 IMK 示例，尽管它在最终使用中的操作方式相同。 出现的键盘仅用于说明目的，在数据​​收集过程中或最终使用界面时不会向用户显示。 来源：https://www.youtube.com/watch?v=PuhiVGOfIR0

作为坐标系输入

这项研究源自韩国科学技术院 (KAIST)，利用我们“绘制”键盘上下一个按键的自然能力。 尽管隐藏键盘并期望用户的手指找到下一个所需的键似乎违反直觉，但事实上，即使是普通的打字员也会本能地寻找正确的字符。

实际上，IMK 将键盘视为绘图矩阵，作者编译了一个广泛的用户输入数据库，以便为系统的自注意力神经字符解码器 (SA-NCD) 提供训练数据。

SA-NCD 将记录“按键落下”的位置并计算所需按键的概率。 当单词通过击键构建时，SA-NCD 可以将字符编译和分解为其组成的预期单词，实时清理输入。

SA-NCD的网络架构，其中Q/K/V代表self-attention的query、key和value。 资料来源：https://arxiv.org/pdf/2108.09030.pdf

SA-NCD 不会等待可能的句子的完成，因为它不知道句子输入何时结束，并且当将一个或多个单词添加到短语中时，它可能会重新访问并重写来自根据最新输入的句子。

数据库

为了促进训练过程，研究人员从测试对象那里收集了大约 XNUMX 万对触摸点和文本，这些测试对象使用从具有触摸功能的移动设备访问的简单的基于网络的界面。

该数据集包含用户姓名首字母、设备的屏幕尺寸、年龄、使用的移动设备类型（即平板电脑、智能手机等）以及每个注册按键的 x 和 y 坐标值。

用户中 keyfalls 的平均位置，相同颜色的点表示来自相同用户的 keyfalls。 识别相同用户的数据有助于优化数据集，并通过比较各个用户的平均击键分组来避免过度拟合，而不是相互训练一个用户的击键。

训练必须考虑到用户笔画之间平均像素距离的显着变化。 一些用户（也许是那些习惯了非常狭窄的软件键盘的用户）在 z 轴上的按键之间的平均距离仅为 50 像素，而其他用户则平均为 300 像素。

这些差异至关重要，因为在 Y 轴的情况下，错误会将键落在错误的行上，例如用“I”或“M”代替预期的“K”行程。

建筑与培训

SA-NCD 由两个解码器模块组成：几何解码器，用于计算击键将落在隐形键盘上的哪个位置； 语义解码器，处理输入文本的实时解释。

几何解码器使用双向 GRU (比格鲁），采用 GRU 作为循环神经网络（RNN），前向和后向传递促进了对句子不断变化的解释。

语义组件使用 变压器 架构，它在输入通过“置信屏蔽”过程后对其进行解释，该过程旨在将平均使用情况与新的特定密钥进行比较。 语义解码器被训练为针对 十亿字基准是 Google、剑桥大学和爱丁堡大学 2014 年合作的项目。

成果

在测试中，用户使用 IMK 的打字速度比使用第三方软件键盘在自己的智能手机上快 157.5%。 此外，研究发现，IMK 超越了竞争对手的新颖方法所获得的结果，例如近年来基于手势、触摸和十指文本输入方法。 该论文报道称，用户对该系统表现出很高的满意度。

请观看下面作者的视频，了解有关 IMK 的更多信息。