一种人工智能驱动的隐形移动键盘，让您可以比传统键盘快157%地输入文本

来自韩国的研究人员使用机器学习技术开发了一种“隐形”键盘，适用于空间受限的移动设备，允许用户比传统键盘快157.5%地输入文本，即使在屏幕上没有显示键盘。

用户对这种新方法的反应非常积极，测试用户报告称，在使用这种键盘时，身体、精神和时间需求都很低。在效率方面，IMK略高于最新的替代输入方法，达到每分钟51.6个字的速度。

幻影键盘

要开始输入，用户可以直接在屏幕上开始输入，就像键盘可见一样（尽管没有显示键盘）。没有任何东西会弹出遮挡内容视图，输入的文本将出现在任何可以输入文本的文本框中，或者作为一串用户可以检查准确性的文本。

系统从识别输入的那一刻开始自我校准。因此，用户可以将移动设备放在横向或纵向模式下，并使用整个可用的屏幕空间输入文本。

在一段附带的视频中（见文章末尾和下面的图像），论文的作者演示了该功能的工作原理，尽管他们澄清，在输入过程中没有实际的键盘出现（在视频中仅用于演示目的）：

这是IMK在数据收集阶段的示例，尽管它在最终使用中以相同的方式运行。键盘仅用于演示目的，不会在数据收集过程中或最终使用接口时显示给用户。 来源：https://www.youtube.com/watch?v=PuhiVGOfIR0

将输入视为坐标系统

该研究来自韩国科学技术院（KAIST），利用了我们自然的“绘制”键盘上下一个按键位置的能力。虽然看起来违反直觉，隐藏键盘并期望用户的指头找到下一个所需的按键，但事实上，即使是普通的打字员也会本能地朝着正确的字符移动。

从本质上讲，IMK将键盘视为一个绘制矩阵，作者们编制了一个用户输入的综合数据库，以便为系统的自注意力神经字符解码器（SA-NCD）提供训练数据。

SA-NCD将注意“按键落点”的位置，并计算所需按键的概率。随着单词通过按键构建，SA-NCD可以实时编译和拆分字符以获取预期的单词，并在实时基础上清理输入。

SA-NCD的网络架构，其中Q/K/V分别代表自注意力的查询、键和值。 来源：https://arxiv.org/pdf/2108.09030.pdf

SA-NCD不会等待可能的句子完成，因为它不知道句子输入何时结束，并且随着单词或单词被添加到短语中，它可能会重新审视和重新解释句子中较早的解释。

数据库

为了为训练过程提供燃料，研究人员从测试对象中收集了大约200万对触摸点和文本数据，这些测试对象使用的是可以从触摸式移动设备访问的简单基于Web的界面。

数据集包含用户的姓名首字母、设备的屏幕尺寸、年龄、使用的移动设备类型（例如平板电脑、智能手机等）以及每个注册的按键的x和y坐标值。

用户的平均按键位置，相同颜色的点表示来自同一用户的按键。通过识别同一用户的数据，有助于优化数据集并避免过拟合，方法是比较来自个别用户的平均按键分组，而不是将一个用户的按键训练与另一个用户的按键进行比较。

训练过程必须考虑用户之间平均像素距离的显著差异。有些用户，可能是那些习惯于非常狭窄的软件键盘的人，保持了仅50像素的平均距离，而其他用户的平均距离则达到300像素。

这些差异至关重要，因为在Y轴的情况下，错误会将按键落点放在错误的行上，例如将预期的“K”按键替换为“I”或“M”。

架构和训练

SA-NCD由两个解码器模块组成：一个几何解码器，用于计算在“隐形”键盘上按键落点的位置；一个语义解码器，用于实时解释输入文本。

几何解码器使用双向GRU（BiGRU），其中GRU被用作循环神经网络（RNN），其正向和反向传递可以实现对句子的不断变化的解释。

语义组件使用Transformer架构，用于解释通过“置信度掩码”过程传递的输入，该过程旨在将平均使用情况与新特定的按键落点进行比较。语义解码器作为掩码字符语言模型在2014年谷歌、剑桥大学和爱丁堡大学合作的One Billion Word Benchmark数据集上进行了训练。

结果

在测试中，用户使用IMK比使用智能手机上的第三方软件键盘快157.5%。此外，IMK超过了近年来新颖方法的结果，例如基于手势、触摸和十指文本输入方法。该论文报告称，用户对该系统表示高度满意。

请参阅作者的视频，以了解更多关于IMK的信息。