AI駆動のインビジブルモバイルキーボードが157%高速に入力可能

韓国の研究者は、機械学習技術を使用して、スペースに制約されたモバイルデバイス用の「不可視」キーボードを開発しました。このキーボードを使用すると、ユーザーは画面上にキーボードが表示されていないにもかかわらず、157.5%高速に入力できます。

新しい方法 – Invisible Mobile Keyboard (IMK) と呼ばれる – に対するユーザーの反応は非常に陽性で、テストユーザーはキーボードを使用する際に身体的、精神的、時間的要求が低いと報告しています。効率性については、IMKは最近の最先端の代替入力方法よりもわずかに上回り、51.6語/分のベンチマークスコアを達成しています。

ファントムキーボード

入力の生成を開始するには、ユーザーは単に画面上で入力開始するだけで済みます。キーボードは表示されませんが、入力された文字は、入力元のテキストボックスに表示され、また、ユーザーが入力の正確性を確認できる薄いテキストストリームとしても表示されます。

システムは、入力の開始と同時に自己調整を開始します。したがって、ユーザーはモバイルデバイスを横向きまたは縦向きに保持し、利用可能な画面スペースの全てを使用してテキストを入力できます。

付属のビデオ（記事の最後と以下の画像参照）では、論文の著者がIMKの動作を示していますが、実際のキーボードは入力中には表示されません（ビデオ上では説明用にのみ表示されています）。

IMKのデータ収集段階の例ですが、実際の使用時も同様に動作します。キーボードはユーザーには表示されません。. Source: https://www.youtube.com/watch?v=PuhiVGOfIR0

座標系としての入力

この研究は、韓国科学技術院（KAIST）から始まり、キーボード上の次のキーを「プロット」するという私たちの自然な能力を利用しています。キーボードが隠れている場合、ユーザーの指が次のキーを見つけることができるかどうかは、直感に反するように思えるかもしれませんが、実際には、平均的なタイピストは本能的に正しい文字に向かいます。

IMKはキーボードをプロットマトリックスとして扱い、著者はシステムのSelf-Attention Neural Character Decoder (SA-NCD) をトレーニングするための膨大なユーザー入力データベースを構築しました。

SA-NCDは「キーフォール」の位置を特定し、どのキーが意図されたかを計算します。単語が入力されるにつれて、SA-NCDは入力を解釈し、文字をその構成要素に分解して、入力をリアルタイムでクリーンアップします。

SA-NCDのネットワークアーキテクチャ。Q/K/Vは自己注意のクエリ、キー、値を表します。 Source: https://arxiv.org/pdf/2108.09030.pdf

SA-NCDは、文が完了するのを待たずに、入力された単語や句を解釈し、必要に応じて以前の解釈を再検討して修正します。

データベース

トレーニングプロセスを促進するために、研究者は約200万組のタッチポイントとテキストデータをテスト参加者から収集しました。参加者はタッチ可能なモバイルデバイスからアクセスできるシンプルなウェブベースのインターフェースを使用しました。

データセットには、ユーザーの名前の頭文字、デバイスの画面サイズ、年齢、使用されたモバイルデバイスの種類（タブレット、スマートフォンなど）、および各登録キーフォールのxとy座標値が含まれます。

ユーザー間のキーフォールの平均位置。同じ色のドットは同じユーザーのキーフォールを表します。同じユーザーデータを識別することで、データセットを最適化し、過剰適合を避けることができます。

トレーニングでは、ユーザー間の平均ピクセル距離の顕著な差異を考慮する必要がありました。いくつかのユーザー、たとえば非常に狭いソフトウェアキーボードに慣れているユーザーは、キーの平均距離がわずか50ピクセルしかない場合もありましたが、他のユーザーは300ピクセル以上の距離を維持していました。

これらの差異は重要です。たとえば、Y軸の場合、誤差が発生すると、キーフォールが間違った行に配置され、意図した「K」キーの代わりに「I」または「M」が代入される可能性があります。

アーキテクチャとトレーニング

SA-NCDは、2つのデコーダーモジュールで構成されています。幾何学的デコーダーは、不可視キーボード上でのキーストロークの位置を計算します。セマンティックデコーダーは、入力テキストのリアルタイム解釈を処理します。

幾何学的デコーダーは、双方向GRU（BiGRU）を使用し、RNNとしてGRUを採用しています。前向きと後向きのパスは、文の解釈を常に変更することを可能にします。

セマンティックコンポーネントは、Transformerアーキテクチャを使用し、入力が「信頼性マスキング」プロセスを通過した後、平均使用状況と新しいキーフォールを比較して解釈します。セマンティックデコーダーは、2014年にGoogle、ケンブリッジ大学、エディンバラ大学の共同研究であるOne Billion Word Benchmarkに対して、マスク文字言語モデルとしてトレーニングされました。

結果

テストでは、ユーザーはIMKを使用して、サードパーティーのソフトウェアキーボードよりも157.5%高速に入力できました。さらに、IMKは最近の新しい入力方法、たとえばジェスチャーベース、タッチベース、10本指テキスト入力方法よりも優れた結果を達成しました。論文によると、ユーザーはシステムに高い満足度を示しました。

IMKについてさらに詳しく知るには、以下の著者のビデオをご覧ください。