タッチスクリーンでの入力方法を予測するAIモデル

アールト大学とフィンランド人工知能センター(FCAI)の研究者によって開発された新しい人工知能(AI)モデルは、スクリーンでの入力方法を予測する最初のモデルです。この新しい開発により、入力方法に関する新しい洞察が得られました。

このAIモデルは、任意のキーボードデザインで文章を入力する個人の入力方法をシミュレートできます。また、入力ミスを検出して修正することもできます。ミスは常にすぐに検出されませんが、AIモデルはそれらを修正することができます。さらに、AIモデルは、自動修正機能やキーボードデザインの違いなどのさまざまな状況で、人の入力方法がどのように変化するかを予測することもできます。

この新しいAIモデルの開発を主導したのは、ジョッキネン博士です。このモデルは、5月12日にACM CHIで発表されました。

「以前、タッチスクリーン入力は、主に指の動きから理解されていました」とジョッキネン博士は述べています。「AIベースの方法により、これらの動きに関する新しい洞察が得られました。私たちが発見したことは、どこを見て、いつ見るかを決定することの重要性です。つまり、電話やタブレットでの入力方法を予測することができます。」

「今や、人間がタッチスクリーンで入力するリアルなシミュレーションが可能になりました。したがって、キーボードデザインを最適化して入力ミスを減らし、入力速度を上げ、最も重要なのは、入力のストレスを減らすことができます」とジョッキネン博士は続けています。

https://www.youtube.com/watch?v=6cl2OoTNB6g&t=1s

さまざまなユーザーの入力方法を考慮する

このAIモデルは、単一のジェネリックユーザーにのみ対応するのではなく、さまざまなユーザーの入力方法を考慮することができます。これには、運動障害を持つ個人が含まれます。AIモデルは、入力補助ツールや特定のインターフェースを開発することで、こうした個人の支援を行うことができます。

医療上の問題以外に、AIモデルは、テキスト入力で繰り返しミスを犯す個人の入力パターンを識別することで、さまざまな入力スタイルを考慮することもできます。このデータを使用して、個人の最適なキーボードまたは自動修正システムを決定することができます。

チームの以前の研究

研究者たちは、人間の入力方法の認知モデルを基に、独自の入力モデルを開発してきました。これは、フィンランド人工知能センターのインタラクティブAIプロジェクトの一環です。

この研究では、強化学習を使用して人間の入力方法をシミュレートしています。強化学習は、報酬と/or罰のシステムを作成することで、ロボットがトライアルとエラーを通じて問題を解決する方法を教えるために使用されます。この強化学習を使用して、人間に似た動作を生成することができました。

「私たちは、モデルに人間と同じ能力と制限を与えました。効率的な入力方法を求めると、モデルはこれらの能力を最もよく使用する方法を発見しました。結果は、人間の入力方法と非常に似ています。人間のデータを使用してモデルを教える必要はありませんでした」とジョッキネン博士は述べています。

人間の入力データと比較して、新しいモデルの予測は正確でした。研究チームは、将来的に、入力スピードの遅い/速いテクニックをシミュレートすることを目指しています。これにより、入力スキルを向上させたい個人のための学習モジュールの設計が助けられるでしょう。