AIシステムは手のジェスチャーを正確に認識できる

シンガポールのナニヤン・テクノロジー大学（NTU Singapore）の科学者们によって開発された、新しい人工知能（AI）システムは手のジェスチャーを認識することができる。このテクノロジーは、皮膚のような電子機器とコンピュータビジョンを組み合わせて動作する。

人間の手のジェスチャーを認識するAIシステムの開発は約10年前から始まり、現在、手術用ロボット、健康モニタリング装置、ゲームシステムなどに使用されている。

初期のAIジェスチャー認識システムは視覚のみで、ウェアラブルセンサーの入力が統合されて改善された。これは「データフュージョン」と呼ばれる。センシング能力の1つは「体性感覚」と呼ばれ、ウェアラブルセンサーで再現できる。

ジェスチャー認識の精度は、ウェアラブルセンサーからのデータの品質が低いため、まだ難しい。大きさと悪い接触、視覚的にブロックされたオブジェクトや悪い照明の影響により、これが起こる。

視覚と感覚データの統合からさらに課題が生じる。データセットが一致していないため、個別に処理して最終的に統合する必要があり、これは非効率的で、応答時間が遅くなる。

NTUチームは、これらの課題を克服するためにいくつかの方法を考え出した。皮膚のような伸縮性のあるストレインセンサーを使用した「バイオインスパイアード」データフュージョンシステムの作成や、AIを使用して皮膚が感覚と視覚を処理する方法を表現することなどである。

3つのニューラルネットワークアプローチを1つのシステムに組み合わせて、AIシステムを開発した。3つのニューラルネットワークタイプは、畳み込みニューラルネットワーク、スパースニューラルネットワーク、多層ニューラルネットワークであった。

これら3つを組み合わせることで、チームは他の方法よりも人間のジェスチャーをより正確に認識することができるシステムを開発することができた。

研究の第一著者は、ナニヤン・テクノロジー大学材料科学・工学部のChen Xiaodon教授である。

「私たちのデータフュージョンアーキテクチャには、独自のバイオインスパイアード機能があり、脳の体性感覚-視覚フュージョン階層に似た人間製システムが含まれている。私たちは、これらの機能が私たちのアーキテクチャを既存のアプローチと異なるものにしている」とChenは述べた。

Chenはまた、ナニヤン・テクノロジー大学の革新的なフレキシブルデバイスセンター（iFLEX）のディレクターでもある。

「rigidなウェアラブルセンサーは、ユーザーとの十分な接触を形成できず、正確なデータ収集ができない。私たちの革新は、人間の皮膚に快適に装着できる伸縮性のあるストレインセンサーを使用する。高品質の信号取得が可能になり、精度の高い認識タスクに不可欠である」とChenは述べた。

NTUシンガポールとシドニー工科大学（UTS）の科学者们からなるチームの研究結果は、6月に科学雑誌Nature Electronicsに掲載された。

システムのテスト

チームは、手のジェスチャーで制御されるロボットを使用して、バイオインスパイアードAIシステムをテストした。ロボットは迷路を通るように誘導され、結果は、AIの手のジェスチャー認識システムがロボットを迷路を通ることができたことを示した。これは、視覚ベースの認識システムが同じ迷路で6つのエラーを犯したのと比較された。

ノイズや悪い照明条件などの悪い条件下でのテストでは、AIシステムは依然として高い精度を維持した。認識精度率は96.7%を超えた。

ナニヤン・テクノロジー大学材料科学・工学部のWang Ming博士は、研究の第一著者である。

「私たちのアーキテクチャの高い精度の秘密は、視覚と体性感覚情報が複雑な解釈を行う前に、早い段階で相互作用し、互いに補完することができることにある」とMingは述べた。「その結果、システムは冗長なデータや認識の曖昧さを減らして、より一貫性のある情報を収集することができ、精度が向上する」。

ドイツのマックス・プランク・コロイド・インターフェース研究所所長マルクス・アントニエッティ教授は、「この論文の結果は、私たちをスマートで機械支援の世界にさらに一歩近づけるものである。スマートフォンの発明が社会を革命的に変えたように、この研究は私たちが将来、ジェスチャーで周囲の世界を信頼性と精度を持って制御できることを期待させる」と述べた。

「このようなテクノロジーの市場での応用は無限にある。例えば、スマートワークプレイスへのリモートロボット制御や、老人のためのエクソスケルトンなど」。

研究チームは、バイオインスパイアードAIシステムに基づくVRとARシステムの開発に取り組む予定である。