ロボットに極限の指先の感覚をもたらす科学者たち

マックス・プランク智能システム研究所（MPI-IS）の科学者チームは、コンピュータビジョンとディープニューラルネットワークを使用して、センサーと接触する物体の位置と接触力の大きさを推定する堅牢なソフトハプティックセンサーを開発しました。

この新しい研究は、Nature Machine Intelligenceに掲載されており、ロボットが人間や動物と同様に環境を正確に感知できるようにすることができます。

骨格を持つ親指形センサー

センサーは親指の形をしており、軽量の骨格を囲むソフトシェルで構成されています。骨格は骨の役割を果たし、反射性のアルミニウムフレークを混ぜたエラストマーで作られています。これにより、外部からの光が入るのを防ぐ灰色が生まれます。指の中には、LEDによって照らされたカラフルな画像を記録する160度の魚眼カメラが内蔵されています。

センサーの外殻に触れる物体によって、センサー内部の色パターンの外観が変化し、カメラは素早く画像を記録し、ディープニューラルネットワークにデータを提供します。

アルゴリズムは各ピクセル内のわずかな光の変化を検出し、分数秒以内に、マシンラーニングモデルは指が物体と接触する位置を把握し、力の強さと方向を決定します。

Georg Martiusは、MPI-ISのマックスプランク研究グループリーダーであり、Autonomous Learning Groupの責任者です。

「私たちは、革新的な機械的設計、内部のイメージングシステム、自動データ収集、最先端のディープラーニングを通じて、この優れた感知性能を実現しました」とMartiusは述べています。

Huanbo SunはMartiusの博士課程の学生です。

「私たちの独自のハイブリッド構造は、ソフトシェルが硬い骨格を囲むことで、高い感度と堅牢性を実現しています。私たちのカメラは、1つの画像から表面のわずかな変形を検出できます」とSunは述べています。

MPI-ISのハプティックインテリジェンス部門長のKatherine J. Kuchenbeckerによると、新しいセンサーは非常に有用であると考えられています。

「以前のソフトハプティックセンサーは、小さな感知領域しか持たず、繊細で作成が難しく、皮膚に平行する力を感じることができなかったことが多く、ロボットの操作には不可欠です」とKuchenbeckerは述べています。

センサーを学習させる

センサーを学習させるために、Sunは、機械ラーニングモデルが生の画像ピクセルの変化と適用された力の相関関係を理解するためのトレーニングデータを生成するテストベッドを開発しました。約20万回の測定がテストベッドから生成され、モデルは1日でトレーニングされました。

「私たちが提示するハードウェアとソフトウェアの設計は、さまざまな形状と精度要件を持つさまざまなロボット部品に転用できます。機械ラーニングアーキテクチャ、トレーニング、推論プロセスはすべて一般的であり、多くの他のセンサーデザインに適用できます」とHuanbo Sunは述べています。