ロボットに極限の指先感覚をもたらす科学者

マックス・プランク・インテリジェント・システム研究所（MPI-IS）の科学者チームは、コンピュータービジョンとディープニューラルネットワークに頼る堅牢なソフトハプティックセンサーを導入しました。オブジェクトがセンサーに接触する場所と、適用される力の大きさを推定できます。

新しい研究は、Nature Machine Intelligenceに掲載され、ロボットが人間や動物と同じように環境を正確に感知できるようにするのに役立ちます。

骨格を持つ親指型センサー

センサーは親指の形をしており、軽量の骨格を囲むソフトシェルで構成されています。骨格は骨と同じように機能し、ソフトな指の組織を安定させます。骨格は、アルミニウムフレークを混ぜたエラストマーで作られており、灰色の色を生み出して外部からの光を遮断します。指の中には、LEDで照らされたカラフルな画像を記録する160度の魚眼カメラが内蔵されています。

センサーのシェルに触れるオブジェクトによって、センサーの内部の色パターンの外観が変化し、カメラは素早く画像を記録し、ディープニューラルネットワークにデータを提供します。

アルゴリズムは各ピクセルごとのわずかな光の変化を検出し、ほんの数分の1秒以内に、マシンラーニングモデルは指がオブジェクトに接触する場所をマッピングし、力の強さと方向を決定します。

ゲオルク・マルティウスは、MPI-ISのマックス・プランク研究グループリーダーであり、Autonomous Learning Groupの責任者です。

「我々は、この優れた感知性能を達成するために、革新的な機械的設計のシェル、内部のイメージングシステム、自動データ収集、そして最先端のディープラーニングを実現しました」とマルティウスは述べています。

ファン・ボー・サンはマルティウスの博士課程の学生です。

「私たちのユニークなハイブリッド構造は、ソフトなシェルが硬い骨格を囲むことで、高い感度と堅牢性を確保します。私たちのカメラは、1つの画像からだけで表面のわずかな変形を検出できます」とサンは述べています。

MPI-ISのハプティックインテリジェンス部門のディレクターであるキャサリン・J・クーヘンベッカーによると、新しいセンサーは非常に有用であると考えられています。

「以前のソフトハプティックセンサーは、感知面積が小さく、繊細で作成が難しく、また皮膚に平行な力、つまり水を入れたグラスを持ったり、コインをテーブルに沿ってスライドさせるなどのロボット操作に不可欠な力を感じることができませんでした」とクーヘンベッカーは述べています。

センサーを学習させる

センサーを学習させるために、サンはマシンラーニングモデルが生の画像ピクセルの変化と適用される力の相関関係を理解するためのトレーニングデータを生成するテストベッドを開発しました。センサーの周囲をテストベッドで探査し、約20万回の測定が行われ、1日でモデルがトレーニングされました。

「私たちが提示するハードウェアとソフトウェアの設計は、さまざまな形状と精度要件を持つさまざまなロボット部品に転送できます。マシンラーニングアーキテクチャ、トレーニング、推論プロセスはすべて一般的であり、他の多くのセンサー設計に適用できます」とファン・ボー・サンは述べています。