ロボットの認識を改善するための聴覚の役割を研究者が発見

現在のロボットは、主に視覚と触覚に頼って環境の中で動作しています。しかし、カーネギーメロン大学（CMU）からの新しい研究により、この状況が変わる可能性があります。研究者グループは、ロボットの認識を改善するために聴覚が重要な役割を果たすことができることを発見しました。

この研究は、音とロボットの動作の関係を調査した初の大規模な研究でした。CMUのロボティクス研究所の研究者によると、音はロボットが物体を区別するのに役立つことがあります。さらに、ロボットは音を使用して、特定の動作が音を生み出す原因であることを判断できます。音は、新しい物体の物理的特性を予測するのに役立ちます。

レレル・ピントは、CMUのロボティクス博士で、今年の秋にニューヨーク大学の教員になります。

「他の分野での初期の研究では、音が役に立つ可能性があることを示唆していましたが、ロボティクスではどの程度役に立つかは不明でした」とピントさんは述べました。

ピントと研究者グループは、ロボットが音を使用して物体を分類する際のパフォーマンス率が比較的高いことを発見しました。特に、ロボットは76％の精度で音を使用して物体を正しく分類することができました。

結果が予想どおりであったため、研究者グループは他のオプションを探求することにしました。たとえば、ロボットに計測用の杖を装着して、物体をタップすることで物体を識別できるようにすることができます。

研究者グループの発見は、7月に開催されたロボティクス科学とシステムのバーチャル会議で発表されました。研究チームには、アブヒナブ・グプタ（ロボティクス准教授）とディラジ・ガンディ（Facebook (META ) AI Researchのピッツバーグ研究所の研究科学者）も含まれていました。

https://www.youtube.com/watch?v=z38-WCZ7Rb8&feature=emb_title

研究とデータセット

研究では、研究者が大規模なデータセットを作成し、60個の一般的な物体のビデオとオーディオを同時に記録しました。これらの物体の中には、玩具のブロック、手工具、リンゴ、靴、テニスボールなどがありました。記録は、物体がトレイの中で転がり、衝突するときに行われました。

データセットは、約15,000の相互作用をカタログ化した後、公開されました。

ティルトボット

相互作用は、ティルトボットと呼ばれる装置によって捉えられました。ティルトボットは、ソーヤー・ロボット・アームに接続された四角いトレイです。ソーヤーは、物体を表面に押すために使用され、他のタイプのデータも収集されました。

知能ロボットに影響を与える音の研究は以前から行われてきましたが、新しいのは大量のデータセットです。

新しい発見の1つは、ロボットが特定の物体セットの音に関する経験と学習を使用して、未知の物体セットの物理的特性を予測できることです。

「本当に興味深いのは、ロボットが失敗したとき、予想通りに失敗することだった」とピントさんは述べました。たとえば、ロボットは音を使用して、赤いブロックと緑のブロックの違いを判断できませんでした。「しかし、ブロックとカップのような異なる物体の場合は、区別できる」とピントさんは述べました。

この研究は、国防高等研究計画庁（DARPA）と海軍研究事務局の支援を受けて行われました。