複雑なタスクを少数のデモンストレーションから学習できるロボット

ロボティクス分野の最新の発展の一つとして、南カリフォルニア大学（USC）の研究者は、ロボットが複雑なタスクを少数のデモンストレーションから学習できるシステムを開発しました。さらに印象的なのは、一部のデモンストレーションが不完全なものでもあります。

この研究は、11月18日に開催されたロボット学習会議（CoRL）で「シグナル時系列論理を使用したデモンストレーションからの学習」と題して発表されました。

システム

各デモンストレーションの品質を測定することで、システムは成功と失敗から学習できます。現在の方法とは異なり、少なくとも100のデモンストレーションが必要であるのに対し、新しいシステムではわずか数回のデモンストレーションで十分です。直感的に、ロボットが学習する方法は、人間が他者から学習する方法と似ています。たとえば、人間は他者がタスクを成功または不完全に完了するのを見て学習します。

アニルッド・プランニクは、この研究の第一著者であり、USCヴィッテリ工学学校のコンピューターサイエンスの博士課程の学生です。

「多くの機械学習と強化学習システムでは、多大な量のデータと数百のデモンストレーションが必要です。人間が何度もデモンストレーションを行う必要がありますが、これは実現不可能です」とプランニクは述べました。

「また、多くの人はプログラミングの知識がなく、ロボットが何をする必要があるかを明示的に述べることができません。人間がすべてのロボットが知る必要があることをデモンストレーションすることは不可能です。ロボットが見たことがないものに出会った場合、どうなりますか？これは重要な課題です」と彼は続けました。

研究者たちは、「シグナル時系列論理」と呼ばれる手法を使用して、デモンストレーションの品質を決定し、ランク付けを行い、内在的な報酬を作成しました。

研究者たちがSTLを選択した主な理由は2つあります：

1. ロボットはデモンストレーションから学習することで、不完全または不適切な行動、望ましくない行動を学習する可能性があります。
2. デモンストレーションは、提供するユーザーによって品質が異なり、望ましい行動を示すものと示さないものがあります。

このシステムを開発することで、ロボットは不完全なデモンストレーションからも学習できます。つまり、ロボットは論理的要件を満たさなくても、正確性や成功について自身で結論を導き出すことができます。

ステファノス・ニコライディスは共同著者であり、USCヴィッテリ工学学校のコンピューターサイエンスの助教授です。

「ロボットがさまざまな種類のデモンストレーションから学習する場合、たとえば実践的なデモンストレーション、ビデオ、またはシミュレーションです。如果私は非常に危険なことを行った場合、従来のアプローチでは、2つのことが起こります。1つは、それを完全に無視すること、もう1つは、ロボットが間違ったことを学習することです」とニコライディスは述べました。

「一方、この研究では、論理の形で共通の感覚的な推論を使用して、デモンストレーションのどの部分が良いか、どの部分が良くないかを理解します。実質的に、これは人間も行うことです」と彼は続けました。

シグナル時系列論理

ロボットは、STLと呼ばれる表現力豊かな数学的シンボル言語を使用して、現在と将来の結果について推論できます。STL以前の研究では、線形時系列論理が使用されていました。

ジョー・デシュムクは、元トヨタエンジニアであり、USCのコンピューターサイエンスの助教授です。

「サイバーフィジカルシステムの世界に入ると、ロボットや自動運転車などの時間が重要になる場合、線形時系列論理は少し不便になります。線形時系列論理は、変数の真/偽値のシーケンスについて推論しますが、STLは物理信号について推論できます」とデシュムクは述べました。

研究者たちは、このシステムの成功度に驚かされました。

「ロボット工学の分野で広く使用されている最先端のアルゴリズムと比較して、必要なデモンストレーションの数に大きな違いがあることがわかります」とニコライディスは述べました。

研究者によると、このシステムはドライビングシミュレーターと最終的にはビデオから学習できます。次のステップは、ゲームシミュレーターでの初期テストを実施した後、実際のロボットをテストすることです。このシステムは、家庭環境、倉庫、宇宙探査ローバーなどのアプリケーションに役立ちます。

「ロボットが優れたチームメイトとなり、人々を助けるためには、まず人間の好みに効率的に学習し、適応する必要があります。私たちの方法では、それを提供します」とニコライディスは述べました。