ロボットの学習を加速する人間の言語

プリンストン大学の研究者チームは、人間の言語によるツールの説明が、さまざまなツールを持ち上げて使用できるシミュレートされたロボットアームの学習を加速することができることを発見しました。

この新しい研究は、AIトレーニングによって自律ロボットを新しい状況でより適応性の高いものにすることができ、さらにその有効性と安全性を向上させるという考えを支持しています。

ツールの形状と機能の説明をロボットのトレーニングプロセスに追加することで、ロボットが新しいツールを操作する能力が向上しました。

ATLAトレーニング方法

この新しい方法は、Accelerated Learning of Tool Manipulation with Language、またはATLAと呼ばれています。

Anirudha Majumdarは、プリンストン大学の機械・航空宇宙工学の助教授であり、Intelligent Robot Motion Labの責任者です。

「言語による追加情報は、ロボットがツールを使用することをより迅速に学習するのに役立つ」とMajumdarは述べました。

チームは、ツールの説明を得るために言語モデルGPT-3を照会しました。さまざまなプロンプトを試した後、チームは「[ツール]の[特徴]を詳細かつ科学的な回答で説明してください」というプロンプトを使用することにしました。ここで、特徴はツールの形状または目的です。

Karthik Narasimhanは、コンピューターサイエンスの助教授であり、この研究の共著者です。Narasimhanは、プリンストンの自然言語処理（NLP）グループのリードファクルティメンバーでもあり、OpenAIでの訪問研究科学者として元のGPT言語モデルに貢献しました。

「これらの言語モデルはインターネットでトレーニングされているので、ある意味では、これはクラウドソーシングや特定のウェブサイトからのツールの説明のスクレイピングよりも効率的かつ包括的に情報を取得する別の方法と考えられます」とNarasimhanは述べました。

https://vimeo.com/781953242?embedded=true&source=video_title&owner=2065450

シミュレートされたロボットの学習実験

チームは、シミュレートされたロボットの学習実験のために、27のツールを選択しました。ツールは、斧からスクリーンウォッシャーまでさまざまです。ロボットアームは、ツールを押す、持ち上げる、シリンダーをテーブルに沿ってスイープする、またはペグを穴に打つという4つのタスクを実行するように指示されました。

チームは、言語情報を使用したりしなかったりして、さまざまなポリシーを開発しました。ポリシーのパフォーマンスは、9つのツールとペアになった説明でテストされました。

このアプローチは、メタラーニングと呼ばれ、ロボットが各タスクで学習する能力を向上させます。

「ロボットは各ツールを使用することを学習するだけでなく、各ツールの説明を理解しようとしているので、101番目のツールを見たときに新しいツールを使用することをより迅速に学習できる」とNarasimhanは述べました。

実験のほとんどでは、言語情報はロボットが新しいツールを使用する能力に大きな利点をもたらしました。

Allen Z. Renは、Majumdarのグループの博士課程の学生であり、この研究の第一著者です。

「言語トレーニングにより、ロボットはボトルを制御するためにカーブされた表面を使用してクラウバーグリップを長い方に学習することができます。言語なしでは、クラウバーグリップをカーブされた表面に近づけて制御するのが難しかった」とRenは述べました。

「広範な目標は、特に機械学習を使用してトレーニングされたロボットシステムを新しい環境に一般化させることです」とMajumdarは述べました。