人間の言語がロボットの学習を加速する

プリンストン大学の研究チームは、人間の言葉でツールを説明することで、さまざまなツールを持ち上げて使用できる模擬ロボットアームの学習を加速できることを発見した。

新しい研究は、AI トレーニングにより自律型ロボットが新しい状況に適応できるようになり、その結果、ロボットの有効性と安全性が向上するという考えを裏付けています。

ツールの形状と機能の説明をロボットのトレーニング プロセスに追加することで、新しいツールを操作するロボットの能力が向上しました。

ATLA トレーニングメソッド

新しいメソッドは次のように呼ばれます 言語による工具操作の学習の加速、またはATLA。

Anirudha Majumdar は、プリンストン大学の機械および航空宇宙工学の助教授であり、インテリジェント ロボット モーション ラボの所長です。

「言語という形での追加情報は、ロボットがツールの使い方をより早く学習するのに役立ちます」とマジュムダル氏は言う。

チームは言語モデル GPT-3 をクエリしてツールの説明を取得しました。 さまざまなプロンプトを試した結果、彼らは「[ツール] の [機能] を詳細かつ科学的な応答で説明する」を使用することに決めました。特徴とはツールの形状や目的です。

Karthik Narasimhan 氏はコンピューター サイエンスの助教授であり、この研究の共著者です。ナラシンハンは、プリンストン大学の自然言語処理 (NLP) グループの主任教員でもあり、OpenAI の客員研究員としてオリジナルの GPT 言語モデルに貢献しました。

「これらの言語モデルはインターネット上でトレーニングされているため、ある意味、クラウドソーシングを使用したり、ツールの説明に特定の Web サイトをスクレイピングしたりするよりも、より効率的かつ包括的に情報を取得する別の方法と考えることができます」とナラシンハン氏は述べています。

ロボットの模擬学習実験

チームは、模擬ロボット学習実験用に、斧から絞りまでの範囲のツールを含む 27 個のツールのトレーニング セットを選択しました。 ロボットアームには、ツールを押す、ツールを持ち上げる、ツールを使ってテーブルに沿って円柱を掃除する、穴にペグを打ち込むという XNUMX つの異なるタスクが与えられました。

次にチームは、言語情報を使用した場合と使用しない場合の機械学習アプローチを使用して、一連のポリシーを開発しました。ポリシーのパフォーマンスは、ペアの説明を使用した 9 つのツールの個別のテストで比較されました。

メタ学習と呼ばれるこのアプローチは、連続するタスクごとにロボットの学習能力を向上させます。

ナラシンハン氏によると、ロボットは各ツールの使い方を学習しているだけでなく、「これら 101 種類のツールそれぞれの説明を理解しようとしているため、XNUMX 番目のツールを見たときに新しいツールの使い方をより速く学習できるようになります。」 」

ほとんどの実験では、言語情報がロボットの新しいツールの使用能力に大きな利点をもたらしました。

アレン・Z・レンは博士号を取得しています。 マジュムダルのグループの学生であり、研究論文の筆頭著者。

「言語訓練により、バールの長い端をつかみ、曲面を使ってボトルの動きをうまく抑制することを学びます」とレンさんは語った。 「言語がなければ、曲面近くでバールを掴むことになり、制御するのが難しくなりました。」

「広範な目標は、ロボット システム、具体的には機械学習を使用してトレーニングされたシステムを新しい環境に一般化できるようにすることです」とマジュムダル氏は付け加えました。