人类语言加速机器人学习

普林斯顿大学的一组研究人员发现，工具的语言描述可以加速模拟机器人臂学习的过程，该机器人臂可以抬起和使用各种工具。

新的研究支持这样一个观点：AI训练可以使自主机器人在新情况下更加适应，从而提高其有效性和安全性。

通过在机器人训练过程中添加工具的形式和功能描述，机器人操纵新工具的能力得到了改善。

ATLA 方法用于训练

这种新方法被称为 加速工具操作学习与语言，或 ATLA。

Anirudha Majumdar 是普林斯顿大学机械和航空工程系的助理教授，并且是智能机器人运动实验室的负责人。

“语言形式的额外信息可以帮助机器人更快地学习使用工具，”Majumdar 说。

该团队查询语言模型 GPT-3 以获取工具描述。尝试了各种提示后，他们决定使用“以详细和科学的方式描述 [工具] 的 [特征]”，其中特征是工具的形状或目的。

Karthik Narasimhan 是计算机科学系的助理教授，也是该研究的共同作者。Narasimhan 也是普林斯顿大学自然语言处理（NLP）小组的主要成员，并作为 OpenAI 的访问研究科学家为原始 GPT 语言模型做出了贡献。

“由于这些语言模型是在互联网上训练的，从某种意义上说，你可以认为这是检索信息的一种更高效、更全面的方式，而不是使用众包或从特定网站上抓取工具描述，”Narasimhan 说。

https://vimeo.com/781953242?embedded=true&source=video_title&owner=2065450

模拟机器人学习实验

该团队选择了 27 种工具用于模拟机器人学习实验，这些工具从斧头到刮刀不等。机器人臂被赋予四项不同的任务：推动工具、抬起工具、使用它来扫动一个圆柱体沿着桌子，或将一个桩子敲入一个孔中。

然后，该团队使用带有和不带有语言信息的机器学习方法开发了一套策略。这些策略的性能在一个单独的测试中进行了比较，测试中有九种工具和配对的描述。

这种方法被称为元学习，提高了机器人学习每个任务的能力。

根据 Narasimhan 的说法，机器人不仅在学习使用每个工具，还在“尝试学习理解每个工具的描述，因此当它看到第 101 个工具时，它可以更快地学习使用新工具”。

在大多数实验中，语言信息为机器人使用新工具的能力提供了显著的优势。

Allen Z. Ren 是 Majumdar 小组的博士生，也是研究论文的首席作者。

“有了语言训练，它学会了抓住撬棍的长端并使用弯曲的表面更好地约束瓶子的运动，”Ren 说。“没有语言，它抓住了撬棍靠近弯曲的表面，并且更难以控制。”

“总体目标是让机器人系统——尤其是使用机器学习训练的系统——能够推广到新的环境，”Majumdar 补充说。