人类语言加速机器人学习

普林斯顿大学的一组研究人员发现，工具的语言描述可以加速模拟机械臂学习使用各种工具的过程。

这项新研究支持了人工智能训练可以使自主机器人在新情况下更加适应的想法，这反过来又提高了它们的有效性和安全性。

通过在机器人训练过程中添加工具的形式和功能描述，机器人使用新工具的能力得到了改善。

ATLA 训练方法

这项新方法被称为加速工具操作学习与语言（Accelerated Learning of Tool Manipulation with Language），或 ATLA。

安尼鲁德哈·马朱姆达尔（Anirudha Majumdar）是普林斯顿大学机械和航空工程助理教授，也是智能机器人运动实验室的负责人。

“语言形式的额外信息可以帮助机器人更快地学习使用工具，”马朱姆达尔说。

该团队查询语言模型 GPT-3 以获取工具描述。尝试了各种提示后，他们决定使用“以详细和科学的方式描述 [特征] 的 [工具]”，其中特征是工具的形状或目的。

卡尔希克·纳拉西姆汉（Karthik Narasimhan）是计算机科学助理教授，也是该研究的共同作者。纳拉西姆汉也是普林斯顿大学自然语言处理（NLP）小组的首席成员，并作为访问研究科学家为原始 GPT 语言模型做出了贡献。

“因为这些语言模型是在互联网上训练的，从某种意义上说，你可以认为这是一个更高效和全面地检索信息的方式，而不是使用众包或从特定网站上抓取工具描述，”纳拉西姆汉说。

https://vimeo.com/781953242?embedded=true&source=video_title&owner=2065450

模拟机器人学习实验

该团队为模拟机器人学习实验选择了 27 种工具，工具范围从斧头到刮刀。机械臂被赋予了四项不同的任务：推动工具、抬起工具、使用工具沿桌子扫动圆柱体或将桩子敲入孔中。

然后，他们使用带有和不带有语言信息的机器学习方法开发了一套策略。策略的性能在一个单独的九种工具的测试中进行了比较，这些工具都有配对的描述。

这种方法被称为元学习，它可以提高机器人在每个任务中学习的能力。

根据纳拉西姆汉的说法，机器人不仅在学习使用每个工具，还“试图学习理解每个工具的描述，因此当它看到第 101 个工具时，它可以更快地学习使用新工具。”

在大多数实验中，语言信息为机器人使用新工具提供了显著的优势。

艾伦·Z·任（Allen Z. Ren）是马朱姆达尔团队的博士生，也是研究论文的首席作者。

“有了语言训练，它学会了在长端抓住撬棍并使用曲面来更好地约束瓶子的运动，”任说。“没有语言，它抓住了撬棍靠近曲面，控制起来更困难。”

“广泛的目标是使机器人系统——尤其是使用机器学习训练的系统——能够推广到新的环境，”马朱姆达尔补充说。