Ngôn ngữ con người tăng tốc học tập của robot

Một nhóm các nhà nghiên cứu tại Princeton đã phát hiện ra rằng các mô tả ngôn ngữ con người về các công cụ có thể tăng tốc quá trình học tập của một cánh tay robot mô phỏng có thể nâng và sử dụng các công cụ khác nhau.

Nghiên cứu mới này hỗ trợ ý tưởng rằng đào tạo AI có thể làm cho các robot tự động trở nên thích nghi hơn trong các tình huống mới, điều này cải thiện hiệu quả và an toàn của chúng.

Bằng cách thêm mô tả về hình dạng và chức năng của một công cụ vào quá trình đào tạo của robot, khả năng thao tác các công cụ mới của robot đã được cải thiện.

Phương pháp đào tạo ATLA

Phương pháp mới này được gọi là Học tập tăng tốc của thao tác công cụ với ngôn ngữ, hoặc ATLA.

Anirudha Majumdar là giáo sư trợ lý về kỹ thuật cơ khí và hàng không tại Princeton và là trưởng nhóm Phòng thí nghiệm Chuyển động Robot Thông minh.

“Thông tin thêm dưới dạng ngôn ngữ có thể giúp robot học cách sử dụng các công cụ nhanh hơn,” Majumdar nói.

Đội ngũ đã hỏi mô hình ngôn ngữ GPT-3 để có được mô tả về các công cụ. Sau khi thử nghiệm với các lời nhắc khác nhau, họ quyết định sử dụng “Mô tả [tính năng] của [công cụ] trong một phản hồi khoa học và chi tiết,” với tính năng là hình dạng hoặc mục đích của công cụ.

Karthik Narasimhan là giáo sư trợ lý về khoa học máy tính và là đồng tác giả của nghiên cứu. Narasimhan cũng là thành viên giảng viên chính trong nhóm xử lý ngôn ngữ tự nhiên (NLP) của Princeton và đã đóng góp vào mô hình ngôn ngữ GPT ban đầu với tư cách là nhà khoa học nghiên cứu tại OpenAI.

“Vì các mô hình ngôn ngữ này đã được đào tạo trên internet, theo một nghĩa nào đó, bạn có thể nghĩ về nó như một cách để thu thập thông tin đó một cách hiệu quả và toàn diện hơn so với sử dụng nguồn lực đông đảo hoặc thu thập thông tin từ các trang web cụ thể về mô tả công cụ,” Narasimhan nói.

https://vimeo.com/781953242?embedded=true&source=video_title&owner=2065450

Thử nghiệm học tập robot mô phỏng

Đội ngũ đã chọn một tập hợp các công cụ để đào tạo cho các thử nghiệm học tập robot mô phỏng, với các công cụ bao gồm từ một chiếc rìu đến một chiếc xẻng. Cánh tay robot được giao bốn nhiệm vụ khác nhau: đẩy công cụ, nâng công cụ, sử dụng nó để quét một xi lanh dọc theo bàn hoặc đập một chiếc đinh vào một lỗ.

Đội ngũ đã phát triển một bộ các chính sách bằng cách sử dụng các phương pháp học máy với và không có thông tin ngôn ngữ. Hiệu suất của các chính sách này đã được so sánh trên một thử nghiệm riêng biệt với chín công cụ có mô tả tương ứng.

Phương pháp này, được gọi là học tập siêu cấp, cải thiện khả năng học tập của robot với mỗi nhiệm vụ tiếp theo.

Theo Narasimhan, robot không chỉ học cách sử dụng mỗi công cụ, mà còn “học cách hiểu mô tả của mỗi trong số hàng trăm công cụ khác nhau, vì vậy khi nó nhìn thấy công cụ thứ 101, nó sẽ học cách sử dụng công cụ mới nhanh hơn.”

Trong hầu hết các thử nghiệm, thông tin ngôn ngữ đã cung cấp lợi thế đáng kể cho khả năng của robot trong việc sử dụng các công cụ mới.

Allen Z. Ren là nghiên cứu sinh tiến sĩ trong nhóm của Majumdar và là tác giả chính của bài nghiên cứu.

“Với đào tạo ngôn ngữ, nó học cách nắm lấy đầu dài của chiếc xẻng và sử dụng bề mặt cong để hạn chế chuyển động của chai,” Ren nói. “Không có ngôn ngữ, nó nắm lấy xẻng gần bề mặt cong và khó kiểm soát hơn.”

“Mục tiêu rộng lớn là giúp các hệ thống robot – đặc biệt là những hệ thống được đào tạo bằng học máy – tổng quát hóa sang các môi trường mới,” Majumdar thêm.