AI của Google dạy robot cách di chuyển bằng cách quan sát chó

Ngay cả một số robot tiên tiến nhất hiện nay vẫn di chuyển theo những cách hơi vụng về và giật cục. Để khiến rô-bốt di chuyển theo những cách trôi chảy, giống như thật hơn, các nhà nghiên cứu tại Google đã phát triển một hệ thống AI có khả năng học hỏi từ các chuyển động của động vật thực sự. Nhóm nghiên cứu của Google đã xuất bản một giấy in trước đã nêu chi tiết cách tiếp cận của họ vào cuối tuần trước. Trong bài báo và tài liệu đi kèm blog đăng bài, nhóm nghiên cứu mô tả lý do đằng sau hệ thống. Các tác giả của bài báo tin rằng việc cung cấp cho robot khả năng chuyển động tự nhiên hơn có thể giúp chúng hoàn thành các nhiệm vụ trong thế giới thực đòi hỏi chuyển động chính xác, chẳng hạn như vận chuyển vật phẩm giữa các tầng khác nhau của tòa nhà.

Như VentureBeat đã báo cáo, nhóm nghiên cứu đã sử dụng phương pháp học tăng cường để huấn luyện rô-bốt của họ. Các nhà nghiên cứu bắt đầu bằng cách thu thập các đoạn phim về động vật thực đang di chuyển và sử dụng các kỹ thuật học tăng cường (RL) để thúc đẩy robot bắt chước chuyển động của động vật trong các video clip. Trong trường hợp này, các nhà nghiên cứu đã huấn luyện rô-bốt trên các clip của một con chó, được thiết kế trong một mô phỏng vật lý, hướng dẫn rô-bốt Unitree Laikago bốn chân bắt chước chuyển động của chú chó. Sau khi rô-bốt được huấn luyện, nó có khả năng thực hiện các chuyển động phức tạp như nhảy, quay và đi nhanh với tốc độ khoảng 2.6 dặm một giờ.

Dữ liệu đào tạo bao gồm khoảng 200 triệu mẫu chó đang chuyển động, được theo dõi trong một mô phỏng vật lý. Các chuyển động khác nhau sau đó được thực hiện thông qua các chức năng và chính sách khen thưởng mà các tác nhân đã học được. Sau khi các chính sách được tạo trong mô phỏng, chúng được chuyển sang thế giới thực bằng một kỹ thuật gọi là thích ứng không gian tiềm ẩn. Vì các mô phỏng vật lý được sử dụng để huấn luyện rô bốt chỉ có thể ước tính một số khía cạnh nhất định của chuyển động trong thế giới thực, nên các nhà nghiên cứu đã áp dụng ngẫu nhiên nhiều nhiễu loạn khác nhau cho mô phỏng, nhằm mô phỏng hoạt động trong các điều kiện khác nhau.

Theo nhóm nghiên cứu, họ có thể điều chỉnh các chính sách mô phỏng cho các rô-bốt trong thế giới thực chỉ bằng tám phút dữ liệu được thu thập từ 50 thử nghiệm khác nhau. Các nhà nghiên cứu đã cố gắng chứng minh rằng các robot trong thế giới thực có thể bắt chước nhiều chuyển động cụ thể, khác nhau như chạy nước kiệu, quay lại, nhảy và đi tới đi lui. Họ thậm chí có thể bắt chước hoạt hình do các nghệ sĩ hoạt hình tạo ra, chẳng hạn như kết hợp nhảy và rẽ.

Các nhà nghiên cứu tóm tắt những phát hiện trong bài báo:

“Chúng tôi cho thấy rằng bằng cách tận dụng dữ liệu chuyển động tham chiếu, một phương pháp tiếp cận dựa trên học tập duy nhất có thể tự động tổng hợp các bộ điều khiển cho một loạt các hành vi [of] khác nhau dành cho rô-bốt có chân. Bằng cách kết hợp các kỹ thuật thích ứng miền hiệu quả mẫu vào quy trình đào tạo, hệ thống của chúng tôi có thể học các chính sách thích ứng trong mô phỏng, sau đó có thể nhanh chóng điều chỉnh để triển khai trong thế giới thực.”

Các chính sách kiểm soát được sử dụng trong quá trình học tăng cường có những hạn chế. Do các hạn chế do phần cứng và thuật toán áp đặt, có một số điều mà rô-bốt đơn giản là không thể làm được. Chẳng hạn, họ không thể chạy hoặc thực hiện những bước nhảy lớn. Các chính sách đã học cũng không thể hiện nhiều sự ổn định khi so sánh với các chuyển động được thiết kế thủ công. Nhóm nghiên cứu muốn tiến xa hơn bằng cách làm cho bộ điều khiển mạnh mẽ hơn và có khả năng học từ các loại dữ liệu khác nhau. Lý tưởng nhất là các phiên bản tương lai của khung sẽ có thể học từ dữ liệu video.