Trí tuệ nhân tạo của Google dạy cho robot cách di chuyển bằng cách xem chó

Ngay cả một số robot tiên tiến nhất ngày nay vẫn di chuyển theo cách hơi vụng về, giật cục. Để giúp robot di chuyển một cách tự nhiên, mượt mà hơn, các nhà nghiên cứu tại Google (GOOGL ) đã phát triển một hệ thống trí tuệ nhân tạo có khả năng học hỏi từ chuyển động của động vật thực sự. Đội nghiên cứu của Google đã xuất bản một bài báo trước khi in rằng chi tiết phương pháp của họ vào cuối tuần trước. Trong bài báo và một bài đăng trên blog đi kèm, đội nghiên cứu mô tả lý do đằng sau hệ thống. Các tác giả của bài báo tin rằng việc trao cho robot chuyển động tự nhiên hơn có thể giúp chúng thực hiện các nhiệm vụ thực tế yêu cầu chuyển động chính xác, chẳng hạn như giao hàng giữa các tầng của một tòa nhà.

Theo VentureBeat báo cáo, đội nghiên cứu đã sử dụng học tăng cường để đào tạo robot của họ. Các nhà nghiên cứu bắt đầu bằng cách thu thập các đoạn video của động vật thực sự di chuyển và sử dụng các kỹ thuật học tăng cường (RL) để đẩy robot tới bắt chước chuyển động của động vật trong các đoạn video. Trong trường hợp này, các nhà nghiên cứu đã đào tạo robot trên các đoạn video của một con chó, được thiết kế trong một trình mô phỏng vật lý, chỉ đạo một robot bốn chân Unitree Laikago bắt chước chuyển động của con chó. Sau khi robot được đào tạo, nó có thể thực hiện các chuyển động phức tạp như nhảy, quay và đi nhanh với tốc độ khoảng 2,6 dặm một giờ.

Dữ liệu đào tạo bao gồm khoảng 200 triệu mẫu của chó di chuyển, được theo dõi trong một trình mô phỏng vật lý. Các chuyển động khác nhau sau đó được chạy qua các hàm phần thưởng và chính sách mà các tác nhân đã học. Sau khi các chính sách được tạo ra trong mô phỏng, chúng được chuyển sang thế giới thực bằng cách sử dụng một kỹ thuật gọi là thích nghi không gian潜在. Bởi vì các trình mô phỏng vật lý được sử dụng để đào tạo robot chỉ có thể gần đúng một số khía cạnh của chuyển động thế giới thực, các nhà nghiên cứu đã áp dụng ngẫu nhiên các perturbations khác nhau cho mô phỏng, nhằm mục đích mô phỏng hoạt động dưới các điều kiện khác nhau.

Theo đội nghiên cứu, họ đã có thể thích nghi các chính sách mô phỏng với robot thế giới thực chỉ bằng cách sử dụng tám phút dữ liệu thu thập từ 50 thử nghiệm khác nhau. Các nhà nghiên cứu đã chứng minh rằng robot thế giới thực có thể bắt chước nhiều chuyển động cụ thể khác nhau, chẳng hạn như đi, quay, nhảy và đi với tốc độ nhanh. Họ thậm chí có thể bắt chước các hoạt hình được tạo bởi các nghệ sĩ hoạt hình, chẳng hạn như một sự kết hợp giữa nhảy và quay.

Đội nghiên cứu tóm tắt các phát hiện trong bài báo:

“Chúng tôi chỉ ra rằng bằng cách tận dụng dữ liệu chuyển động tham chiếu, một phương pháp học tập dựa trên một cách tiếp cận có thể tự động tổng hợp các bộ điều khiển cho một loạt các hành vi đa dạng cho robot chân. Bằng cách kết hợp các kỹ thuật thích nghi miền hiệu quả vào quá trình đào tạo, hệ thống của chúng tôi có thể học các chính sách thích nghi trong mô phỏng mà sau đó có thể được nhanh chóng thích nghi cho triển khai thế giới thực.”

Các chính sách điều khiển được sử dụng trong quá trình học tăng cường có những hạn chế của chúng. Do các hạn chế được áp đặt bởi phần cứng và thuật toán, có một số điều mà robot đơn giản không thể làm. Chúng không thể chạy hoặc nhảy lớn, ví dụ. Các chính sách học được cũng không thể hiện ra nhiều sự ổn định khi so sánh với các chuyển động được thiết kế thủ công. Đội nghiên cứu muốn đưa công việc đi xa hơn bằng cách làm cho các bộ điều khiển mạnh mẽ hơn và có khả năng học hỏi từ các loại dữ liệu khác nhau. Lý tưởng, các phiên bản tương lai của khuôn khổ sẽ có thể học hỏi từ dữ liệu video.