Robot tự dạy mình đi bộ thông qua học tập tăng cường

Trong khi Boston Dynamics và rô bốt nhảy múa thường nhận được hầu hết sự chú ý, có một số diễn biến chính diễn ra ở hậu trường không nhận được đủ tin tức. Một trong những bước phát triển đó đến từ phòng thí nghiệm Berkeley, nơi một rô-bốt tên Cassie có thể tự học cách đi bộ thông qua quá trình học tăng cường. 

Sau quá trình thử và sai, cặp chân robot đã học cách điều hướng trong môi trường mô phỏng trước khi được đưa vào thử nghiệm trong thế giới thực. Ban đầu, robot đã thể hiện khả năng đi theo mọi hướng, đi trong khi ngồi xổm xuống, tự định vị lại khi bị đẩy mất thăng bằng và thích nghi với các loại bề mặt khác nhau. 

Rô bốt Cassie là trường hợp đầu tiên của rô bốt hai chân sử dụng thành công quá trình học đi bộ tăng cường. 

Nỗi kinh hoàng của robot nhảy múa

Trong khi các rô-bốt chẳng hạn như của Boston Dynamics cực kỳ ấn tượng và khiến gần như tất cả những ai theo dõi chúng đều kinh ngạc, thì vẫn có một số yếu tố chính. Đáng chú ý nhất, những robot này được lập trình và biên đạo bằng tay để đạt được kết quả, nhưng đây không phải là phương pháp ưa thích trong các tình huống thực tế. 

Bên ngoài phòng thí nghiệm, rô-bốt phải mạnh mẽ, dẻo dai, linh hoạt và hơn thế nữa. Hơn hết, họ cần có khả năng đối mặt và xử lý các tình huống bất ngờ, điều này chỉ có thể được thực hiện bằng cách cho phép họ tự xử lý các tình huống đó. 

Zhongyu Li là thành viên của nhóm nghiên cứu về Cassie tại Đại học Berkeley. 

Li nói: “Những video này có thể khiến một số người tin rằng đây là một vấn đề dễ giải quyết và dễ dàng. “Nhưng chúng ta vẫn còn một chặng đường dài phía trước để robot hình người hoạt động và sống một cách đáng tin cậy trong môi trường của con người.” 

Học tăng cường

Để tạo ra một robot như vậy, nhóm Berkeley đã dựa vào học tăng cường, vốn được các công ty như DeepMind sử dụng để huấn luyện các thuật toán nhằm đánh bại con người trong các trò chơi phức tạp nhất thế giới. Học tăng cường dựa trên quá trình thử và sai, rô-bốt học hỏi từ những sai lầm của nó. 

Robot Cassie đã sử dụng phương pháp học tăng cường để học cách đi lại trong một mô phỏng, đây không phải là lần đầu tiên phương pháp này được sử dụng. Tuy nhiên, điều này thường không đưa nó ra khỏi môi trường mô phỏng và bước vào thế giới thực. Ngay cả một sự khác biệt nhỏ cũng có thể dẫn đến việc robot không thể đi lại được. 

Các nhà nghiên cứu đã sử dụng hai mô phỏng thay vì một, với mô phỏng đầu tiên là môi trường đào tạo mã nguồn mở có tên MuJoCo. Trong mô phỏng đầu tiên này, thuật toán đã thử và học từ thư viện các chuyển động có thể có, và trong mô phỏng thứ hai có tên SimMechanics, rô-bốt đã thử nghiệm chúng trong các điều kiện thực tế hơn.

Sau khi được phát triển trong hai mô phỏng, thuật toán không cần phải tinh chỉnh. Nó đã sẵn sàng để đi vào thế giới thực. Nó không chỉ có thể đi bộ mà còn có thể làm được nhiều hơn thế. Theo các nhà nghiên cứu, Cassie đã có thể phục hồi sau khi hai động cơ ở đầu gối của robot bị trục trặc.

Mặc dù Cassie có thể không có tất cả chuông và còi như một số robot khác, nhưng về nhiều mặt, nó ấn tượng hơn nhiều. Nó cũng có ý nghĩa lớn hơn đối với công nghệ khi được sử dụng trong thế giới thực, vì một robot đi bộ như vậy có thể được sử dụng trong nhiều lĩnh vực khác nhau.