Robot Tự Học Đi Bằng Cách Học Tăng Cường

Trong khi Boston Dynamics và robot nhảy múa thường nhận được sự chú ý nhiều nhất, thì có một số phát triển quan trọng đang diễn ra sau hậu trường mà không nhận được đủ sự quan tâm. Một trong những phát triển đó đến từ một phòng thí nghiệm tại Berkeley, nơi một robot tên là Cassie đã có thể tự học cách đi bằng cách học tăng cường.

Sau nhiều thử nghiệm và sai lầm, cặp chân robot đã học cách điều hướng trong một môi trường mô phỏng trước khi được thử nghiệm trong thế giới thực. Ban đầu, robot đã thể hiện khả năng đi trong tất cả các hướng, đi trong khi ngồi xổm, tự điều chỉnh lại khi bị đẩy khỏi cân bằng và điều chỉnh với các loại bề mặt khác nhau.

Robot Cassie là trường hợp đầu tiên của một robot hai chân thành công sử dụng học tăng cường để đi.

Sự Thần Kỳ Của Robot Nhảy Múa

Trong khi các robot như những của Boston Dynamics rất ấn tượng và làm cho hầu hết mọi người xem chúng phải kinh ngạc, thì có một số yếu tố quan trọng. Đáng chú ý nhất, những robot này được lập trình và biên đạo bằng tay để đạt được kết quả, nhưng đây không phải là phương pháp được ưu tiên trong các tình huống thực tế.

Ngoài phòng thí nghiệm, robot phải mạnh mẽ, linh hoạt, và có khả năng đối phó với các tình huống bất ngờ, điều mà chỉ có thể được thực hiện bằng cách cho phép chúng tự xử lý các tình huống đó.

Zhongyu Li là một phần của đội ngũ làm việc trên Cassie tại Đại học Berkeley.

“Những video này có thể khiến một số người tin rằng đây là một vấn đề đã được giải quyết và dễ dàng,” Li nói. “Nhưng chúng tôi vẫn còn một chặng đường dài để có robot giống người hoạt động đáng tin cậy và sống trong môi trường con người.”

https://www.youtube.com/watch?v=goxCjGPQH7U

Học Tăng Cường

Để tạo ra một robot như vậy, đội ngũ tại Berkeley đã dựa vào học tăng cường, một phương pháp đã được sử dụng bởi các công ty như DeepMind để đào tạo các thuật toán đánh bại con người trong các trò chơi phức tạp nhất. Học tăng cường dựa trên thử nghiệm và sai lầm, với robot học từ những sai lầm của nó.

Robot Cassie đã sử dụng học tăng cường để học cách đi trong một mô phỏng, điều mà không phải là lần đầu tiên phương pháp này được sử dụng. Tuy nhiên, điều này không thường xuyên làm cho robot có thể đi trong thế giới thực. Thậm chí một sự khác biệt nhỏ cũng có thể khiến robot không thể đi.

Các nhà nghiên cứu đã sử dụng hai mô phỏng thay vì một, với mô phỏng đầu tiên là một môi trường đào tạo mã nguồn mở gọi là MuJoCo. Trong mô phỏng đầu tiên này, thuật toán đã thử và học từ một thư viện các chuyển động có thể, và trong mô phỏng thứ hai gọi là SimMechanics, robot đã thử nghiệm chúng trong các điều kiện thế giới thực hơn.

Sau khi được phát triển trong hai mô phỏng, thuật toán không cần phải được tinh chỉnh. Nó đã sẵn sàng để hoạt động trong thế giới thực. Không chỉ nó có thể đi, mà nó còn có thể làm được nhiều hơn. Theo các nhà nghiên cứu, Cassie đã có thể phục hồi sau khi hai động cơ trong đầu gối của robot bị hỏng.

Mặc dù Cassie có thể không có tất cả các tính năng như một số robot khác, nhưng nó thực sự ấn tượng hơn nhiều. Nó cũng có ý nghĩa lớn hơn cho công nghệ khi nói đến việc sử dụng trong thế giới thực, vì một robot đi có thể được sử dụng trong nhiều lĩnh vực khác nhau.