Robot Tự Học Đi Bộ Thông Qua Học Tăng Cường

Trong khi Boston Dynamics và rô-bốt nhảy múa thường nhận được sự chú ý nhiều nhất, thì có một số phát triển quan trọng đang diễn ra sau hậu trường mà không nhận được đủ sự chú ý. Một trong những phát triển đó đến từ một phòng thí nghiệm tại Berkeley, nơi một rô-bốt tên là Cassie đã có thể tự học đi bộ thông qua học tăng cường. 

Sau nhiều thử nghiệm và sai lầm, cặp chân rô-bốt đã học cách điều hướng trong môi trường mô phỏng trước khi được thử nghiệm trong thế giới thực. Ban đầu, rô-bốt đã thể hiện khả năng đi bộ theo tất cả các hướng, đi bộ trong khi cúi xuống, tái định vị mình khi bị đẩy khỏi thăng bằng và điều chỉnh với các loại bề mặt khác nhau. 

Rô-bốt Cassie là ví dụ đầu tiên của một rô-bốt hai chân thành công sử dụng học tăng cường để đi bộ. 

Sự Thần Kỳ Của Rô-bốt Nhảy Múa

Trong khi rô-bốt như những rô-bốt từ Boston Dynamics rất ấn tượng và làm cho hầu hết mọi người xem chúng phải kinh ngạc, thì có một số yếu tố quan trọng. Đặc biệt, những rô-bốt này được lập trình và biên đạo bằng tay để đạt được kết quả, nhưng đây không phải là phương pháp được ưa chuộng trong các tình huống thực tế. 

Ngoài phòng thí nghiệm, rô-bốt phải mạnh mẽ, linh hoạt, và nhiều hơn nữa. Trên hết tất cả, chúng cần phải có khả năng gặp và xử lý các tình huống không lường trước, điều này chỉ có thể được thực hiện bằng cách cho phép chúng xử lý các tình huống đó mình. 

Zhongyu Li là một phần của nhóm làm việc trên Cassie tại Đại học Berkeley. 

“Những video này có thể khiến một số người tin rằng đây là một vấn đề đã được giải quyết và dễ dàng,” Li nói. “Nhưng chúng tôi vẫn còn một chặng đường dài để có rô-bốt giống người hoạt động và sống trong môi trường con người.” 

https://www.youtube.com/watch?v=goxCjGPQH7U

Học Tăng Cường

Để tạo ra một rô-bốt như vậy, nhóm tại Berkeley đã dựa vào học tăng cường, đã được sử dụng bởi các công ty như DeepMind để đào tạo các thuật toán đánh bại con người trong các trò chơi phức tạp nhất trên thế giới. Học tăng cường dựa trên thử nghiệm và sai lầm, với rô-bốt học từ những sai lầm của mình. 

Rô-bốt Cassie đã sử dụng học tăng cường để học cách đi bộ trong mô phỏng, điều này không phải là lần đầu tiên phương pháp này được sử dụng. Tuy nhiên, điều này thường không làm cho nó ra khỏi môi trường mô phỏng và vào thế giới thực. Thậm chí một sự khác biệt nhỏ cũng có thể khiến rô-bốt không thể đi bộ. 

Các nhà nghiên cứu đã sử dụng hai mô phỏng thay vì một, với mô phỏng đầu tiên là môi trường đào tạo mã nguồn mở gọi là MuJoCo. Trong mô phỏng đầu tiên, thuật toán đã thử và học từ một thư viện các chuyển động có thể, và trong mô phỏng thứ hai gọi là SimMechanics, rô-bốt đã thử nghiệm chúng trong các điều kiện thực tế hơn.

Sau khi được phát triển trong hai mô phỏng, thuật toán không cần phải được tinh chỉnh. Nó đã sẵn sàng để hoạt động trong thế giới thực. Không chỉ nó có thể đi bộ, mà nó còn có thể làm được nhiều hơn. Theo các nhà nghiên cứu, Cassie đã có thể phục hồi sau khi hai động cơ trong đầu gối của rô-bốt bị hỏng hóc.

Mặc dù Cassie có thể không có tất cả các tính năng như một số rô-bốt khác, nhưng nó thực sự ấn tượng hơn nhiều. Nó cũng có ý nghĩa lớn hơn cho công nghệ khi nói đến việc sử dụng trong thế giới thực, vì một rô-bốt đi bộ như vậy có thể được sử dụng trong nhiều lĩnh vực khác nhau.