Robô Ensina a Si Mesmo a Andar Através do Aprendizado por Reforço

Enquanto a Boston Dynamics e robôs dançantes geralmente recebem a maior parte da atenção, há alguns desenvolvimentos importantes acontecendo nos bastidores que não recebem a cobertura suficiente. Um desses desenvolvimentos vem de um laboratório de Berkeley, onde um robô chamado Cassie foi capaz de se ensinar a andar por meio do aprendizado por reforço. 

Após tentativas e erros, o par de pernas robóticas aprendeu a navegar em um ambiente simulado antes de ser testado no mundo real. Inicialmente, o robô demonstrou a capacidade de andar em todas as direções, andar enquanto se agachava, reposicionar-se quando era empurrado para fora do equilíbrio e se adaptar a diferentes tipos de superfícies. 

O robô Cassie é a primeira instância de um robô de duas pernas que usa com sucesso o aprendizado por reforço para andar. 

O Assombro dos Robôs Dançantes

Enquanto robôs como os da Boston Dynamics são extremamente impressionantes e causam admiração em quase todos que os assistem, há alguns fatores importantes. Mais notavelmente, esses robôs são programados à mão e coreografados para alcançar o resultado, mas isso não é o método preferido em situações do mundo real. 

Fora do laboratório, os robôs devem ser robustos, resilientes, flexíveis e muito mais. Além disso, eles precisam ser capazes de lidar com situações inesperadas, o que só pode ser feito permitindo que eles lidem com essas situações por si mesmos. 

Zhongyu Li fez parte da equipe que trabalhava no Cassie na Universidade de Berkeley. 

“Esses vídeos podem levar algumas pessoas a acreditar que isso é um problema resolvido e fácil,” diz Li. “Mas ainda temos um longo caminho a percorrer para ter robôs humanoides operando de forma confiável e vivendo em ambientes humanos.” 

https://www.youtube.com/watch?v=goxCjGPQH7U

Aprendizado por Reforço

Para criar um robô como esse, a equipe de Berkeley se baseou no aprendizado por reforço, que foi usado por empresas como a DeepMind para treinar algoritmos para superar humanos nos jogos mais complexos do mundo. O aprendizado por reforço é baseado em tentativas e erros, com o robô aprendendo com seus próprios erros. 

O robô Cassie usou o aprendizado por reforço para aprender a andar em uma simulação, o que não é a primeira vez que essa abordagem foi usada. No entanto, isso normalmente não sai do ambiente simulado e vai para o mundo real. Mesmo uma pequena diferença pode resultar no robô falhando em andar. 

Os pesquisadores usaram duas simulações em vez de uma, sendo a primeira um ambiente de treinamento de código aberto chamado MuJoCo. Nessa primeira simulação, o algoritmo tentou e aprendeu com uma biblioteca de movimentos possíveis, e na segunda simulação chamada SimMechanics, o robô testou-os em condições mais realistas do mundo real.

Depois de ser desenvolvido nas duas simulações, o algoritmo não precisou ser ajustado. Ele já estava pronto para ser usado no mundo real. Não apenas ele conseguiu andar, mas também conseguiu fazer muito mais. De acordo com os pesquisadores, o Cassie conseguiu se recuperar após dois motores no joelho do robô falharem.

Embora o Cassie possa não ter todos os recursos de outros robôs, ele é de muitas maneiras muito mais impressionante. Ele também tem implicações muito maiores para a tecnologia quando se trata de uso no mundo real, pois um robô que pode andar pode ser usado em muitos setores diferentes.