El robot se enseña a caminar a través del aprendizaje por refuerzo

Mientras que Boston Dynamics y los robots que bailan suelen recibir la mayor parte de la atención, hay algunos desarrollos importantes que están sucediendo detrás de escena que no reciben la cobertura suficiente. Uno de esos desarrollos proviene de un laboratorio de Berkeley, donde un robot llamado Cassie pudo enseñarse a caminar a través del aprendizaje por refuerzo.

Después de prueba y error, el par de piernas robóticas aprendió a navegar en un entorno simulado antes de ser sometido a prueba en el mundo real. Inicialmente, el robot demostró la capacidad de caminar en todas las direcciones, caminar mientras se agachaba, reponerse cuando se lo empujaba fuera de equilibrio y adaptarse a diferentes tipos de superficies.

El robot Cassie es el primer ejemplo de un robot de dos piernas que utiliza con éxito el aprendizaje por refuerzo para caminar.

La admiración de los robots que bailan

Mientras que los robots como los de Boston Dynamics son extremadamente impresionantes y causan admiración en casi todos los que los ven, hay algunos factores clave. Lo más notable es que estos robots están programados y coreografiados a mano para lograr el resultado, pero este no es el método preferido en situaciones del mundo real.

Fuera del laboratorio, los robots deben ser robustos, resistentes, flexibles y mucho más. Además de todo eso, deben ser capaces de encontrar y manejar situaciones inesperadas, lo que solo se puede lograr permitiéndoles manejar esas situaciones por sí mismos.

Zhongyu Li fue parte del equipo que trabajó en Cassie en la Universidad de Berkeley.

“Estos videos pueden llevar a algunas personas a creer que este es un problema resuelto y fácil”, dice Li. “Pero todavía tenemos un largo camino por recorrer para tener robots humanoides que operen de manera confiable y vivan en entornos humanos”.

https://www.youtube.com/watch?v=goxCjGPQH7U

Aprendizaje por refuerzo

Para crear un robot como este, el equipo de Berkeley se basó en el aprendizaje por refuerzo, que ha sido utilizado por empresas como DeepMind para entrenar algoritmos que superen a los seres humanos en los juegos más complejos del mundo. El aprendizaje por refuerzo se basa en la prueba y el error, con el robot que aprende de sus errores.

El robot Cassie utilizó el aprendizaje por refuerzo para aprender a caminar en una simulación, lo que no es la primera vez que se ha utilizado este enfoque. Sin embargo, esto normalmente no sale del entorno simulado y entra en el mundo real. Incluso una pequeña diferencia puede hacer que el robot no pueda caminar.

Los investigadores utilizaron dos simulaciones en lugar de una, con la primera siendo un entorno de entrenamiento de código abierto llamado MuJoCo. En esta primera simulación, el algoritmo intentó y aprendió de una biblioteca de movimientos posibles, y en la segunda simulación llamada SimMechanics, el robot los puso a prueba en condiciones más realistas.

Después de ser desarrollado en las dos simulaciones, el algoritmo no necesitó ser ajustado. Ya estaba listo para ser utilizado en el mundo real. No solo pudo caminar, sino que también pudo hacer mucho más. Según los investigadores, Cassie pudo recuperarse después de que dos motores en la rodilla del robot fallaron.

Mientras que Cassie puede no tener todos los adornos y características de algunos de los otros robots, es de muchas maneras mucho más impresionante. También tiene mayores implicaciones para la tecnología cuando se trata de su uso en el mundo real, ya que un robot que camina como este podría ser utilizado en muchos sectores diferentes.