Ein Roboter bringt sich selbst das Gehen durch Reinforcement Learning bei

Während Boston Dynamics und tanzende Roboter normalerweise die meiste Aufmerksamkeit erhalten, gibt es einige wichtige Entwicklungen im Hintergrund, die nicht genug Beachtung finden. Eine dieser Entwicklungen kommt aus einem Labor in Berkeley, wo ein Roboter namens Cassie es schaffte, sich selbst das Gehen durch Reinforcement Learning beizubringen.

Nach Versuch und Irrtum lernten die beiden robotischen Beine, in einer simulierten Umgebung zu navigieren, bevor sie in der realen Welt getestet wurden. Zunächst zeigte der Roboter die Fähigkeit, in alle Richtungen zu gehen, während er sich hinsetzte, sich neu positionierte, wenn er aus dem Gleichgewicht gebracht wurde, und sich an verschiedene Oberflächen anpasste.

Der Cassie-Roboter ist das erste Beispiel für einen zweibeinigen Roboter, der erfolgreich Reinforcement Learning verwendet, um zu gehen.

Die Bewunderung für tanzende Roboter

Während Roboter wie die von Boston Dynamics extrem beeindruckend sind und fast jeden, der sie sieht, in Erstaunen versetzen, gibt es einige wichtige Faktoren. Vor allem sind diese Roboter von Hand programmiert und choreographiert, um das Ergebnis zu erzielen, aber dies ist nicht die bevorzugte Methode in realen Situationen.

Außerhalb des Labors müssen Roboter robust, widerstandsfähig, flexibel und viel mehr sein. Darüber hinaus müssen sie in der Lage sein, unvorhergesehene Situationen zu treffen und zu bewältigen, was nur möglich ist, indem sie selbst in der Lage sind, solche Situationen zu bewältigen.

Zhongyu Li war Teil des Teams, das an Cassie an der Universität von Berkeley arbeitete.

“Diese Videos können einige Menschen dazu bringen, zu glauben, dass dies ein gelöstes und einfaches Problem ist”, sagt Li. “Aber wir haben noch einen langen Weg vor uns, um humanoiden Robotern zu ermöglichen, zuverlässig in menschlichen Umgebungen zu operieren und zu leben.”

https://www.youtube.com/watch?v=goxCjGPQH7U

Reinforcement Learning

Um einen solchen Roboter zu erstellen, verließ sich das Team von Berkeley auf Reinforcement Learning, das von Unternehmen wie DeepMind verwendet wurde, um Algorithmen zu trainieren, die menschliche Gegner bei den komplexesten Spielen der Welt schlagen. Reinforcement Learning basiert auf Versuch und Irrtum, wobei der Roboter aus seinen Fehlern lernt.

Der Cassie-Roboter verwendete Reinforcement Learning, um zu lernen, in einer Simulation zu gehen, was nicht das erste Mal ist, dass dieser Ansatz verwendet wurde. Allerdings kommt dies normalerweise nicht aus der simulierten Umgebung und in die reale Welt. Selbst eine kleine Differenz kann dazu führen, dass der Roboter nicht gehen kann.

Die Forscher verwendeten zwei Simulationen anstelle von einer, wobei die erste eine offene Trainingsumgebung namens MuJoCo war. In dieser ersten Simulation versuchte der Algorithmus und lernte aus einer Bibliothek möglicher Bewegungen, und in der zweiten Simulation namens SimMechanics testete der Roboter sie in realistischeren Bedingungen aus.

Nach der Entwicklung in den beiden Simulationen musste der Algorithmus nicht fein abgestimmt werden. Er war bereits bereit, in der realen Welt verwendet zu werden. Er konnte nicht nur gehen, sondern auch viel mehr. Laut den Forschern konnte Cassie sich erholen, nachdem zwei Motoren im Knie des Roboters ausgefallen waren.

Während Cassie möglicherweise nicht alle Glocken und Pfeifen wie einige andere Roboter hat, ist er auf viele Weise viel beeindruckender. Er hat auch größere Auswirkungen auf die Technologie, wenn es um die reale Welt geht, da ein solcher gehender Roboter in vielen verschiedenen Sektoren eingesetzt werden könnte.