Το Ρομπότ Μαθαίνει Να Περπατά Μέσω Ενισχυτικής Μάθησης

Εν timp που η Boston Dynamics και τα ρομπότ που χορεύουν συνήθως λαμβάνουν την περισσότερη προσοχή, υπάρχουν κάποια σημαντικά γεγονότα που συμβαίνουν πίσω από τις κulis που δεν λαμβάνουν αρκετή κάλυψη. Ένα από αυτά τα γεγονότα προέρχεται από ένα εργαστήριο του Μπέρκλεϊ, όπου ένα ρομπότ με το όνομα Cassie μπόρεσε να διδάξει τον εαυτό του να περπατά μέσω ενισχυτικής μάθησης.

Μετά από δοκιμές και λάθη, το ζευγάρι ρομποτικών ποδιών έμαθε να ναυτιázei σε ένα προσομοιωμένο περιβάλλον πριν τεστεί στον πραγματικό κόσμο. Αρχικά, το ρομπότ απέδειξε την ικανότητα να περπατά σε όλες τις κατευθύνσεις, να περπατά ενώ squats xuống, να επανατοποθετεί τον εαυτό του όταν推 εκτός ισορροπίας και να προσαρμόζεται σε διαφορετικά είδη επιφανειών.

Το ρομπότ Cassie είναι η πρώτη περίπτωση ενός ρομπότ με δύο πόδια που χρησιμοποιεί με επιτυχία την ενισχυτική μάθηση για να περπατά.

Το Θαύμα των Χορεύοντων Ρομπότ

Εν timp που τα ρομπότ όπως αυτά της Boston Dynamics είναι εξαιρετικά εντυπωσιακά και θαυμάζουν σχεδόν όλους όσους τα βλέπουν, υπάρχουν κάποια κρίσιμα στοιχεία. Τα περισσότερα αξιοσημείωτα, αυτά τα ρομπότ είναι προγραμματισμένα και χορογραφημένα με το χέρι για να επιτύχουν το αποτέλεσμα, αλλά αυτό δεν είναι η προτιμώμενη μέθοδος σε πραγματικές καταστάσεις.

Εξωτερικά του εργαστηρίου, τα ρομπότ πρέπει να είναι robust, ανθεκτικά, ευέλικτα και πολλά άλλα. Επιπλέον, πρέπει να είναι σε θέση να συναντήσουν και να χειριστούν απροσδόκητες καταστάσεις, οι οποίες μπορούν να γίνουν μόνο ενεργοποιώντας τους να χειριστούν τέτοιες καταστάσεις οι ίδιοι.

Ο Zhongyu Li ήταν μέρος της ομάδας που εργαζόταν στο Cassie στο Πανεπιστήμιο του Μπέρκλεϊ.

“Αυτά τα βίντεο μπορεί να οδηγήσουν κάποιους ανθρώπους να πιστεύουν ότι αυτό είναι ένα λυμένο και εύκολο πρόβλημα,” λέει ο Li. “Αλλά ακόμα έχουμε einen μακρύ δρόμο να διασχίσουμε για να έχουμε ανθρωπόμορφα ρομπότ που να λειτουργούν και να ζουν σε ανθρώπινες περιβάλλοντες.”

https://www.youtube.com/watch?v=goxCjGPQH7U

Ενισχυτική Μάθηση

Για να δημιουργήσουν ένα τέτοιο ρομπότ, η ομάδα του Μπέρκλεϊ βασίστηκε στην ενισχυτική μάθηση, η οποία έχει χρησιμοποιηθεί από εταιρείες όπως η DeepMind για να εκπαιδεύσει αλγόριθμους να νικήσουν ανθρώπους στο παγκόσμιο πιο σύνθετο παιχνίδι. Η ενισχυτική μάθηση βασίζεται σε δοκιμές και λάθη, με το ρομπότ να μαθαίνει από τα λάθη του.

Το ρομπότ Cassie использовало την ενισχυτική μάθηση για να μάθει πώς να περπατά σε μια προσομοίωση, το οποίο δεν είναι η πρώτη φορά που αυτή η προσέγγιση έχει χρησιμοποιηθεί. Ωστόσο, αυτό δεν συνήθως βγάζει από το προσομοιωμένο περιβάλλον και στον πραγματικό κόσμο. Ακόμα και μια μικρή διαφορά μπορεί να οδηγήσει το ρομπότ να αποτύχει να περπατά.

Οι ερευνητές χρησιμοποίησαν δύο προσομοιώσεις αντί για μία, με την πρώτη να είναι ένα ανοιχτό προγραμματιστικό περιβάλλον με το όνομα MuJoCo. Σε αυτήν την πρώτη προσομοίωση, ο αλγόριθμος προσπάθησε και έμαθε από μια βιβλιοθήκη πιθανών κινήσεων, και στη δεύτερη προσομοίωση με το όνομα SimMechanics, το ρομπότ έ-tested τις κινήσεις σε πιο πραγματικές συνθήκες.

Μετά την ανάπτυξη στις δύο προσομοιώσεις, ο αλγόριθμος δεν χρειαζόταν να fine-tune. Ήταν ήδη έτοιμος να λειτουργήσει στον πραγματικό κόσμο. Όχι μόνο ήταν σε θέση να περπατά, αλλά ήταν σε θέση να κάνει πολύ περισσότερα. Σύμφωνα με τους ερευνητές, το Cassie ήταν σε θέση να ανακτήσει μετά από δύο κινητήρες στο γόνατο του ρομπότ να αποτυγχάνουν.

Εν timp που το Cassie μπορεί να μην έχει όλα ταμπελάκι και τις πισίνες όπως κάποια άλλα ρομπότ, είναι με πολλούς τρόπους πολύ πιο εντυπωσιακό. Έχει επίσης μεγαλύτερες επιπτώσεις για την τεχνολογία όταν πρόκειται για πραγματική χρήση, καθώς ένα ρομπότ που μπορεί να περπατά μπορεί να χρησιμοποιηθεί σε πολλούς διαφορετικούς τομείς.