Το ρομπότ διδάσκει τον εαυτό του να περπατά μέσα από την ενισχυτική μάθηση

Ενώ η Boston Dynamics και ρομπότ χορού συνήθως τυγχάνουν της περισσότερης προσοχής, υπάρχουν κάποιες σημαντικές εξελίξεις που λαμβάνουν χώρα στα παρασκήνια που δεν λαμβάνουν αρκετή κάλυψη. Μία από αυτές τις εξελίξεις προέρχεται από ένα εργαστήριο του Μπέρκλεϋ, όπου ένα ρομπότ ονόματι Κάσι μπόρεσε να διδάξει τον εαυτό του να περπατά μέσα από την ενισχυτική μάθηση. 

Μετά από δοκιμή και λάθος, το ζευγάρι των ρομποτικών ποδιών έμαθε να πλοηγείται σε ένα προσομοιωμένο περιβάλλον προτού τεθεί σε δοκιμή στον πραγματικό κόσμο. Αρχικά, το ρομπότ επέδειξε την ικανότητα να περπατά προς όλες τις κατευθύνσεις, να περπατά ενώ κάθεται οκλαδόν, να επανατοποθετείται όταν ωθείται εκτός ισορροπίας και να προσαρμόζεται σε διαφορετικούς τύπους επιφανειών. 

Το ρομπότ Cassie είναι η πρώτη περίπτωση ενός ρομπότ με δύο πόδια που χρησιμοποιεί επιτυχώς ενισχυτική εκμάθηση στο περπάτημα. 

Το δέος των ρομπότ που χορεύουν

Ενώ ρομπότ όπως αυτά της Boston Dynamics είναι εξαιρετικά εντυπωσιακά και προκαλούν δέος σχεδόν σε όλους όσους τα παρακολουθούν, υπάρχουν μερικοί βασικοί παράγοντες. Πιο συγκεκριμένα, αυτά τα ρομπότ είναι προγραμματισμένα και χορογραφημένα με το χέρι για να επιτύχουν το αποτέλεσμα, αλλά αυτή δεν είναι η προτιμώμενη μέθοδος σε πραγματικές καταστάσεις. 

Έξω από το εργαστήριο, τα ρομπότ πρέπει να είναι στιβαρά, ανθεκτικά, ευέλικτα και πολλά άλλα. Πέρα από όλα αυτά, πρέπει να είναι σε θέση να αντιμετωπίζουν και να χειρίζονται απροσδόκητες καταστάσεις, κάτι που μπορεί να γίνει μόνο αν τους επιτρέψουμε να χειριστούν οι ίδιοι τέτοιες καταστάσεις. 

Ο Zhongyu Li ήταν μέρος της ομάδας που εργαζόταν για την Cassie στο Πανεπιστήμιο του Berkeley. 

«Αυτά τα βίντεο μπορεί να κάνουν μερικούς ανθρώπους να πιστέψουν ότι αυτό είναι ένα λυμένο και εύκολο πρόβλημα», λέει ο Li. «Αλλά έχουμε ακόμη πολύ δρόμο να διανύσουμε για να λειτουργήσουν αξιόπιστα τα ανθρωποειδή ρομπότ και να ζουν σε ανθρώπινα περιβάλλοντα». 

Μάθηση Ενίσχυσης

Για να δημιουργήσει ένα τέτοιο ρομπότ, η ομάδα του Μπέρκλεϋ βασίστηκε στην ενισχυτική μάθηση, η οποία έχει χρησιμοποιηθεί από εταιρείες όπως η DeepMind για να εκπαιδεύσει αλγόριθμους για να νικήσει τους ανθρώπους στα πιο περίπλοκα παιχνίδια του κόσμου. Η ενισχυτική μάθηση βασίζεται στη δοκιμή και το σφάλμα, με το ρομπότ να μαθαίνει από τα λάθη του. 

Το ρομπότ Cassie χρησιμοποίησε ενισχυτική εκμάθηση για να μάθει πώς να περπατά σε μια προσομοίωση, η οποία δεν είναι η πρώτη φορά που χρησιμοποιείται αυτή η προσέγγιση. Ωστόσο, αυτό κανονικά δεν το βγάζει από το προσομοιωμένο περιβάλλον και στον πραγματικό κόσμο. Ακόμη και μια μικρή διαφορά μπορεί να έχει ως αποτέλεσμα το ρομπότ να μην περπατήσει. 

Οι ερευνητές χρησιμοποίησαν δύο προσομοιώσεις αντί για μία, με την πρώτη να είναι ένα εκπαιδευτικό περιβάλλον ανοιχτού κώδικα που ονομάζεται MuJoCo. Σε αυτήν την πρώτη προσομοίωση, ο αλγόριθμος προσπάθησε και έμαθε από μια βιβλιοθήκη πιθανών κινήσεων, και στη δεύτερη προσομοίωση που ονομάζεται SimMechanics, το ρομπότ τις δοκίμασε σε πιο πραγματικές συνθήκες.

Αφού αναπτύχθηκε στις δύο προσομοιώσεις, ο αλγόριθμος δεν χρειάστηκε να ρυθμιστεί με ακρίβεια. Ήταν ήδη έτοιμο να πάει στον πραγματικό κόσμο. Όχι μόνο ήταν σε θέση να περπατήσει, αλλά ήταν σε θέση να κάνει πολλά περισσότερα. Σύμφωνα με τους ερευνητές, η Cassie μπόρεσε να συνέλθει μετά από δυσλειτουργία δύο κινητήρων στο γόνατο του ρομπότ.

Ενώ η Cassie μπορεί να μην έχει όλες τις καμπάνες και τις σφυρίχτρες όπως μερικά από τα άλλα ρομπότ, είναι από πολλές απόψεις πολύ πιο εντυπωσιακή. Έχει επίσης μεγαλύτερες επιπτώσεις για την τεχνολογία όταν πρόκειται για χρήση στον πραγματικό κόσμο, καθώς ένα τέτοιο ρομπότ περπατήματος θα μπορούσε να χρησιμοποιηθεί σε πολλούς διαφορετικούς τομείς.