Ρομπότ Ικανά να Μάθουν Συγκλονιστικές Δουλειές Από Λίγες Δημιουργίες

Σε μια από τις τελευταίες εξελίξεις στον τομέα της ρομποτικής, ερευνητές στο Πανεπιστήμιο του Νότιου Καλιφόρνια (USC) έχουν αναπτύξει ένα σύστημα όπου τα ρομπότ μπορούν να μάθουν σύνθετες εργασίες με λίγες δημιουργίες. Ακόμη πιο εντυπωσιακά, κάποιες από τις δημιουργίες μπορούν να είναι ατελείς.

Η έρευνα παρουσιάστηκε στη Διάσκεψη για την Εκμάθηση Ρομπότ (CoRL) στις 18 Νοεμβρίου, με τίτλο “Μάθηση από Δημιουργίες Χρησιμοποιώντας Χρονική Λογική Σήματος.”

Το Σύστημα

Η ποιότητα κάθε δημιουργίας μετράται ώστε το σύστημα να μπορεί να μάθει από τις επιτυχίες και τις αποτυχίες του. Σε αντίθεση με τις τρέχουσες μεθόδους, οι οποίες απαιτούν τουλάχιστον 100 δημιουργίες για να διδάξουν μια συγκεκριμένη εργασία, το νέο σύστημα απαιτεί μόνο λίγες. Με einen 직관τικό τρόπο, ο τρόπος με τον οποίο αυτά τα ρομπότ μαθαίνουν είναι παρόμοιος με τον τρόπο που οι άνθρωποι μαθαίνουν ο ένας από τον άλλον. Για παράδειγμα, οι άνθρωποι παρακολουθούν και μαθαίνουν από άλλους που ολοκληρώνουν εργασίες με επιτυχία ή ατελείς.

Ο Aniruddh Puranic είναι ο βασικός συγγραφέας της έρευνας και φοιτητής διδακτορικού στο τμήμα πληροφορικής του USC Viterbi School of Engineering.

“Πολυάριθμες μηχανές μάθησης και ενίσχυσης μάθησης απαιτούν μεγάλες ποσότητες δεδομένων και εκατοντάδες δημιουργίες – χρειάζεται ένας άνθρωπος να δείξει επανειλημμένα, το οποίο δεν είναι εφικτό”, είπε ο Puranic.

“Επίσης, οι περισσότεροι άνθρωποι δεν έχουν γνώσεις προγραμματισμού για να δηλώσουν ρητά τι πρέπει να κάνει το ρομπότ, και ένας άνθρωπος δεν μπορεί να δείξει όλα όσα πρέπει να γνωρίζει το ρομπότ”, συνέχισε. “Τι θα συμβεί αν το ρομπότ συναντήσει κάτι που δεν έχει δει trước; Αυτό είναι μια κρίσιμη πρόκληση.”

Οι ερευνητές χρησιμοποίησαν “χρονική λογική σήματος” ή STL για να καθορίσουν την ποιότητα των δημιουργιών, τις βαθμολογώντας αντίστοιχα και δημιουργώντας εγγενείς ανταμοιβές.

Υπάρχουν δύο κύριοι λόγοι για τους οποίους οι ερευνητές αποφάσισαν να χρησιμοποιήσουν STL:

1. Μαθαίνοντας μέσω δημιουργιών, τα ρομπότ μπορούν να πάρουν ατελειές ή ακόμη και ασφαλείς συμπεριφορές και ανεπιθύμητες ενέργειες.
2. Οι δημιουργίες μπορούν να διαφέρουν σε ποιότητα ανάλογα με τον χρήστη που τις παρέχει, και κάποιες δημιουργίες είναι καλύτερες ενδείξεις της επιθυμητής συμπεριφοράς από άλλες.

Αναπτύσσοντας το σύστημα με αυτόν τον τρόπο, το ρομπότ μπορεί ακόμη να μάθει από τις ατελείς δημιουργίες, ακόμη και αν δεν ικανοποιούν τις απαιτήσεις της λογικής. Με άλλα λόγια, κάνει το δικό του συμπέρασμα σχετικά με την ακρίβεια ή την επιτυχία.

Ο Stefanos Nikolaidis είναι συν-συγγραφέας και βοηθός καθηγητής πληροφορικής στο USC Viterbi.

“Ας πούμε ότι τα ρομπότ μαθαίνουν από διαφορετικά είδη δημιουργιών – θα μπορούσε να είναι μια πρακτική δημιουργία, βίντεο ή προσομοιώσεις – αν κάνω κάτι που είναι πολύ ασφαλές, οι τυπικές προσεγγίσεις θα κάνουν ένα από τα δύο: είτε θα αγνοήσουν完全, είτε θα μάθουν το λάθος πράγμα”, λέει ο Nikolaidis.

“Σε αντίθεση, σε έναν πολύ έξυπνο τρόπο, αυτό το έργο χρησιμοποιεί κάποια κοινή λογική στοιχείο στη μορφή της λογικής για να κατανοήσει ποια μέρη της δημιουργίας είναι καλά και ποια μέρη δεν είναι”, συνεχίζει. “Στην ουσία, αυτό είναι ακριβώς αυτό που κάνουν και οι άνθρωποι.”

Χρονική Λογική Σήματος

Τα ρομπότ μπορούν να συλλογιστούν για τρέχοντα και μελλοντικά αποτελέσματα μέσω της STL, η οποία είναι μια εκφραστική μαθηματική συμβολική γλώσσα. Προηγουμένως, η έρευνα βασίζονταν στη “γραμμική χρονική λογική”.

Ο Jyo Deshmukh είναι πρώην μηχανικός της Toyota και βοηθός καθηγητής πληροφορικής στο USC.

“Όταν μπαίνουμε στον κόσμο των κυβερνο-φυσικών συστημάτων, όπως τα ρομπότ και τα αυτονομικά οχήματα, όπου ο χρόνος είναι κρίσιμος, η γραμμική χρονική λογική γίνεται有点 Cumbersome, επειδή συλλογίζεται για ακολουθίες αληθινών/ψευδών τιμών για μεταβλητές, ενώ η STL επιτρέπει τη συλλογή για φυσικά σήματα”, λέει ο Deshmukh.

Η ομάδα των ερευνητών ήταν έκπληκτη από το επίπεδο επιτυχίας του συστήματος.

“Συγκρινόμενο με einen αλγόριθμο state-of-the-art, που χρησιμοποιείται εκτενώς σε εφαρμογές ρομποτικής, βλέπετε μια διαφορά τάξης μεγέθους στο πόσες δημιουργίες απαιτούνται”, λέει ο Nikolaidis.

Σύμφωνα με τους ερευνητές, τα συστήματα θα μπορούσαν να μάθουν από προσομοιωτές οδήγησης και τελικά βίντεο. Ο επόμενος βήμα είναι να το δοκιμάσουν σε πραγματικά ρομπότ, καθώς η αρχική δοκιμή έγινε σε einen παιχνίδι προσομοιωτή. Το σύστημα θα είναι χρήσιμο για εφαρμογές όπως αυτές σε οικιακούς περιβάλλοντες, αποθήκες και εξερευνητές διαστήματος.

“Αν θέλουμε τα ρομπότ να είναι καλοί συνεργάτες και να βοηθούν τους ανθρώπους, πρώτα πρέπει να μάθουν και να προσαρμοστούν στις ανθρώπινες προτιμήσεις πολύ αποτελεσματικά”, λέει ο Nikolaidis. “Η μέθοδός μας παρέχει αυτό.”