Διδάσκοντας στα ρομπότ τη χρήση εργαλείων με Νευρωνικά Πεδία Ακτινοβολίας (NeRF)

Νέα έρευνα από το Πανεπιστήμιο του Μίσιγκαν προσφέρει έναν τρόπο για τα ρομπότ να κατανοούν τους μηχανισμούς των εργαλείων και άλλων αρθρωτών αντικειμένων του πραγματικού κόσμου, δημιουργώντας Νευρωνικά Πεδία Ακτινοβολίας (NeRF) αντικείμενα που δείχνουν τον τρόπο με τον οποίο αυτά τα αντικείμενα κινούνται, δυνητικά επιτρέποντας στο ρομπότ να αλληλεπιδρά με αυτά και να τα χρησιμοποιήσει χωρίς τη χρονοβόρα αφιέρωση σε προκατασκευασμένες ρυθμίσεις.

Με τη χρήση γνωστών αναφορών για την εσωτερική κινητικότητα των εργαλείων (ή οποιουδήποτε αντικειμένου με μια κατάλληλη αναφορά), το NARF22 μπορεί να συνθέσει μια φωτορεαλιστική προσέγγιση του εργαλείου και του εύρους της κίνησής του και του τύπου της λειτουργίας. Πηγή: https://progress.eecs.umich.edu/projects/narf/

Τα ρομπότ που απαιτούνται να κάνουν περισσότερα από το να αποφεύγουν τους πεζούς ή να εκτελούν προγραμματισμένες ρουτίνες (για τις οποίες έχουν πιθανώς δημιουργηθεί και εκπαιδευτεί μη επαναχρησιμοποιήσιμα δεδομένα με κάποιο κόστος) χρειάζονται αυτό το είδος προσαρμοστικής ικανότητας αν θέλουν να δουλέψουν με τα ίδια υλικά και αντικείμενα που πρέπει να αντιμετωπίσουμε και εμείς.

Μέχρι σήμερα, υπήρξαν αρκετά εμπόδια για τον εφοδιασμό των ρομποτικών συστημάτων με αυτό το είδος ευελιξίας. Αυτά περιλαμβάνουν την έλλειψη εφαρμοστέων συνόλων δεδομένων, πολλά από τα οποία έχουν ένα πολύ περιορισμένο αριθμό αντικειμένων; το τεράστιο κόστος που εμπλέκεται στη δημιουργία φωτορεαλιστικών, mesh-βασισμένων τρισδιάστατων μοντέλων που μπορούν να βοηθήσουν τα ρομπότ να μάθουν τη χρήση εργαλείων στον πραγματικό κόσμο; και την μη φωτορεαλιστική ποιότητα των συνόλων δεδομένων που είναι κατάλληλα για την πρόκληση, κάνοντας τα αντικείμενα να φαίνονται αποσυνδεμένα από αυτά που το ρομπότ αντιλαμβάνεται στον κόσμο γύρω του και εκπαιδεύοντάς το να αναζητήσει ένα καρτούν-όμοιο αντικείμενο που δεν θα εμφανιστεί ποτέ στην πραγματικότητα.

Για να αντιμετωπίσουν αυτό, οι ερευνητές του Μίσιγκαν, της οποίας η εργασία έχει τον τίτλο NARF22: Νευρωνικά Αρθρωτά Πεδία Ακτινοβολίας για Απόδοση με Επίγνωση της Διαμόρφωσης, έχουν αναπτύξει μια διπλή διαδικασία για τη δημιουργία NeRF-βασισμένων εργαλείων που έχουν μια “πραγματική” εμφάνιση και που ενσωματώνουν την κίνηση και τους συνακόλουθους περιορισμούς κάθε αρθρωτού αντικειμένου.

Αν και φαίνεται πιο σύνθετο, τα δύο βασικά στάδια της διαδικασίας NARF22 περιλαμβάνουν την απόδοση στατικών μερών κινητών εργαλείων και στη συνέχεια την σύνθεση αυτών των στοιχείων σε ένα δεύτερο σύνολο δεδομένων που είναι ενημερωμένο για τους παράμετρους της κίνησης που αυτά τα μέρη έχουν, σε σχέση με το ένα το άλλο. Πηγή: https://arxiv.org/pdf/2210.01166.pdf

Το σύστημα ονομάζεται Νευρωνικό Αρθρωτό Πεδίο Ακτινοβολίας – ή NARF22, για να διακρίνεται από ένα άλλο παρόμοιο έργο.

NARF22

Ο καθορισμός του αν ένα άγνωστο αντικείμενο είναι πιθανώς αρθρωτό απαιτεί μια σχεδόν ακατανόητη ποσότητα ανθρώπινης γνώσης. Για παράδειγμα, αν δεν είχατε δει ποτέ ένα κλειστό συρτάρι πριν, μπορεί να φαίνεται ως οποιοδήποτε άλλο είδος διακοσμητικής πάνελ – δεν είναι μέχρι να το ανοίξετε που εσωτερικεύετε το “συρτάρι” ως ένα αρθρωτό αντικείμενο με έναν άξονα κίνησης (μπροστά και πίσω).

Επομένως, το NARF22 δεν προορίζεται ως ένα εξερευνητικό σύστημα για τη συλλογή αντικειμένων και τον έλεγχο εάν έχουν ενεργά κινούμενα μέρη – μια σχεδόν πιθηκίσια συμπεριφορά που θα ενείχε μια σειρά από πιθανώς καταστροφικές σκηνές. Αντίθετα, το πλαίσιο βασίζεται σε γνώσεις που είναι διαθέσιμες στο Καθολική Μορφή Περιγραφής Ρομπότ (URDF) – ένα ανοιχτό XML-βασισμένο μορφότυπο που είναι ευρέως εφαρμόσιμο και κατάλληλο για την εργασία. Ένα αρχείο URDF θα περιέχει τους παραμετρους της κίνησης του αντικειμένου, καθώς και περιγραφές και άλλες ετικετεμένες πτυχές των μερών του αντικειμένου.

Στις συμβατικές διαδικασίες, είναι απαραίτητο να περιγράψουμε τις δυνατότητες άρθρωσης του αντικειμένου και να ετικετεψουμε τις σχετικές τιμές των συνδέσμων. Αυτό δεν είναι ένα φθηνό ή εύκολα κλιμακώσιμο έργο. Αντίθετα, η διαδικασία NaRF22 αποδίδει τα ατομικά στοιχεία του αντικειμένου πριν από τη “συναρμολόγηση” κάθε στατικού στοιχείου σε μια αρθρωτή NeRF-βασισμένη αναπαράσταση, με γνώση των παραμέτρων της κίνησης που παρέχεται από το URDF.

Στο δεύτερο στάδιο της διαδικασίας, δημιουργείται ένας εντελώς νέος αποδοτής που ενσωματώνει όλα τα μέρη. Αν και θα ήταν ευκολότερο να συνδυάσουμε απλά τα ατομικά μέρη σε ένα προηγούμενο στάδιο και να παραλείψουμε το επόμενο βήμα, οι ερευνητές παρατηρούν ότι το τελικό μοντέλο – το οποίο εκπαιδεύτηκε σε ένα NVIDIA RTX 3080 GPU με επεξεργαστή AMD 5600X – έχει χαμηλότερες υπολογιστικές απαιτήσεις κατά τη οπισθοδιασπορά από τέτοια απότομη και πρόωρη συναρμολόγηση.

Επιπλέον, το μοντέλο του δεύτερου σταδίου τρέχει με διπλάσια ταχύτητα από μια συνδυασμένη, “βιαστική” συναρμολόγηση, και οποιαδήποτε δευτερεύοντα εφαρμογές που μπορεί να χρειαστούν να χρησιμοποιήσουν πληροφορίες για στατικά μέρη του μοντέλου δεν θα χρειαστεί να έχουν τη δική τους πρόσβαση σε πληροφορίες URDF, επειδή αυτό έχει ήδη ενσωματωθεί στον τελικό αποδοτή.

Δεδομένα και Πειράματα

Οι ερευνητές διεξήγαγαν μια σειρά από πειράματα για να δοκιμάσουν το NARF22: ένα για την αξιολόγηση της ποιότητας της απόδοσης για κάθε ρύθμιση και στάση του αντικειμένου; μια ποσοτική δοκιμή για τη σύγκριση των αποδοθέντων αποτελεσμάτων με παρόμοιες απόψεις που φαίνονται από ρομπότ του πραγματικού κόσμου; και μια επίδειξη της εκτίμησης της ρύθμισης και μιας 6 DOF (βάθος πεδίου) βελτίωσης πρόκλησης που χρησιμοποιούσε το NARF22 για να εκτελέσει μια βελτίωση με βάση την κλίση.

Τα δεδομένα εκπαίδευσης λήφθηκαν από το Σύνολο Εργαλείων Progress από μια προηγούμενη εργασία από τους συγγραφείς της παρούσας εργασίας. Το Σύνολο Εργαλείων Progress περιέχει περίπου έξι χιλιάδες RGB-D (δηλαδή, συμπεριλαμβανομένων πληροφοριών βάθους, απαραίτητων για την όραση ρομπότ) εικόνες σε ανάλυση 640×480. Οι σκηνές που χρησιμοποιήθηκαν περιελάμβαναν οκτώ χειροεργαλεία, διαιρεμένα στα συνθετικά τους μέρη, μαζί με μοντέλα mesh και πληροφορίες για τις κινηματικές ιδιότητες των αντικειμένων (δηλαδή, τον τρόπο με τον οποίο είναι σχεδιασμένα να κινούνται και τους παράμετρους της κίνησης).

Το Σύνολο Εργαλείων Progress περιλαμβάνει τέσσερα αρθρωτά εργαλεία. Οι εικόνες παραπάνω είναι NeRF-βασισμένες αποδοτήσεις από το NARF22.

Για αυτό το πείραμα, ένα τελικό ρυθμισμένο μοντέλο εκπαιδεύτηκε χρησιμοποιώντας μόνο πένσες ηλεκτρολόγου, μυτοτσίμπιδα και έναν σφιγκτήρα (βλέπε εικόνα παραπάνω). Τα δεδομένα εκπαίδευσης περιελάμβαναν μία μόνο διαμόρφωση του σφιγκτήρα και μία για κάθε τύπο πένσας.

Η υλοποίηση του NARF22 βασίζεται στο FastNeRF, με τους εισαγωγικούς παραμέτρους τροποποιημένους για να εστιάσουν στην συνδυασμένη και χωρικά-κωδικοποιημένη στάση των εργαλείων. Το FastNeRF χρησιμοποιεί παραγοντοποιημένο πολυστρωματικό perceptron (MLP) σε συνδυασμό με έναν μηχανισμό δειγματοληψίας με voxel (voxels είναι ουσιαστικά pixels, αλλά με πλήρη 3D συντεταγμένες, ώστε να μπορούν να λειτουργούν σε έναν τρισδιάστατο χώρο).

Για τη ποιοτική δοκιμή, οι ερευνητές παρατηρούν ότι υπάρχουν ορισμένα κρυμμένα μέρη του σφιγκτήρα (δηλαδή, τον κεντρικό άξονα, που δεν μπορεί να γνωριστεί ή να υπολογιστεί από την παρατήρηση του αντικειμένου, αλλά μόνο από την αλληλεπίδραση με αυτό), και ότι το σύστημα έχει δυσκολία στη δημιουργία αυτής της “άγνωστης” γεωμετρίας.

Ποιοτικές αποδοτήσεις εργαλείων.

Αντίθετα, οι πένσες ήταν σε θέση να γενικεύσουν καλά σε νέες ρυθμίσεις (δηλαδή, σε επεκτάσεις και κινήσεις των μερών τους που είναι μέσα στα όρια του URDF, αλλά που δεν αντιμετωπίζονται ρητά στο υλικό εκπαίδευσης του μοντέλου).

Οι ερευνητές παρατηρούν, ωστόσο, ότι λάθη ετικετών για οι πένσες οδήγησαν σε μια μείωση της ποιότητας της απόδοσης για τις πολύ λεπτομερείς κορυφές των εργαλείων, αρνητικά επηρεάζοντας τις αποδοτήσεις – ένα πρόβλημα που σχετίζεται με πολύ ευρύτερες ανησυχίες γύρω από την οργάνωση της επισήμανσης, τον προϋπολογισμό και την ακρίβεια στην έρευνα της όρασης υπολογιστή, και όχι με οποιοδήποτε ελάττωμα της διαδικασίας NARF22.

Αποτελέσματα από τη δοκιμή ακρίβειας απόδοσης.

Για τις δοκιμές εκτίμησης της ρύθμισης, οι ερευνητές εκτέλεσαν μια βελτίωση της στάσης και μια εκτίμηση της ρύθμισης από μια αρχική “σκληρή” στάση, αποφεύγοντας οποιαδήποτε από τα cache ή άλλες επιταχύνσεις που χρησιμοποιούνται από το ίδιο το FastNeRF.

Στη συνέχεια, υπέβαλαν σε προσαρμογή 17 καλά διατεταγμένες σκηνές από το σύνολο δοκιμών του Progress Tools (το οποίο είχε αποκλειστεί από την εκπαίδευση), εκτελώντας 150 επαναλήψεις βελτιστοποίησης με κάθοδο κλίσης και τον βελτιστοποιητή Adam. Αυτή η διαδικασία ανέκτησε την εκτίμηση της ρύθμισης “εξαιρετικά καλά”, σύμφωνα με τους ερευνητές.

Αποτελέσματα από τη δοκιμή εκτίμησης της ρύθμισης.

Πρώτη δημοσίευση 5ης Οκτωβρίου 2022.