Διδάσκοντας Ρομπότ για Εργαλεία με Νευρωνικές Πεδία Ραδιότητας (NeRF)

Νέα έρευνα από το Πανεπιστήμιο του Μίσιγκαν προσφέρει έναν τρόπο για τα ρομπότ να κατανοούν τους μηχανισμούς των εργαλείων και άλλων αντικειμένων του πραγματικού κόσμου, δημιουργώντας Νευρωνικά Πεδία Ραδιότητας (NeRF) αντικείμενα που δείχνουν τον τρόπο με τον οποίο αυτά τα αντικείμενα κινούνται, потенτικά επιτρέποντας στο ρομπότ να αλληλεπιδρά με αυτά και να τα χρησιμοποιήσει χωρίς τη χρονοβόρα αφιέρωση σε προκατασκευασμένες ρυθμίσεις.

Με τη χρήση γνωστών αναφορών για την εσωτερική κινητικότητα των εργαλείων (ή οποιουδήποτε αντικειμένου με μια κατάλληλη αναφορά), το NARF22 μπορεί να συνθέσει μια φωτορεαλιστική προσέγγιση του εργαλείου και του εύρους της κίνησής του και του τύπου της λειτουργίας. Πηγή: https://progress.eecs.umich.edu/projects/narf/

Τα ρομπότ που απαιτούνται να κάνουν περισσότερα από το να αποφεύγουν τους πεζούς ή να εκτελούν προγραμματισμένες ρουτίνες (για τις οποίες έχουν πιθανώς δημιουργηθεί και εκπαιδευτεί μη επαναχρησιμοποιήσιμα δεδομένα με κάποιο κόστος) χρειάζονται αυτό το είδος προσαρμοστικής ικανότητας αν θέλουν να δουλέψουν με τα ίδια υλικά και αντικείμενα που πρέπει να αντιμετωπίσουμε και εμείς.

Μέχρι σήμερα, υπήρξαν कई εμπόδια για τη διείσδυση των ρομποτικών συστημάτων με αυτό το είδος ευελιξίας. Αυτά περιλαμβάνουν την έλλειψη εφαρμοστέων συνόλων δεδομένων, πολλά από τα οποία έχουν ένα πολύ περιορισμένο αριθμό αντικειμένων; το τεράστιο κόστος που εμπλέκεται στη δημιουργία φωτορεαλιστικών, mesh-βασισμένων τρισδιάστατων μοντέλων που μπορούν να βοηθήσουν τα ρομπότ να μάθουν την ενεργητικότητα στον πραγματικό κόσμο; και την μη φωτορεαλιστική ποιότητα των συνόλων δεδομένων που είναι κατάλληλα για την πρόκληση, khiến τα αντικείμενα να φαίνονται αποσυνδεμένα από αυτά που το ρομπότ αντιλαμβάνεται στον κόσμο γύρω του και εκπαιδεύοντάς το να αναζητήσει ένα καρτούν-όμοιο αντικείμενο που δεν θα εμφανιστεί ποτέ στην πραγματικότητα.

Για να αντιμετωπίσουν αυτό, οι ερευνητές του Μίσιγκαν, της οποίας η εργασία έχει τον τίτλο NARF22: Νευρωνικά Εργαλειοποιημένα Πεδία Ραδιότητας για Προσαρμοστική Απόδοση, έχουν αναπτύξει μια διπλή διαδικασία για τη δημιουργία NeRF-βασισμένων εργαλείων που έχουν μια “πραγματική” εμφάνιση και που ενσωματώνουν την κίνηση και τις ενσαρκώσεις των ορίων κάθε εργαλείου.

Αν και φαίνεται πιο σύνθετο, τα δύο βασικά στάδια της διαδικασίας NARF22 περιλαμβάνουν την απόδοση στατικών μερών κινητών εργαλείων και στη συνέχεια την σύνθεση αυτών των στοιχείων σε ένα δεύτερο σύνολο δεδομένων που είναι ενημερωμένο για τους παράμετρους της κίνησης που αυτά τα μέρη έχουν, σε σχέση με το ένα το άλλο. Πηγή: https://arxiv.org/pdf/2210.01166.pdf

Το σύστημα ονομάζεται Νευρωνικό Εργαλειοποιημένο Πεδίο Ραδιότητας – ή NARF22, για να διακρίνεται από ένα άλλο παρόμοιο έργο.

NARF22

Η καθορισμός του αν ένα άγνωστο αντικείμενο είναι πιθανώς εργαλειοποιημένο απαιτεί μια σχεδόν ακατανόητη ποσότητα ανθρώπινης γνώσης. Για παράδειγμα, αν δεν είχατε δει ποτέ ένα κλειστό συρτάρι πριν, μπορεί να φαίνεται ως οποιοδήποτε άλλο είδος διακοσμητικής πάνελ – δεν είναι μέχρι να το ανοίξετε που εσωτερικεύετε το “συρτάρι” ως ένα εργαλειοποιημένο αντικείμενο με einen άξονα κίνησης (μπροστά και πίσω).

Επομένως, το NARF22 δεν προορίζεται ως ένα εξερευνητικό σύστημα για τη συλλογή αντικειμένων και τον έλεγχο εάν έχουν ενεργά κινούμενα μέρη – σχεδόν πρωτόγονο συμπεριφορά που θα ενείχε μια σειρά από πιθανώς καταστροφικές σκηνές. Αντίθετα, το πλαίσιο βασίζεται σε γνώσεις που είναι διαθέσιμες στο Πλαίσιο Περιγραφής Ρομπότ (URDF) – ένα ανοιχτό XML-βασισμένο μορφότυπο που είναι ευρέως εφαρμόσιμο και κατάλληλο για την εργασία. Ένα αρχείο URDF θα περιέχει τους παραμετρους της κίνησης του αντικειμένου, καθώς και περιγραφές και άλλες ετικετεμένες πτυχές των μερών του αντικειμένου.

Στις συμβατικές διαδικασίες, είναι απαραίτητο να περιγράψουμε τις εργαλειοποιημένες ικανότητες του αντικειμένου και να ετικετεψουμε τις σχετικές τιμές των συνδέσμων. Αυτό δεν είναι एक φθηνό ή εύκολα αναλογικό έργο. Αντίθετα, η διαδικασία NaRF22 αποδίδει τα ατομικά στοιχεία του αντικειμένου πριν από τη “συναρμολόγηση” κάθε στατικού στοιχείου σε μια εργαλειοποιημένη NeRF-βασισμένη αναπαράσταση, με γνώση των παραμέτρων της κίνησης που παρέχεται από το URDF.

Στο δεύτερο στάδιο της διαδικασίας, δημιουργείται ένας εντελώς νέος αποδοτής που ενσωματώνει όλα τα μέρη. Αν και θα ήταν ευκολότερο να συνδυάσουμε απλά τα ατομικά μέρη σε ένα προηγούμενο στάδιο και να παραλείψουμε το επόμενο βήμα, οι ερευνητές παρατηρούν ότι το τελικό μοντέλο – το οποίο εκπαιδεύτηκε σε ένα NVIDIA RTX 3080 GPU υπό einen AMD 5600X CPU – έχει χαμηλότερες υπολογιστικές απαιτήσεις κατά τη οπισθοδιασπορά από τέτοια απότομη και πρόωρη συναρμολόγηση.

Επιπλέον, το μοντέλο του δεύτερου σταδίου τρέχει με διπλάσια ταχύτητα από μια συνδυασμένη, “βιαστική” συναρμολόγηση, και οποιαδήποτε δευτερεύοντα εφαρμογές που μπορεί να χρειαστούν να χρησιμοποιήσουν πληροφορίες για στατικά μέρη του μοντέλου δεν θα χρειαστεί να έχουν τη δική τους πρόσβαση σε πληροφορίες URDF, επειδή αυτό έχει ήδη ενσωματωθεί στον τελικό αποδοτή.

Δεδομένα και Πειράματα

Οι ερευνητές διεξήγαγαν eine σειρά από πειράματα για να δοκιμάσουν το NARF22: ένα για την αξιολόγηση της ποιότητας της απόδοσης για κάθε ρύθμιση και στάση του αντικειμένου; μια ποσοτική δοκιμή για τη σύγκριση των αποδοθέντων αποτελεσμάτων με παρόμοιες απόψεις που φαίνονται από ρομπότ του πραγματικού κόσμου; και μια επίδειξη της εκτίμησης της ρύθμισης και μιας 6 DOF (βάθος πεδίου) βελτίωσης πρόκλησης που χρησιμοποιούσε το NARF22 για να εκτελέσει μια βελτίωση με βάση την κλίση.

Τα δεδομένα εκπαίδευσης λήφθηκαν από το Σύνολο Εργαλείων Progress από μια προηγούμενη εργασία από τους συγγραφείς της παρούσας εργασίας. Το Σύνολο Εργαλείων Progress περιέχει περίπου έξι χιλιάδες RGB-D (δηλαδή, συμπεριλαμβανομένων πληροφοριών βάθους, απαραίτητων για την όραση ρομπότ) εικόνες σε ανάλυση 640×480. Οι σκηνές που χρησιμοποιήθηκαν περιελάμβαναν οκτώ χειροεργαλεία, διαιρεμένα στα συνθετικά τους μέρη, μαζί με μοντέλα mesh και πληροφορίες για τις κινηματικές ιδιότητες των αντικειμένων (δηλαδή, τον τρόπο με τον οποίο είναι σχεδιασμένα να κινούνται και τους παράμετρους της κίνησης).

Το Σύνολο Εργαλείων Progress περιλαμβάνει τέσσερα εργαλειοποιημένα εργαλεία. Οι εικόνες παραπάνω είναι NeRF-βασισμένες αποδοτήσεις από το NARF22.

Για αυτό το πείραμα, ένα τελικό ρυθμισμένο μοντέλο εκπαιδεύτηκε χρησιμοποιώντας μόνο πliers, longnose πliers και ένα κλείστρο (βλέπε εικόνα παραπάνω). Τα δεδομένα εκπαίδευσης περιελάμβαναν μια seule ρύθμιση του κλείστρου και μια για κάθε πliers.

Η υλοποίηση του NARF22 βασίζεται στο FastNeRF, με τους εισαγωγικούς παραμέτρους τροποποιημένους για να εστιάσουν στην συνδυασμένη και χωρικά-κωδικοποιημένη στάση των εργαλείων. Το FastNeRF χρησιμοποιεί factorized multilayer perceptron (MLP) σε συνδυασμό με einen voxelized δειγματοληπτικό μηχανισμό (voxels είναι ουσιαστικά pixels, αλλά με πλήρη 3D συντεταγμένες, ώστε να μπορούν να λειτουργούν σε einen τρισδιάστατο χώρο).

Για τη ποιοτική δοκιμή, οι ερευνητές παρατηρούν ότι υπάρχουν einige occluded μέρη του κλείστρου (δηλαδή, το κεντρικό στήθος, που δεν μπορεί να γνωριστεί ή να υπολογιστεί από την παρατήρηση του αντικειμένου, αλλά μόνο από την αλληλεπίδραση με αυτό, και ότι το σύστημα έχει δυσκολία στη δημιουργία αυτής της “άγνωστης” γεωμετρίας.

Ποιοτικές αποδοτήσεις εργαλείων.

Αντίθετα, τα πliers ήταν σε θέση να γενικεύσουν καλά σε νέες ρυθμίσεις (δηλαδή, σε επεκτάσεις και κινήσεις των μερών τους που είναι μέσα στα όρια του URDF, αλλά που δεν αντιμετωπίζονται ρητά στο υλικό εκπαίδευσης του μοντέλου.

Οι ερευνητές παρατηρούν, ωστόσο, ότι λάθη ετικετών για τα πliers οδήγησαν σε μια μείωση της ποιότητας της απόδοσης για τις πολύ λεπτομερείς κορυφές των εργαλείων, αρνητικά επηρεάζοντας τις αποδοτήσεις – ένα πρόβλημα που σχετίζεται με πολύ ευρύτερες ανησυχίες γύρω από την λογιστική, τον προϋπολογισμό και την ακρίβεια στην έρευνα της όρασης υπολογιστή, chứ नह με οποιοδήποτε ελάττωμα της διαδικασίας NARF22.

Αποτελέσματα από τη δοκιμή ακρίβειας απόδοσης.

Για τις δοκιμές εκτίμησης της ρύθμισης, οι ερευνητές εκτέλεσαν μια βελτίωση της στάσης και μια εκτίμηση της ρύθμισης από μια αρχική “σκληρή” στάση, αποφεύγοντας οποιαδήποτε από τα cache ή άλλες επιταχύνσεις που χρησιμοποιούνται από το FastNeRF zelf.

Στη συνέχεια, εκπαιδεύτησαν 17 καλά διατεταγμένα σκηνές από το σύνολο δοκιμών του Progress Tools (το οποίο είχε κρατηθεί στην πλευρά κατά τη διάρκεια της εκπαίδευσης), τρέχοντας через 150 επαναλήψεις της οπισθοδιασποράς υπό τον βελτιωτή Adam. Αυτή η διαδικασία ανέκτησε την εκτίμηση της ρύθμισης “εξαιρετικά καλά”, σύμφωνα με τους ερευνητές.

Αποτελέσματα από τη δοκιμή εκτίμησης της ρύθμισης.

Πρώτη δημοσίευση 5ης Οκτωβρίου 2022.