Η NVIDIA παρουσιάζει το GR00T 2, ώστε τα ρομπότ να μαθαίνουν από ανθρώπινα βίντεο

Η NVIDIA παρουσίασε το GR00T 2 στις 9 Νοεμβρίου 2026, στο Συνέδριο για τη Μάθηση Ρομπότ (CoRL) στο Όστιν, και ανέφερε επιτυχία 40% χωρίς προηγούμενη εκπαίδευση σε 50 εργασίες που απουσίαζαν από τα δεδομένα εκπαίδευσης του ρομπότ-στόχου, για ένα μοντέλο που εκπαιδεύτηκε εν μέρει με ανθρώπινα βίντεο.

Το GR00T 2 χρησιμοποιεί έναν μετασχηματιστή 2 δισεκατομμυρίων παραμέτρων, βασισμένο στο Cosmos-Predict2.5-2B. Συνδυάζει πρόσφατες εικόνες από κάμερες, την κατάσταση του ρομπότ και μια γραπτή οδηγία, ώστε να παράγει προβλέψεις για τις μελλοντικές εικόνες και την επόμενη ακολουθία ενεργειών. Ένα προεκπαιδευμένο σημείο ελέγχου καλύπτει βραχίονες με παράλληλες αρπάγες, επιδέξια χέρια και ένα ανθρωποειδές ρομπότ. Παρότι η NVIDIA παρουσιάζει το μοντέλο ως ανοιχτό, στη σελίδα έρευνάς της αναφέρει ότι ο κώδικας θα είναι διαθέσιμος τον Δεκέμβριο.

Η προεκπαίδευση συνδυάζει 402.730 ώρες βίντεο πρώτου προσώπου με ανθρώπους, 10.184 ώρες επιδείξεων με φορητή αρπάγη σε 2.897 εργασίες και 23.500 ώρες τηλεχειρισμού ρομπότ. Η διάθεση του Human-1M-100K δημοσιοποιεί 100.000 ώρες από αυτά τα ανθρώπινα δεδομένα, συμπεριλαμβανομένων βίντεο, γλωσσικών επισημειώσεων και δεδομένων κίνησης κεφαλής και χεριών, με άδεια CC BY 4.0 που επιτρέπει τόσο την εμπορική όσο και τη μη εμπορική χρήση.

Οι δοκιμές μεταξύ διαφορετικών σωμάτων ρομπότ δείχνουν πώς μεταφέρονται οι δεξιότητες από το ένα σώμα στο άλλο και προσαρμόζονται με περιορισμένα δεδομένα από ρομπότ. Η NVIDIA αναφέρει επιτυχία 65% στην τοποθέτηση χαρτιού φίλτρου, την οποία το μοντέλο έμαθε από ανθρώπινες επιδείξεις χωρίς τηλεχειρισμό ειδικά για την εργασία, και 60% στη συναρμολόγηση ενός παιχνιδιού-ανατρεπόμενου φορτηγού, με μεταφορά της δεξιότητας από φορητή αρπάγη σε βραχίονα YAM. Στην αξιολόγηση Dexter, το GR00T 2 ολοκλήρωσε τουλάχιστον μία δοκιμή σε 40 εργασίες. Το μέσο ποσοστό επιτυχίας φτάνει το 71% με μία επίδειξη ανά εργασία και το 95% με πέντε· αυτές οι πέντε επιδείξεις παρέχουν λιγότερα από τρία λεπτά δεδομένων από ρομπότ ανά εργασία και ακολουθούνται από προσαρμογή του προσαρμογέα διάρκειας περίπου 30 λεπτών σε μία RTX 5090.

Η τεχνική λευκή βίβλος διευκρινίζει τα αποτελέσματα με τις πέντε επιδείξεις: οι εργασίες που αξιολογήθηκαν επιλέχθηκαν μεταξύ εκείνων που το μοντέλο μπορεί να μάθει με πέντε επεισόδια και ποσοστό επιτυχίας τουλάχιστον 80%, επομένως το μέσο αυτό ποσοστό είναι εν μέρει υψηλό εκ κατασκευής.

Η εκπαίδευση μέσω προσομοίωσης στρέφεται στην ακρίβεια

Η βάση της προσομοίωσης είναι το Isaac Lab 3.0, το οποίο διατίθεται γενικά από τις 20 Οκτωβρίου 2026. Παρέχει ένα ενιαίο API εργασιών για μηχανές φυσικής, απόδοσης γραφικών και οπτικοποίησης· το Newton υποστηρίζει άκαμπτα σώματα, παραμορφώσιμα αντικείμενα και σωματίδια, ενώ πολλές ροές εργασίας μπορούν να εκτελεστούν χωρίς πλήρη εγκατάσταση του Isaac Sim. Σε ένα σημείο αναφοράς για επιδέξιο χειρισμό με βάση την όραση, η NVIDIA αναφέρει έως και 2,5 φορές μεγαλύτερη ρυθμαπόδοση εκπαίδευσης από το Isaac Lab 2.3 με PhysX, όταν το Isaac Lab 3.0 εκτελείται με Newton.

Το AlphaNIST εφαρμόζει εκτεταμένη εξάσκηση σε προσομοίωση σε 20 εργασίες του NIST Assembly Task Board, οι οποίες περιλαμβάνουν εξαρτήματα με μέγεθος έως και 4 χιλιοστά. Μία κοινή πολιτική εκπαιδεύεται μόνο με ανταμοιβή επιτυχίας τύπου ναι ή όχι. Η NVIDIA αναφέρει επιτυχία 98,2% στην εκπαίδευση για αυτή την πολιτική, έναντι 81,4% για ξεχωριστές πολιτικές ανά εργασία, με περίπου 39 φορές λιγότερο χρόνο GPU· πρόκειται για αποτελέσματα εκπαίδευσης μέσω προσομοίωσης.

Πίσω από το AlphaNIST βρίσκεται το Success-Guided Sampling, που αναπτύχθηκε από το University of Washington και τη NVIDIA. Κατευθύνει την εξάσκηση προς διαμορφώσεις κοντά στο όριο δυνατοτήτων της πολιτικής, ιδίως προς εκείνες που αυτή επιλύει περίπου τις μισές φορές. Οι συγγραφείς της μεθόδου αναφέρουν αποτελεσματική κλιμάκωση σε περισσότερα από ένα εκατομμύριο περιβάλλοντα προσομοίωσης και μεταφορά χωρίς προηγούμενη εκπαίδευση πολιτικών συναρμολόγησης βασισμένων σε RGB σε πραγματικό υλικό UR5e.

Τα σημεία αναφοράς εξετάζουν τις βιομηχανικές παραλλαγές

Το Isaac Lab-Arena παρέχει το επίπεδο αξιολόγησης. Το πλαίσιο ανοικτού κώδικα δημιουργεί επαναλήψιμες αξιολογήσεις από αρθρωτά στοιχεία και τις εκτελεί σε περιβάλλοντα προσομοίωσης με επιτάχυνση GPU, ενώ η ανάλυση αποτυχιών δείχνει ποιες συνθήκες απαιτούν νέο κύκλο εκπαίδευσης. Η NVIDIA αναφέρει ότι η προεπισκόπηση για προγραμματιστές της έκδοσης 0.4 θα κυκλοφορήσει στο CoRL.

Το DexBench v1.0, που αναπτύχθηκε από την RLWRLD σε συνεργασία με τη NVIDIA, περιλαμβάνει 15 εργασίες σε σκηνικά λιανικής, εφοδιαστικής, γραμμών συναρμολόγησης και ξενοδοχειακής εστίασης. Το VABAR, από το UC Berkeley και τη NVIDIA, καλύπτει ταξινόμηση και ανάρτηση εργαλείων, εμπλοκή γραναζιών, συσκευασία συριγγών, καθώς και εισαγωγή και δρομολόγηση καλωδίων, με υποστήριξη από μια βιβλιοθήκη 33 δεξιοτήτων. Η σελίδα του έργου VABAR αναφέρει ότι τα δύο τρέχοντα επίπεδα δυσκολίας αποτελούν το σύνολο επικύρωσης και ότι ένα δυσκολότερο σύνολο δοκιμών δεν έχει ακόμη κυκλοφορήσει.

Οι πράκτορες προσθέτουν δυνατότητες ανάκαμψης και νέους περιορισμούς

Το πλαίσιο Graph-as-Policy του UC Berkeley χρησιμοποιεί πολλούς πράκτορες για να συνθέσει έναν ερμηνεύσιμο κατευθυνόμενο γράφο δεξιοτήτων ρομπότ, να τον δοκιμάσει σε προσομοίωση και να αναθεωρήσει τη δομή και τις παραμέτρους του μετά από αποτυχίες. Το έργο αναφέρει ότι δέκα επαναλήψεις δοκιμών αύξησαν το αποτέλεσμα του Make Popcorn από 33% αρχικά σε 94% στην προσομοίωση και σε 90% —ή 18 από τις 20 εκτελέσεις— σε πραγματικό ρομπότ. Τα τρέχοντα σημεία αναφοράς του εστιάζουν σε οιονεί στατικό χειρισμό· τα παραμορφώσιμα αντικείμενα, η δυναμική και οι κινούμενοι στόχοι παραμένουν αντικείμενο μελλοντικής εργασίας.

Το GR00T 2 χρησιμοποιεί έναν πράκτορα συλλογισμού για να οργανώνει τις δεξιότητες σε ακολουθία, να παρακολουθεί την πρόοδο και να ενεργοποιεί διαδικασίες ανάκαμψης όταν πέφτουν εξαρτήματα ή η εργασία καθυστερεί, ενώ το μοντέλο αναλαμβάνει τον χειρισμό με πολλές επαφές. Με διορθωτικά δεδομένα και τον συγκεκριμένο πράκτορα, η NVIDIA αναφέρει 98 επιτυχημένες συναρμολογήσεις παιχνιδιών-αεροπλάνων, 97 παιχνιδιών-τρακτέρ και 97 Hot Wheels, σε 100 δοκιμές ανά παιχνίδι, καθεμία από τις οποίες ξεκινούσε με εξαρτήματα που είχαν αναμειχθεί τυχαία. Η εποπτευόμενη λεπτομερής ρύθμιση από μόνη της απέδωσε 69, 51 και 23 αντίστοιχα.

Η λευκή βίβλος αναφέρει χωριστά μέσο ποσοστό επιτυχίας περίπου 70% στα σημεία αναφοράς μεταεκπαίδευσης με μεγάλο χρονικό ορίζοντα. Στη διαλογή απορριμμάτων με οπτική καθοδήγηση, το ρομπότ περίμενε τον πράκτορα για διάμεσο ποσοστό 38% της διάρκειας ενός επεισοδίου, αναδεικνύοντας το κόστος καθυστέρησης από την εποπτεία του πράκτορα.

Η NVIDIA αναφέρει ότι η Nexuni δοκιμάζει το GR00T 2 για τον χειρισμό ρούχων κατά την πλύση, ότι η Foxconn το εφαρμόζει στην αυτοματοποίηση της κατασκευής διακομιστών και ότι η Siemens αξιολογεί περιπτώσεις βιομηχανικής χρήσης. Οι εργασίες που έχουν γνωστοποιηθεί αφορούν δοκιμές και αξιολόγηση· δεν έχει ανακοινωθεί έναρξη παραγωγικής λειτουργίας.

Το συμπέρασμα της λευκής βίβλου αποδίδει την αξιοπιστία στον προεκπαιδευμένο χαρακτήρα του μοντέλου, που εξασφαλίζει ευρύτητα, στις διορθωτικές επιδείξεις και στην ενισχυτική μάθηση, που εξασφαλίζουν ακρίβεια, καθώς και στους πράκτορες, που παρέχουν μνήμη, επαλήθευση και ανάκαμψη. Για τους βιομηχανικούς χρήστες, επομένως, χρήσιμο μέτρο είναι η συνολική ροή εργασιών γύρω από το GR00T 2 και η επίβλεψη που απαιτεί κάθε εργασία. Η πρόκληση για την ανάπτυξη σε πραγματικές συνθήκες είναι να διατηρηθεί η αναφερόμενη αξιοπιστία, μειώνοντας παράλληλα την προσαρμογή ανά εργασία και τον χρόνο αναμονής των πρακτόρων, όπως καταγράφονται στα αποτελέσματα της ίδιας της NVIDIA.