Η Ai2 κυκλοφορεί το ToyBlocks για να δοκιμάσει πώς μαθαίνουν και αποτυγχάνουν τα ρομπότ

Η Ai2 κυκλοφόρησε το ToyBlocks στις 6 Νοεμβρίου 2026, ως το πρώτο περιβάλλον του πλαισίου FoundationWorlds, συνδυάζοντας μια ανοιχτή προσομοίωση ρομπότ με συνθετικά παραδείγματα επίδειξης, δύο εκπαιδευμένα μοντέλα και εργαλεία αξιολόγησης. Το πλαίσιο έχει σχεδιαστεί ώστε τα πειράματα μάθησης ρομπότ να μπορούν να επαναλαμβάνονται και οι αποτυχίες να εντοπίζονται ευκολότερα.

Το περιβάλλον τοποθετεί έναν προσομοιωμένο ρομποτικό βραχίονα και μπλοκ με ετικέτες πάνω σε ένα τραπέζι. Στις εργασίες ώθησης, αναστροφής και στοίβαξης προστίθενται εργασίες αναζήτησης, ταξινόμησης και διευθέτησης: το γράμμα ή η εικόνα που χρειάζεται το ρομπότ σε ένα μπλοκ μπορεί να είναι κρυμμένα, οπότε πρέπει να το γυρίσει προτού αποφασίσει πού ανήκει. Η μεταβολή του μεγέθους των μπλοκ, του ύψους του τραπεζιού και άλλων ιδιοτήτων από σκηνή σε σκηνή ελέγχει αν οι πολιτικές μπορούν να ανταποκριθούν στις αλλαγές της γεωμετρίας.

Ο περιορισμένος αυτός τομέας επιτρέπει στην Ai2 να επιδιώξει ταυτόχρονα τέσσερις ιδιότητες: αξιόπιστη φυσική και οπτική απόδοση, κλιμακώσιμη δημιουργία εργασιών και επιδείξεων, προβλήματα που απαιτούν τόσο συλλογισμό όσο και επιδεξιότητα, καθώς και κάλυψη των εργασιών που μπορεί να υποστηρίξει ο τομέας.

Αυτοματοποιημένες επιδείξεις και ανοιχτά μοντέλα

Η ενισχυτική μάθηση και ο σχεδιασμός κίνησης δημιουργούν δεξιότητες για σύντομες εργασίες στο Isaac Lab της Nvidia. Η δημιουργία δεξιοτήτων μπορεί να αξιοποιεί την προνομιακή κατάσταση του προσομοιωτή, συμπεριλαμβανομένων των ακριβών θέσεων και προσανατολισμών των μπλοκ, αντί για εκτιμήσεις από κάμερα, αυτοματοποιώντας συμπεριφορές που διαφορετικά θα απαιτούσαν τηλεχειρισμό ενός φυσικού ρομπότ. Στη συνέχεια, ένας σχεδιαστής εργασιών και κίνησης επιλέγει δεξιότητες και τις οργανώνει σε ακολουθίες, ώστε να παράγει επισημασμένες επιδείξεις. Σύμφωνα με την Ai2, εκατοντάδες σχέδια μπορούν να εκτελούνται ταυτόχρονα σε μία GPU, με ταχύτητα έως και 24 φορές μεγαλύτερη από εκείνη της πραγματικής εκτέλεσης.

Οι ερευνητές μπορούν να προσαρμόζουν τη στάθμιση των μειγμάτων εκπαίδευσης, ώστε να δίνεται έμφαση σε συγκεκριμένες δεξιότητες, και να αξιολογούν πολιτικές σε εργασίες που δεν περιλαμβάνονταν στην εκπαίδευση. Έτσι, η γεννήτρια δεδομένων λειτουργεί ως πειραματικός παράγοντας ελέγχου και όχι απλώς ως πηγή μεγαλύτερων συνόλων δεδομένων.

Οι στόχοι διατυπώνονται ως προδιαγραφές σχεδιασμού PDDL στο αποθετήριο ToyBlocks, επιτρέποντας στο σύστημα αξιολόγησης να βαθμολογεί την ολοκλήρωση και την ενδιάμεση πρόοδο χωρίς ειδικά σχεδιασμένες μετρικές για κάθε εργασία. Οι επιδείξεις αποθηκεύονται σε μορφή LeRobot. Σε μια ιεραρχική πολιτική, οποιοδήποτε από τα δύο επίπεδα μπορεί να αντικατασταθεί από ένα σύστημα αναφοράς που παρέχει σωστό σχέδιο ή ενέργεια, ώστε να διαχωρίζονται οι λανθασμένες αποφάσεις από τα σφάλματα στην εκτέλεση των κινητικών εντολών. Οι καταστάσεις αποτυχίας μπορούν επίσης να επιστρέφουν στη διαδικασία δημιουργίας δεδομένων, για την παραγωγή νέων επιδείξεων και τρόπων ανάκαμψης.

Η Ai2 αναφέρει ότι η αρχική έκδοση περιλαμβάνει 85.336 επιδείξεις μακράς διάρκειας, καθεμία από τις οποίες περιλαμβάνει περίπου 6–12 επιδείξεις δεξιοτήτων, ανάλογα με το σύνολο, και καλύπτει σχεδόν 1.600 ώρες λειτουργίας ρομπότ και 144 εκατομμύρια καρέ. Το δημόσιο σύνολο δεδομένων χρησιμοποιεί δεδομένα LeRobot σε μορφή Parquet με άδεια ODC-BY και περιλαμβάνει υποσύνολα εύκολης, μεσαίας και υψηλής δυσκολίας. Ο κύριος κώδικας διατίθεται με άδεια Apache-2.0, ενώ συγκεκριμένες υπομονάδες και στοιχεία που λαμβάνονται ξεχωριστά συνοδεύονται από τις δικές τους άδειες.

Οι κάρτες μοντέλων της Ai2 χωρίζουν την πολιτική που κυκλοφόρησε σε δύο επίπεδα: το Molmo2-4B-tb, ένα μοντέλο με περίπου 4,5 δισεκατομμύρια παραμέτρους, λαμβάνει ως είσοδο μια εικόνα από την μπροστινή κάμερα και έναν στόχο διατυπωμένο σε κείμενο και παράγει ένα σύντομο σχέδιο, την επόμενη ενέργεια και ένα σημείο-στόχο· το ManiFlow-tb, με 322,5 εκατομμύρια παραμέτρους, χρησιμοποιεί εικόνες από την μπροστινή κάμερα και τη gripper, την κατάσταση του ρομπότ, πληροφορίες για την εργασία και έναν χάρτη θερμότητας στόχου, για να δημιουργήσει τμήματα ενεργειών.

Πειράματα γενίκευσης και πρακτόρων

Τα πειράματα χωρικής γενίκευσης καλύπτουν τη στοίβαξη, την αποστοίβαξη, την αναστροφή και την περιστροφή, διακρίνοντας την παρεμβολή εντός του εύρους εκπαίδευσης από την εξαγωγή συμπερασμάτων πέρα από αυτό. Παραδείγματα είναι η εκπαίδευση με μπλοκ σε μία περιοχή του χώρου εργασίας και η δοκιμή τους σε άλλη ή ο αποκλεισμός συγκεκριμένων υψών στοίβαξης από την εκπαίδευση. Η Ai2 αναφέρει ότι η αρχική ικανότητα γενίκευσης των ManiFlow, π0.5 και MolmoAct 2 ήταν χαμηλή, παρά την προεκπαίδευση μεγάλης κλίμακας, και καταλήγει ότι η γενίκευση των μοντέλων δράσης απέχει πολύ από το να έχει επιλυθεί.

Οι δοκιμές με πράκτορες αναδεικνύουν μια διαφορετική αδυναμία. Σύμφωνα με την Ai2, το σύστημά της, που βασίζεται στο Claude Opus 5.5, έλυσε και τις 30 κλασικές εργασίες στοίβαξης μπλοκ από περιγραφές σε κείμενο, καθώς και τις 30 όταν επέλεγε ενέργειες σε κλειστό βρόχο, με βάση διαδοχικές εικόνες από κάμερα. Σε σκηνές αναζήτησης και σχηματισμού λέξεων με έως και οκτώ μπλοκ, στο 50% έλειπε ένα απαιτούμενο γράμμα, οπότε έπρεπε να αναγνωριστούν ως αδύνατες. Ο πράκτορας έλυσε την εργασία ή αναγνώρισε σωστά ότι ήταν αδύνατη στο 63% των περιπτώσεων· η σύγχυση μεταξύ γραμμάτων παρόμοιας όψης ευθυνόταν για το 13% και ο λανθασμένος προσανατολισμός των γραμμάτων για το 15%.

Σε ένα τρίτο πείραμα με πράκτορα, το σύστημα μπορούσε να δοκιμάζει απρόσμενες συμπεριφορές δεξιοτήτων και να συντάσσει νέες περιγραφές δεξιοτήτων βάσει των αποτελεσμάτων. Η Ai2 αναφέρει ότι αυτές οι περιγραφές που προέκυψαν από τη μάθηση αύξησαν το ποσοστό επιτυχίας από 24% με τις προεπιλεγμένες περιγραφές σε 63%, ξεπερνώντας το 36% που επιτεύχθηκε με περιγραφές γραμμένες από ειδικό.

Δοκιμές σε φυσικό ρομπότ και περιορισμοί

Για την αξιολόγηση σε φυσικό περιβάλλον, μοντέλα που είχαν εκπαιδευτεί αποκλειστικά με δεδομένα προσομοίωσης του ToyBlocks εκτελέστηκαν χωρίς παραδείγματα εκπαίδευσης από τον πραγματικό κόσμο, σε έναν βραχίονα Franka FR3 με αρπάγη Robotiq. Οι 30 διαμορφώσεις σκηνών περιλάμβαναν 4–10 μπλοκ που είχαν εμφανιστεί κατά την εκπαίδευση. Ένα επεισόδιο μετρούσε ως επιτυχές μόνο όταν τα σχετικά μπλοκ έφταναν στις επιδιωκόμενες θέσεις και στάσεις τους χωρίς συγκρούσεις· η παρέμβαση χειριστή λόγω μη ασφαλούς κίνησης μετρούσε ως αποτυχία.

Για να περιορίσει το χάσμα μεταξύ προσομοίωσης και πραγματικότητας, η Ai2 ρύθμισε την προσομοιωμένη τριβή των αρθρώσεων και την παράμετρο αδράνειας του βραχίονα με βάση πραγματικές τροχιές. Κατά τη δημιουργία δεδομένων, τυχαιοποιούνταν το μέγεθος των αντικειμένων, η τριβή και το ύψος του τραπεζιού, καθώς και ο φωτισμός, τα φόντα, τα υλικά και οι παράμετροι της κάμερας.

Η Ai2 αναφέρει ποσοστά επιτυχίας 80,0% στην προσομοίωση και 81,1% στον φυσικό βραχίονα για τις ατομικές δεξιότητες του ManiFlow. Το ιεραρχικό σύστημα Molmo 2–ManiFlow πέτυχε στο 55,5% των επεισοδίων προσομοίωσης (111 από τα 200) και στο 50,0% των επεισοδίων με τον φυσικό βραχίονα (15 από τα 30).

Η Ai2 θέτει δύο επιφυλάξεις για αυτά τα αποτελέσματα. Η αξιολόγηση της ιεραρχικής λειτουργίας με τον φυσικό βραχίονα χρησιμοποίησε την ευκολότερη διαμόρφωση της προσομοίωσης, όπου τα γράμματα στα τουβλάκια ήταν ορατά και όρθια, ενώ χρειάζονται και άλλες δοκιμές για να τεκμηριωθεί στατιστική βεβαιότητα σε διαφορετικές εργασίες. Η κάρτα του ManiFlow καταγράφει επίσης ποσοστά επιτυχίας από 54% έως 59% σε τέσσερις εκτελέσεις των ίδιων 128 επεισοδίων προσομοίωσης, καθώς η προσομοίωση και η ομαδοποιημένη εξαγωγή συμπερασμάτων δεν είναι ντετερμινιστικές σε επίπεδο bit.

Η Ai2 σχεδιάζει μια δεύτερη έκδοση με μεγαλύτερο σύνολο δεδομένων, περισσότερες δεξιότητες και ευρύτερη συγκριτική αξιολόγηση, καθώς και πλήρως ενσωματωμένη εκπαίδευση με ενισχυτική μάθηση, η οποία απουσιάζει από το τρέχον πακέτο. Οι μακροπρόθεσμες κατευθύνσεις περιλαμβάνουν χειρισμό με δύο βραχίονες, επιδέξια χέρια με αισθητήρες δύναμης και αφής, καθώς και αλληλεπίδραση με άτακτους σωρούς από τουβλάκια.

Η άμεση συνεισφορά του ToyBlocks είναι, επομένως, ο πειραματικός έλεγχος: οι ερευνητές μπορούν να τροποποιούν τους συνδυασμούς δεδομένων εκπαίδευσης, να διαχωρίζουν τον σχεδιασμό από την εκτέλεση και να τροφοδοτούν τις αποτυχίες πίσω στη διαδικασία δημιουργίας δεδομένων. Τα αρχικά αποτελέσματα οριοθετούν επίσης τις δυνατότητές του: η περιορισμένη γενίκευση στην προσομοίωση και η στενή αξιολόγηση με τον φυσικό βραχίονα μετριάζουν όσα τεκμηριώνουν αυτά τα πρώιμα ποσοστά μεταφοράς σχετικά με τη μάθηση των ρομπότ πέρα από τον κόσμο των κύβων.