Η mimic robotics Παρουσιάζει το FLUX-mimic για τη Μεταφορά Μοντέλων Βίντεο-Δράσης στο Εργοστάσιο της Audi

Η mimic robotics έχει παρουσιάσει το FLUX-mimic, ένα νέο Μοντέλο Δράσης-Βίντεο που σχεδιάστηκε για να βοηθήσει τους βιομηχανικούς ρομπότ να μάθουν σύνθετες εργασίες χειρισμού από σημαντικά μικρότερες ποσότητες δεδομένων επίδειξης.

Αναπτύχθηκε σε συνεργασία με την εταιρεία οπτικής τεχνητής νοημοσύνης Black Forest Labs, το σύστημα έχει ήδη αρχίσει να δοκιμάζεται και να αναπτύσσεται με την Audi σε βιομηχανικές εργασίες που ιστορικά ήταν δύσκολο να αυτοματοποιηθούν, συμπεριλαμβανομένων εργασιών που αφορούν ελαστικά υλικά, αλλαγές στη διαμόρφωση των μερών και ακριβείς χειρισμούς.

Η ανακοίνωση υποδηλώνει μια πιθανή αλλαγή στη φυσική τεχνητή νοημοσύνη. Αντί να βασίζεται κυρίως σε μεγάλες συλλογές επίδειξης ρομπότ, το FLUX-mimic προσπαθεί να μεταφέρει γνώσεις που έχουν ήδη μάθει από ένα γεννητικό μοντέλο βίντεο σε ένα σύστημα που μπορεί να ελέγχει φυσικές μηχανές.

Μια Νέα Προσέγγιση για τη Μάθηση Ρομπότ

Πολλοί από τους σύγχρονους γενικούς ρομπότ βασίζονται σε Μοντέλα Όρασης-Γλώσσας-Δράσης, που είναι γνωστά ως VLA. Αυτά τα συστήματα συνδυάζουν ένα μοντέλο που έχει εκπαιδευτεί σε εικόνες και γλώσσα με ένα επιπλέον компонент που προβλέπει τις κινήσεις που πρέπει να κάνει το ρομπότ.

Αυτή η προσέγγιση δίνει στα ρομπότ ένα βαθμό σεμαντικής κατανόησης, όπως η αναγνώριση ενός αντικειμένου ή η ερμηνεία μιας γραπτής οδηγίας. Ωστόσο, οι στατικές εικόνες δεν αποτυπώνουν πλήρως πώς τα αντικείμενα γίνονται, κινούνται, συγκρούονται ή ανταποκρίνονται σε φυσική επαφή.

Η λείπων γνώση πρέπει επομένως να μάθει από τις επιδείξεις του ρομπότ, που μπορεί να είναι ακριβές και χρονοβόρες να συλλεχθούν. Κάθε επίδειξη απαιτεί ένα φυσικό ρομπότ, έναν χειριστή, einen κατάλληλο χώρο εργασίας και προσεκτικά καταγεγραμμένα δεδομένα δράσης.

Το FLUX-mimic ακολουθεί μια διαφορετική οδό. Χρησιμοποιεί τις οπτικές αναπαραστάσεις που παράγονται από το μοντέλο FLUX 3 της Black Forest Labs ως βάση για την πρόβλεψη του πώς μια εργασία πρέπει να εξελιχθεί με τον χρόνο. Η Black Forest Labs περιγράφει το FLUX 3 ως ένα πολυμορφικό μοντέλο που μπορεί να γεννήσει εικόνες, βίντεο, ήχο και δράση, αντί για ένα σύστημα που περιορίζεται στη στατική γεννήση εικόνων.

Ένας αποκωδικοποιητής δράσης μεταφράζει την οπτική πρόβλεψη του μοντέλου σε εντολές που μπορεί να εκτελέσει το ρομπότ. Σε πρακτικούς όρους, το σύστημα πρώτα εκτιμά τι θα ήταν η επιτυχημένη ολοκλήρωση μιας εργασίας και στη συνέχεια καθορίζει ποιες φυσικές κινήσεις είναι απαραίτητες για να παράγουν αυτό το αποτέλεσμα.

Κτίζοντας στο Αρχιτεκτονικό Μοντέλο mimic-video

Το FLUX-mimic κτίζει στο mimic-video, την προηγούμενη έρευνα της εταιρείας για τη χρήση προ-εκπαιδευμένων μοντέλων βίντεο ως πλάτη για τον έλεγχο ρομπότ.

Αντί να ζητάτε από ένα συμβατικό μοντέλο όρασης-γλώσσας να υποθέσει κίνηση από ξεχωριστές καρέ, το mimic-video δημιουργεί einen 潛在τικό οπτικό σχέδιο που αντιπροσωπεύει πώς μπορεί να εξελιχθεί η εργασία. Ένας ξεχωριστός αποκωδικοποιητής δράσης χρησιμοποιεί αυτήν την εσωτερική αναπαράσταση για να παράγει κινήσεις ρομπότ.

Στην έρευνά της, η εταιρεία ανέφερε ότι το mimic-video πέτυχε περίπου δέκα φορές μεγαλύτερη αποτελεσματικότητα δειγμάτων και διπλάσια ταχύτητα σύγκλισης κατάρτισης από μια συγκρίσιμη αρχιτεκτονική VLA σε όλες τις αξιολογήσεις. Το πραγματικό σύστημα εκπαιδεύτηκε χρησιμοποιώντας περίπου 500 τροχιές από ένα δexterous δύο-χεριών ρομπότ.

Το FLUX-mimic επεκτείνει αυτήν την концепция χρησιμοποιώντας την αρχιτεκτονική πίσω από το FLUX 3 και einen σχεδιασμό που δημιουργήθηκε ειδικά για τη φυσική τεχνητή νοημοσύνη.

Σύμφωνα με την mimic robotics, εργασίες που θα μπορούσαν να απαιτήσουν 30 ώρες ή περισσότερο επίδειξης ρομπότ μπορούν να φτάσουν σε απόδοση παραγωγής με τόσο λίγο όσο 30 λεπτά δεδομένων. Αυτός ο αριθμός αντιπροσωπεύει τα αναφερθέντα αποτελέσματα της εταιρείας και θα πρέπει τελικά να αξιολογηθεί σε ένα ευρύτερο φάσμα εργοστασίων, διαμορφώσεων υλικού και συνθηκών παραγωγής.

Ακόμη και έτσι, η μείωση της απαίτησης δεδομένων κατά τούτο το βαθμό θα μπορούσε να αλλάξει σημαντικά την οικονομία της βιομηχανικής ρομποτικής. Οι κόστος ανάπτυξης συχνά επεκτείνονται πολύ πέρα από το ρομπότ selbst, με σημαντικά πόροι να αφιερώνονται στην προγραμματισμό, την ενοποίηση, τη模拟, τον έλεγχο και την ανασχεδιασμό вся φορά που ένα προϊόν ή μια διαδικασία αλλάζει.

Η Audi Παρέχει μια Απαιτητική Βιομηχανική Δοκιμή

Η Audi συνεργάζεται με την mimic robotics για να αξιολογήσει το FLUX-mimic σε πραγματικές βιομηχανικές περιβάλλοντα, όπου τα συστήματα αυτοματοποίησης πρέπει να αντιμετωπίσουν την ποικιλία των προϊόντων, τις στενές απαιτήσεις παραγωγής και τις εργασίες που δεν μπορούν πάντα να μειωθούν σε επαναλαμβανόμενες κινήσεις.

Ο αυτοκινητοβιομηχανικός αναφέρει ότι τα ρομπότ έχουν εκτελέσει σύνθετη εργασία χειρισμού μαλακών σωμάτων που θα ήταν εξαιρετικά δύσκολο να αντιμετωπιστούν με συμβατική ρομποτική. Τα μαλακά υλικά είναι ιδιαίτερα απαιτητικά επειδή η μορφή τους αλλάζει κατά τη διάρκεια της χειρισμού, καθιστώντας δύσκολο να οριστεί κάθε κίνηση μέσω σταθερών συντεταγμένων ή κανόνων.

Η ευρύτερη έρευνα αυτοματοποίησης της Audi δείχνει γιατί η προσαρμοστικότητα γίνεται ολοένα και πιο σημαντική. Στο εργοστάσιο Böllinger Höfe, η εταιρεία έχει δοκιμάσει την τεχνητή νοημοσύνη, τα κινητά ρομπότ, την οπτική υπολογιστή και τις νέες τεχνολογίες επιλογής σε ένα πραγματικό εργαστήριο. Η Audi έχει σημειώσει ότι το υψηλό επίπεδο προσωποποίησης σε οχήματα όπως το e-tron GT δημιουργεί σύνθετες διαδικασίες λογιστικής που αφορούν μεγάλο αριθμό διαφορετικών μερών.

Τα παραδοσιακά βιομηχανικά ρομπότ παραμένουν εξαιρετικά αποτελεσματικά όταν το περιβάλλον είναι δομημένο και κάθε αντικείμενο φτάνει σε προβλέψιμη θέση. Γίνονται λιγότερο οικονομικά όταν τα μέρη, τα υλικά ή οι παραλλαγές του προϊόντος αλλάζουν συχνά enough να απαιτούν επαναλαμβανόμενη εργασία μηχανικής.

Τα συστήματα που βασίζονται στη μάθηση θα μπορούσαν να κάνουν αυτές τις διαδικασίες χαμηλότερης ποσότητας και υψηλότερης παραλλαγής πιο πρακτικές για αυτοματοποίηση. Αντί να γράφουν ένα νέο πρόγραμμα για κάθε εργασία, οι κατασκευαστές θα μπορούσαν να επιδείξουν την επιθυμητή συμπεριφορά και να επιτρέψουν στο σύστημα να μάθει πώς να την αναπαράγει.

Συνδυασμός Μοντέλων, Υλικού και Ανθρώπινων Επιδείξεων

Το μοντέλο είναι μέρος μιας ευρύτερης πλήρως στοκαρίστης ρομποτικής πλατφόρμας που αναπτύσσεται από την mimic robotics.

Η εταιρεία κατασκευάζει το δικό της δexterous ρομποτικό χέρι υλικό, φορητό εξοπλισμό συλλογής δεδομένων, μοντέλα μάθησης ρομπότ και υποδομή ανάπτυξης. Το φορητό σύστημα είναι σχεδιασμένο για να καταγράψει τις κινήσεις του ανθρώπινου χεριού σε einen μορφή που μπορεί να μεταφερθεί πιο直接 στο ρομποτικό χέρι της εταιρείας.

Αυτή η εστίαση στα χέρια αντί για ολόκληρα ανθρωπόμορφα ρομπότ αντανακλά μια πιο στοχευμένη προσέγγιση για τη βιομηχανική αυτοματοποίηση. Τα δexterous χέρια μπορούν να επισυναφθούν σε συμβατικά ρομποτικά βραχίονες που χρησιμοποιούνται ήδη στα εργοστάσια, μειώνοντας την ανάγκη για εισαγωγή ενός εντελώς νέου ρομποτικού τύπου. Το ETH Zurich περιγράφει αυτήν την προσέγγιση ως συνδυασμό ανθρώπινης χειρισμού με καθιερωμένο βιομηχανικό υλικό για την αντιμετώπιση εργασιών που απαιτούν προσαρμοστικότητα και αυτοδιόρθωση.

Ιδρυμένη ως spin-off του ETH Zurich το 2024, η mimic robotics έχει μεγαλώσει σε περισσότερους από 50 υπαλλήλους σε Ζυρίχη και Σαν Φρανσίσκο. Η ομάδα της εταιρείας περιλαμβάνει έρευνα μοντέλων, ρομποτική, ανάπτυξη υλικού, λειτουργίες δεδομένων και βιομηχανική ανάπτυξη.

Οι Ευρύτερες Επιπτώσεις για την Αυτοματοποίηση των Εργοστασίων

Η σημασία του FLUX-mimic θα εξαρτηθεί λιγότερο από τις απομονωμένες επιδείξεις παρά από το εάν η τεχνολογία μπορεί να διατηρήσει υψηλά ποσοστά επιτυχίας σε χιλιάδες κύκλους παραγωγής.

Τα εργοστάσια απαιτούν συνεπή απόδοση, προβλέψιμους χρόνους κύκλου, ασφαλή λειτουργία γύρω από τους υπαλλήλους, γρήγορη ανάκτηση από σφάλματα και ενοποίηση με υπάρχοντα συστήματα παραγωγής. Ένα μοντέλο που μαθαίνει γρήγορα αλλά συμπεριφέρεται απρόβλεπτα θα προσφέρει λίγο πλεονέκτημα σε σχέση με την παραδοσιακή αυτοματοποίηση.

Ωστόσο, αν τα μοντέλα δράσης-βίντεο μπορούν να διατηρήσουν την αναφερθείσα αποτελεσματικότητα δεδομένων ενώ πληρούν τις βιομηχανικές απαιτήσεις αξιοπιστίας, θα μπορούσαν να επεκτείνουν τη ρομποτική σε κατηγορίες εργασιών που παρέμειναν χειρωνακτικές επειδή ήταν πολύ μεταβλητές ή ακριβές για προγραμματισμό.

Αυτό θα μπορούσε να περιλαμβάνει την συναρμολόγηση ελαστικών组件, τη χειρισμό μεικτών αποθεμάτων, τη διαλογή ανώμαλων αντικειμένων, τη συσκευασία συχνά αλλαζόμενων προϊόντων και την υποστήριξη εργαζομένων με φυσικά απαιτητικές διαδικασίες.

Η μακροπρόθεσμη ευκαιρία δεν είναι απλά ένα πιο ικανό ρομποτικό χέρι. Είναι ένα διαφορετικό μοντέλο ανάπτυξης στο οποίο οι κατασκευαστές διδάσκουν τις μηχανές μέσω επίδειξης αντί να ορίζουν κάθε κίνηση εκ των προτέρων.

Η συμμετοχή της Audi δίνει στο FLUX-mimic την ευκαιρία να αποδείξει ότι αυτή η προσέγγιση μπορεί να ξεπεράσει τα ελεγχόμενα περιβάλλοντα έρευνας. Η επιτυχία σε ένα αυτοκινητοβιομηχανικό εργοστάσιο θα προσφέρει μια σημαντική ένδειξη ότι τα γεννητικά μοντέλα βίντεο μπορούν να γίνουν περισσότερα από εργαλεία για τη δημιουργία ψηφιακού μέσου, υπηρετώντας αντί για μέρος του επιπέδου νοημοσύνης που ελέγχει τις μηχανές στον φυσικό κόσμο.