mimic robotics Introduce FLUX-mimic per Portare i Modelli di Azione Video sul Pavimento di Produzione di Audi

mimic robotics ha introdotto FLUX-mimic, un nuovo modello di azione video progettato per aiutare i robot industriali a imparare compiti di manipolazione complessi da quantità di dati di dimostrazione sostanzialmente più piccole.

sviluppato in collaborazione con la società di intelligenza artificiale visiva Black Forest Labs, il sistema è già in fase di test e deploy con Audi in tutta una serie di compiti di produzione che storicamente sono stati difficili da automatizzare, tra cui lavori che coinvolgono materiali flessibili, configurazioni di parti in continua evoluzione e manipolazione precisa.

L’annuncio punta a un potenziale cambiamento nel physical AI. Invece di affidarsi principalmente a grandi raccolte di dimostrazioni di robot, FLUX-mimic tenta di trasferire le conoscenze già apprese da un modello di video generativo in un sistema in grado di controllare macchine fisiche.

Un Nuovo Approccio all’Apprendimento dei Robot

Molti dei sistemi di robotica generale attuali si basano su modelli di visione-linguaggio-azione, comunemente noti come VLAs. Questi sistemi combinano generalmente un modello addestrato su immagini e linguaggio con un componente aggiuntivo che prevede i movimenti che un robot dovrebbe eseguire.

Questo approccio dà ai robot un certo grado di comprensione semantica, come ad esempio il riconoscimento di un oggetto o l’interpretazione di un’istruzione scritta. Tuttavia, le immagini statiche non catturano completamente come gli oggetti si piegano, si muovono, collidono o rispondono al contatto fisico.

La conoscenza mancante deve quindi essere appresa dalle dimostrazioni del robot, che possono essere costose e lunghe da raccogliere. Ogni dimostrazione richiede un robot fisico, un operatore, uno spazio di lavoro adatto e dati di azione registrati con cura.

FLUX-mimic prende una strada diversa. Utilizza le rappresentazioni visive prodotte dal modello FLUX 3 di Black Forest Labs come base per prevedere come una task dovrebbe svilupparsi nel tempo. Black Forest Labs descrive FLUX 3 come un modello multimodale in grado di generare immagini, video, audio e azioni, piuttosto che un sistema limitato alla generazione di immagini statiche.

Un decodificatore di azioni traduce quindi la previsione visiva del modello in comandi che un robot può eseguire. In termini pratici, il sistema stima prima cosa significhi completare con successo una task e poi determina quali movimenti fisici sono necessari per produrre quel risultato.

Costruire sull’Architettura mimic-video

FLUX-mimic si basa su mimic-video, la ricerca precedente della società sull’utilizzo di modelli di video pre-addestrati come base per il controllo robotico.

Invece di chiedere a un modello di visione-linguaggio convenzionale di inferire il movimento da singoli frame, mimic-video crea un piano visivo latente che rappresenta come la task potrebbe svilupparsi. Un decodificatore di azioni separato utilizza quella rappresentazione interna per generare movimenti del robot.

Nel suo paper di ricerca, la società ha riportato che mimic-video ha raggiunto circa dieci volte maggiore efficienza di campionamento e due volte la velocità di convergenza di addestramento di un’architettura VLA comparabile in tutta la sua valutazione. Il sistema del mondo reale è stato addestrato utilizzando circa 500 traiettorie da un setup di robot a due mani dexterose.

FLUX-mimic estende quel concetto utilizzando l’architettura dietro FLUX 3 e un design creato specificamente per l’intelligenza artificiale fisica.

Secondo mimic robotics, le task che in precedenza avrebbero potuto richiedere 30 ore o più di dimostrazioni del robot possono raggiungere prestazioni pronte per la produzione con solo 30 minuti di dati. Quel valore rappresenta i risultati riportati dalla società e dovrà essere valutato ulteriormente in un’ampia gamma di fabbriche, configurazioni di hardware e condizioni di produzione.

Tuttavia, ridurre il requisito di dati di quel grado potrebbe cambiare materialmente l’economia della robotica industriale. I costi di deploy si estendono frequentemente ben oltre il robot stesso, con risorse considerevoli dedicate alla programmazione, all’integrazione, alla simulazione, al test e alla ri-progettazione ogni volta che un prodotto o un processo cambia.

Audi Fornisce un Test Industriale Esigente

Audi sta lavorando con mimic robotics per valutare FLUX-mimic in ambienti di produzione reali, dove i sistemi di automazione devono affrontare variazioni di prodotti, requisiti di produzione stretti e task che non possono sempre essere ridotte a movimenti ripetitivi.

I robot hanno eseguito lavori di manipolazione di corpi morbidi complessi che sarebbero stati estremamente difficili da affrontare con la robotica convenzionale. I materiali morbidi sono particolarmente impegnativi perché la loro forma cambia durante la manipolazione, rendendo difficile definire ogni movimento attraverso coordinate fisse o regole.

La ricerca più ampia di Audi sull’automazione illustra perché l’adattabilità sta diventando sempre più importante. Nel suo impianto di Böllinger Höfe, la società ha testato l’intelligenza artificiale, i robot mobili, la visione computerizzata e nuove tecnologie di picking in un laboratorio del mondo reale. Audi ha notato che l’elevato livello di personalizzazione in veicoli come l’e-tron GT crea processi logistici complessi che coinvolgono un gran numero di parti diverse.

I robot industriali tradizionali rimangono altamente efficaci quando l’ambiente è strutturato e ogni oggetto arriva in una posizione prevedibile. Diventano meno economici quando le parti, i materiali o le varianti di prodotti cambiano frequentemente abbastanza da richiedere lavoro di ingegneria ripetuto.

I sistemi di apprendimento potrebbero rendere quei processi a basso volume e alta variazione più pratici da automatizzare. Invece di scrivere un nuovo programma per ogni task, i produttori potrebbero dimostrare il comportamento desiderato e consentire al sistema di apprendere come riprodurlo.

Combinare Modelli, Hardware e Dimostrazioni Umane

Il modello fa parte di una piattaforma di robotica full-stack più ampia in fase di sviluppo da parte di mimic robotics.

La società costruisce il proprio hardware di mano robotica dexterosa, attrezzature di raccolta dati indossabili, modelli di apprendimento del robot e infrastrutture di deploy. Il suo sistema indossabile è progettato per registrare i movimenti della mano umana in un formato che può essere trasferito più direttamente alle mani robotiche della società.

Questo focus sulle mani piuttosto che sui robot umanoidi completi riflette un approccio più mirato all’automazione industriale. Le mani dexterose possono essere attaccate a bracci robotici convenzionali già utilizzati nelle fabbriche, riducendo la necessità di introdurre un nuovo fattore di forma robotico. L’ETH di Zurigo descrive l’approccio come la combinazione di manipolazione umana con hardware industriale stabilito per affrontare task che richiedono adattabilità e auto-correzione.

Fondata come spin-off dell’ETH di Zurigo nel 2024, mimic robotics è cresciuta a più di 50 dipendenti tra Zurigo e San Francisco. Il suo team copre la ricerca di modelli, la robotica, lo sviluppo di hardware, le operazioni di dati e il deploy industriale.

Le Implicazioni più Ampie per l’Automazione di Fabbrica

Il significato di FLUX-mimic dipenderà meno dalle dimostrazioni isolate che dalla capacità della tecnologia di mantenere alti tassi di successo su migliaia di cicli di produzione.

Le fabbriche richiedono prestazioni coerenti, tempi di ciclo prevedibili, funzionamento sicuro intorno ai dipendenti, rapida ripresa dagli errori e integrazione con i sistemi di produzione esistenti. Un modello che impara rapidamente ma si comporta in modo imprevedibile offrirebbe poco vantaggio rispetto all’automazione convenzionale.

Tuttavia, se i modelli di azione video possono mantenere la loro efficienza di dati segnalata mentre soddisfano i requisiti di affidabilità industriale, potrebbero estendere la robotica in categorie di lavoro che sono rimaste manuali perché erano troppo variabili o costose da programmare.

Ciò potrebbe includere l’assemblaggio di componenti flessibili, la gestione di inventari misti, la classificazione di oggetti irregolari, l’imballaggio di prodotti che cambiano frequentemente e il supporto ai lavoratori con processi fisicamente impegnativi.

L’opportunità a lungo termine non è semplicemente una mano robotica più capace. È un modello di deploy diverso in cui i produttori insegnano alle macchine attraverso la dimostrazione piuttosto che specificare ogni movimento in anticipo.

Il coinvolgimento di Audi dà a FLUX-mimic l’opportunità di dimostrare che questo approccio può andare oltre gli ambienti di ricerca controllati. Il successo in un pavimento di produzione automobilistico offrirebbe un’indicazione importante del fatto che i modelli di video generativi possono diventare più di strumenti per la creazione di media digitali, servendo invece come parte del livello di intelligenza che controlla le macchine nel mondo fisico.