Dream Labs raccoglie 90 milioni di dollari in un round seed per portare l’IA robotica su macchine diverse

Dream Labs, startup fondata da ex ricercatori di robotica di NVIDIA, ha raccolto 90 milioni di dollari in un round di finanziamento seed e ha lanciato un’API pubblica per Dream-1, un modello progettato per trasferire abilità tra robot diversi. Il finanziamento è stato guidato da B Capital insieme a Kindred Ventures, con la partecipazione di A.Capital, Unusual Ventures e altri investitori.

L’azienda affronta un collo di bottiglia costoso nel settore della robotica: il fatto che una macchina impari un compito non significa che trasferisca automaticamente quella conoscenza a un’altra macchina. Dream Labs vuole consentire agli sviluppatori di partire da un modello condiviso e poi adattarlo quando un determinato robot o una specifica applicazione richiedono un addestramento più specializzato.

Il lancio comprende un’API, un servizio di messa a punto e un Robot Playground accessibile dal browser. Quest’ultimo consente agli utenti di inviare istruzioni ai robot fisici presenti nell’ufficio dell’azienda a San Francisco. Dream Labs afferma che i fondi serviranno soprattutto a sostenere le risorse di calcolo, mentre l’azienda amplia le capacità e la capacità operativa dei modelli.

Come Dream-1 collega i video alle azioni fisiche

Dream Labs definisce Dream-1 un modello di azione del mondo. Il suo resoconto tecnico del lancio descrive un sistema che prevede congiuntamente video e azioni: anticipare come cambierà una scena è collegato alla decisione su cosa dovrebbe fare un robot in seguito.

La distinzione è importante perché i robot hanno strutture diverse. I comandi articolari che funzionano su un braccio non funzionano necessariamente su un altro. Dream-1 può invece prevedere le pose dell’organo terminale, ovvero la posizione e l’orientamento desiderati per ciascuna pinza, e indicare se debba essere aperta o chiusa. Il solutore di cinematica inversa di ciascun robot traduce questi obiettivi in movimenti eseguibili dai suoi giunti.

In questo modo si ottiene un’interfaccia comune tra macchine senza che queste debbano avere hardware identico. Il modello usa tre inquadrature: una rivolta verso la scena e una su ciascun polso. La sua rappresentazione video gli permette di ragionare su bracci e pinze dall’aspetto diverso utilizzando lo stesso mezzo visivo.

Per gli sviluppatori, il prodotto traduce questa ricerca in un flusso di lavoro relativamente diretto. Il robot fornisce immagini, il proprio stato attuale e un’istruzione sul compito; il modello restituisce delle azioni. I modelli vengono eseguiti tramite il servizio ospitato da Dream Labs, senza che ogni sviluppatore debba costruire e gestire un modello di base per la robotica.

Il trasferimento zero-shot ha un ambito definito

L’attuale capacità zero-shot dell’azienda è incentrata sui robot bimani dotati di pinze parallele: macchine con due bracci e pinze semplici, che si aprono e si chiudono. Zero-shot significa che il modello può tentare di eseguire compiti su un robot sconosciuto senza essere prima addestrato su dimostrazioni raccolte con quella specifica macchina.

Nella valutazione pubblicata da Dream Labs sono state testate in simulazione 27 configurazioni robotiche mai viste, con 300 esecuzioni per ciascuna. I risultati sono stati riportati rispetto a YAM, il robot su cui è stato addestrato Dream-1. Le prestazioni sono variate notevolmente da un hardware all’altro; per questo, l’affermazione di punta sul trasferimento tra robot è più utile se letta insieme ai risultati dettagliati.

Questi punteggi relativi non vanno confusi con i tassi assoluti di completamento dei compiti. Inoltre, trasferire una politica a un robot diverso non dimostra che questa completerà ogni compito in modo affidabile. Nelle valutazioni dei compiti, la pagina della ricerca distingue separatamente il completamento integrale dai progressi parziali.

Anche l’interfaccia di controllo comporta dei compromessi. Prevedere la destinazione di una pinza non determina completamente il percorso seguito dal braccio per raggiungerla. Gli ostacoli, i limiti dei giunti e la qualità del solutore di cinematica inversa del robot possono influire sulle prestazioni. Robot con spazi di lavoro o dinamiche molto diversi possono evidenziare ulteriori discrepanze tra le previsioni del modello e ciò che l’hardware è fisicamente in grado di fare.

La messa a punto offre una strada oltre il modello di base

Il servizio Fine-tuning-as-a-Service di Dream Labs offre agli sviluppatori un’altra possibilità quando il modello generale non è sufficiente. Possono caricare dimostrazioni raccolte con il proprio robot e ricevere un modello adattato, anziché avviare da zero un progetto di addestramento.

L’azienda presenta esempi di adattamento basati su cinque minuti di dati specifici del robot, oltre a esempi che richiedono molti più dati per organi terminali non familiari. Queste dimostrazioni illustrano le diverse esigenze di adattamento, ma non stabiliscono che l’addestramento debba durare universalmente cinque minuti.

È una distinzione pratica importante. Un modello condiviso può ridurre il lavoro iniziale necessario per mettere in movimento un robot, mentre per rendere utile il suo comportamento in una specifica applicazione potrebbero comunque servire dati relativi al compito. Dream Labs riconosce che i modelli adattati continuano a offrire prestazioni migliori rispetto all’esecuzione zero-shot.

La pagina della ricerca indica un costo di inferenza di 3 dollari all’ora per Dream-1 e di 2 dollari all’ora per la versione più leggera Dream-1-flash. Ogni chiamata al modello restituisce 1,6 secondi di azioni. Nel valutare il costo di una messa in opera, occorre considerare separatamente hardware, integrazione ed eventuali costi aggiuntivi del servizio.

Dalle dimostrazioni di ricerca al lavoro ripetibile

Il team della startup ha già lavorato a DreamZero e alla ricerca di NVIDIA sulla robotica GR00T. Con Dream-1, sta trasformando quella ricerca in un servizio che gli sviluppatori possono testare sulle proprie macchine.

L’accesso è una componente significativa dell’annuncio. Un’API pubblica consente ai produttori di robot e ai team più piccoli di valutare direttamente il comportamento, anche nei casi in cui il sistema non funziona, invece di affidarsi esclusivamente a dimostrazioni selezionate. Il Playground attivo offre un’introduzione più accessibile a chi non possiede un robot.

Dream-1 è ancora in fase di beta di ricerca e Dream Labs dichiara che non è stato convalidato per l’uso in applicazioni critiche per la sicurezza. Al momento, il suo ambito principale è la manipolazione con sistemi a due bracci dotati di pinze parallele; il supporto più ampio per robot mobili e hardware con capacità motorie raffinate resta parte del lavoro di sviluppo.

La questione commerciale è se un modello trasferibile da una macchina all’altra possa anche offrire prestazioni ripetibili nelle attività che le persone sono disposte a pagare per automatizzare. Il finanziamento da 90 milioni di dollari fornisce a Dream Labs le risorse per perseguire questo obiettivo. La prova più significativa sarà capire di quanti dati personalizzati e di quanto lavoro di progettazione abbiano ancora bisogno gli sviluppatori dopo aver collegato un nuovo robot.