Dream Labs atrage 90 de milioane de dolari în runda seed pentru a aduce IA robotică pe roboți diferiți

Dream Labs, un startup fondat de foști cercetători în robotică de la NVIDIA, a atras 90 de milioane de dolari în finanțare seed și a lansat un API public pentru Dream-1, un model conceput să transfere competențe între roboți diferiți. Runda de finanțare a fost condusă de B Capital, alături de Kindred Ventures, cu participarea A.Capital, Unusual Ventures și a altor investitori.

Compania abordează un blocaj costisitor în robotică: faptul că o mașină învață o sarcină nu înseamnă că transferă automat acea cunoaștere unei alte mașini. Dream Labs își propune ca dezvoltatorii să pornească de la un model comun, pe care să îl adapteze apoi atunci când un anumit robot sau o anumită aplicație necesită o instruire mai specializată.

Lansarea include un API, un serviciu de ajustare fină și un Robot Playground accesibil din browser. Acesta din urmă le permite utilizatorilor să trimită instrucțiuni roboților fizici aflați în biroul companiei din San Francisco. Dream Labs spune că finanțarea va susține în principal resursele de calcul, pe măsură ce compania extinde capacitățile și capacitatea modelului.

Cum conectează Dream-1 videoclipurile cu acțiunile fizice

Dream Labs descrie Dream-1 drept un model de acțiune asupra lumii. Descrierea tehnică a lansării prezintă un sistem care anticipează simultan videoclipuri și acțiuni: anticiparea schimbărilor unei scene este legată de decizia privind următoarea acțiune a robotului.

Această distincție contează, deoarece roboții au structuri diferite. Comenzile pentru articulații care funcționează pentru un braț nu vor funcționa neapărat și pentru altul. În schimb, Dream-1 poate prezice pozițiile efectorilor terminali — poziția și orientarea dorite pentru fiecare clește, precum și dacă acesta ar trebui să fie deschis sau închis. Algoritmul de cinematică inversă al fiecărui robot traduce aceste ținte în mișcări pe care le pot executa articulațiile sale.

Astfel, se oferă o interfață comună pentru diferite mașini, fără a fi nevoie ca acestea să aibă componente hardware identice. Modelul folosește trei unghiuri de filmare: unul orientat spre scenă și câte unul pe fiecare încheietură. Reprezentarea video îi permite să analizeze brațe și clești cu aspect diferit prin același mediu vizual.

Pentru dezvoltatori, produsul transformă această cercetare într-un flux de lucru relativ direct. Robotul furnizează imagini, starea sa curentă și o instrucțiune privind sarcina, iar modelul returnează acțiuni. Modelele rulează prin serviciul găzduit de Dream Labs, astfel că dezvoltatorii nu trebuie să creeze și să opereze fiecare propriul model fundamental de robotică.

Transferul zero-shot are un domeniu bine delimitat

Capacitatea zero-shot actuală a companiei se concentrează asupra roboților cu două brațe și clești paraleli: mașini cu două brațe și clești simpli, care se deschid și se închid. Zero-shot înseamnă că modelul poate încerca să îndeplinească sarcini cu un robot necunoscut, fără să fi fost mai întâi antrenat pe baza unor demonstrații realizate cu acel robot anume.

Evaluarea publicată de Dream Labs a testat în simulare 27 de configurații robotice nevăzute anterior, folosind 300 de rulări pentru fiecare configurație. Rezultatele au fost raportate în raport cu YAM, robotul pe care a fost antrenat Dream-1. Performanțele au variat considerabil în funcție de componentele hardware, astfel că afirmația principală privind transferul între roboți este mai relevantă atunci când este analizată împreună cu rezultatele detaliate.

Aceste scoruri relative nu trebuie confundate cu ratele absolute de succes în îndeplinirea sarcinilor. Nici transferul unei politici la un alt robot nu demonstrează că acesta va îndeplini în mod fiabil orice sarcină. În evaluările sarcinilor, pagina de cercetare face separat distincția între finalizarea completă și progresul parțial.

Interfața de control implică și compromisuri. Prezicerea destinației unui clește nu determină în întregime traseul pe care îl urmează brațul pentru a ajunge acolo. Obstacolele, limitele articulațiilor și calitatea algoritmului de cinematică inversă al robotului pot influența performanța. Roboții cu spații de lucru sau dinamici foarte diferite pot scoate la iveală și alte discrepanțe între predicția modelului și ceea ce poate face fizic hardware-ul.

Ajustarea fină oferă o cale de a depăși nivelul de bază

Serviciul Dream Labs de ajustare fină ca serviciu le oferă dezvoltatorilor o altă opțiune atunci când modelul general nu este suficient. Aceștia pot încărca demonstrații realizate cu propriul robot și pot primi un model adaptat, în loc să înceapă de la zero un proiect de antrenare.

Compania prezintă exemple de adaptare folosind cinci minute de date specifice robotului, precum și exemple care necesită mult mai multe date pentru efectori terminali necunoscuți. Aceste demonstrații ilustrează varietatea nevoilor de adaptare; ele nu stabilesc o cerință universală de antrenare de cinci minute.

Aceasta este o distincție practică importantă. Un model comun poate reduce munca inițială necesară pentru a pune un robot în mișcare, în timp ce datele specifice sarcinii pot fi în continuare necesare pentru ca acesta să se comporte util într-o anumită aplicație. Dream Labs recunoaște că modelele adaptate continuă să ofere rezultate mai bune decât operarea zero-shot.

Pagina de cercetare indică un cost de inferență de 3 USD pe oră pentru Dream-1 și de 2 USD pe oră pentru varianta mai ușoară Dream-1-flash. Fiecare apel al modelului returnează 1,6 secunde de acțiuni. Costurile hardware-ului, integrării și oricăror servicii suplimentare rămân aspecte separate de luat în calcul la evaluarea costului unei implementări.

De la demonstrații de cercetare la activități repetabile

Membrii echipei startupului au lucrat anterior la DreamZero și la cercetarea NVIDIA în domeniul roboticii GR00T. Cu Dream-1, echipa transformă această cercetare într-un serviciu pe care dezvoltatorii îl pot testa pe propriile mașini.

Accesul este o componentă importantă a anunțului. Un API public le permite producătorilor de roboți și echipelor mai mici să evalueze direct comportamentul, inclusiv să vadă în ce situații dă greș, în loc să se bazeze exclusiv pe demonstrații selectate. Playground-ul disponibil online oferă o introducere mai accesibilă persoanelor care nu dețin un robot.

Dream-1 este în continuare o versiune beta de cercetare, iar Dream Labs precizează că nu a fost validat pentru utilizări critice pentru siguranță. În prezent, se concentrează pe manipularea obiectelor cu sisteme cu două brațe și clești paraleli; extinderea suportului pentru roboți mobili și hardware capabil de manipulări fine face în continuare parte din eforturile de dezvoltare.

Întrebarea comercială este dacă un model care se transferă de la o mașină la alta poate oferi și performanțe repetabile în sarcini pe care oamenii sunt dispuși să plătească pentru a le automatiza. Finanțarea de 90 de milioane de dolari îi oferă Dream Labs resursele necesare pentru a urmări acest obiectiv. Cel mai important test va fi cât de multe date personalizate și câtă muncă de inginerie le vor mai fi necesare dezvoltatorilor după conectarea unui robot nou.