Dream Labs tar in 90 miljoner dollar i såddfinansiering för att föra robot-AI till olika maskiner

Dream Labs, en startup grundad av tidigare robotikforskare på NVIDIA, har tagit in 90 miljoner dollar i såddfinansiering och lanserat ett offentligt API för Dream-1, en modell utformad för att överföra färdigheter mellan olika robotar. Finansieringen leddes av B Capital tillsammans med Kindred Ventures, med deltagande från A.Capital, Unusual Ventures och andra investerare.

Företaget tar sig an en kostsam flaskhals inom robotik: att en maskin lär sig en uppgift innebär inte automatiskt att kunskapen förs över till en annan maskin. Dream Labs vill att utvecklare ska kunna utgå från en gemensam modell och sedan anpassa den när en viss robot eller tillämpning kräver mer specialiserad träning.

Lanseringen omfattar ett API, en tjänst för finjustering och en webbläsarbaserad robotlekplats. Med den sistnämnda kan användare skicka instruktioner till fysiska robotar på företagets kontor i San Francisco. Dream Labs uppger att finansieringen främst ska gå till beräkningskapacitet i takt med att företaget utökar modellernas förmågor och kapacitet.

Så kopplar Dream-1 samman video med fysiska handlingar

Dream Labs beskriver Dream-1 som en världs- och handlingsmodell. I sin tekniska redogörelse för lanseringen beskriver företaget ett system som förutsäger video och handlingar samtidigt: att förutse hur en scen kommer att förändras hänger samman med att avgöra vad en robot bör göra härnäst.

Skillnaden är viktig eftersom robotar har olika kroppar. Ledkommandon som fungerar för en robotarm fungerar inte nödvändigtvis för en annan. Dream-1 kan i stället förutsäga slutpunkternas position och orientering – det vill säga önskat läge och riktning för varje gripdon, samt om det ska vara öppet eller stängt. Varje robots lösare för invers kinematik översätter målen till rörelser som robotens egna leder kan utföra.

Det ger ett gemensamt gränssnitt för olika maskiner utan att de behöver ha identisk hårdvara. Modellen använder tre kameravyer: en som visar scenen och en på vardera handleden. Videorepresentationen gör det möjligt för modellen att resonera kring robotarmar och gripdon med olika utseende genom samma visuella medium.

För utvecklare paketerar produkten forskningen i ett relativt enkelt arbetsflöde. Roboten tillhandahåller bilder, sitt aktuella tillstånd och en instruktion om uppgiften; modellen returnerar handlingar. Modellerna körs via Dream Labs värdtjänst, så att varje utvecklare inte behöver bygga och driva en grundmodell för robotik.

Nollskottsöverföring har ett tydligt avgränsat tillämpningsområde

Företagets nuvarande nollskottsförmåga är inriktad på tvåarmade robotar med parallellgripdon: maskiner med två armar och enkla gripdon som öppnas och stängs. Nollskott innebär att modellen kan försöka utföra uppgifter med en robot den inte känner till, utan att först tränas på demonstrationer från just den maskinen.

I Dream Labs publicerade utvärdering testades 27 tidigare osedda robotkonfigurationer i simulering, med 300 körningar per konfiguration. Resultaten redovisades i förhållande till YAM, roboten som Dream-1 tränades på. Prestandan varierade avsevärt mellan olika typer av hårdvara, vilket gör det mer givande att läsa det detaljerade resultatet tillsammans med det övergripande påståendet om överföring mellan robotar.

Dessa relativa poäng ska inte förväxlas med absoluta andelar lyckade uppgifter. Att en policy överförs till en annan robot visar inte heller att den pålitligt kommer att klara varje uppgift. På forskningssidan skiljer man i utvärderingen av uppgifterna mellan fullständigt slutförande och partiella framsteg.

Styrgränssnittet innebär också vissa avvägningar. Att förutsäga var ett gripdon ska hamna avgör inte helt vilken väg robotarmen tar för att nå dit. Hinder, ledbegränsningar och kvaliteten på robotens lösare för invers kinematik kan påverka prestandan. Robotar med mycket olika arbetsområden eller dynamik kan blottlägga ytterligare skillnader mellan modellens förutsägelser och vad hårdvaran faktiskt kan utföra.

Finjustering erbjuder en väg bortom grundnivån

Dream Labs tjänst för finjustering som tjänst ger utvecklare ytterligare ett alternativ när den generella modellen inte räcker till. De kan ladda upp demonstrationer från sin egen robot och få en anpassad modell, i stället för att starta ett träningsprojekt från grunden.

Företaget visar exempel på anpassning med fem minuters robotspecifika data, liksom exempel där betydligt mer data krävs för okända slutverktyg. Demonstrationerna visar på bredden av anpassningsbehov, men fastställer inte att fem minuters träning alltid räcker.

Det här är en viktig praktisk skillnad. En gemensam modell kan minska det inledande arbete som krävs för att få en robot i rörelse, samtidigt som uppgiftsspecifika data fortfarande kan behövas för att beteendet ska bli användbart i en viss tillämpning. Dream Labs medger att anpassade modeller fortfarande presterar bättre än nollskottsdrift.

På forskningssidan anges inferenskostnaden till 3 dollar per timme för Dream-1 och 2 dollar per timme för den lättare modellen Dream-1-flash. Varje modellanrop returnerar 1,6 sekunders handlingar. Hårdvara, integration och eventuella ytterligare servicekostnader är separata faktorer att ta hänsyn till när kostnaden för en driftsättning bedöms.

Från forskningsdemonstrationer till arbete som kan upprepas

Startupens team arbetade tidigare med DreamZero och NVIDIAs robotikforskning kring GR00T. Med Dream-1 omvandlar företaget den forskningen till en tjänst som utvecklare kan testa på sina egna maskiner.

Tillgång är en viktig del av tillkännagivandet. Ett offentligt API gör det möjligt för robottillverkare och mindre team att utvärdera beteendet direkt, även när det brister, i stället för att enbart förlita sig på utvalda demonstrationer. Den direkt tillgängliga Playground-miljön ger en mer lättillgänglig introduktion för personer som inte äger en robot.

Dream-1 är fortfarande i betaversion för forskning, och Dream Labs uppger att modellen inte har validerats för säkerhetskritisk användning. För närvarande ligger fokus på manipulation med tvåarmade system med parallellgripare. Ett bredare stöd för mobila robotar och fingerfärdig hårdvara är fortfarande en del av utvecklingsarbetet.

Den kommersiella frågan är om en modell som kan överföras mellan olika maskiner också kan leverera konsekventa resultat i uppgifter som människor är villiga att betala för att automatisera. Finansieringsrundan på 90 miljoner dollar ger Dream Labs resurser att sträva mot det målet. Det viktigaste testet blir hur mycket specialanpassade data och ingenjörsarbete utvecklarna fortfarande behöver efter att ha anslutit en ny robot.