Dream Labs henter 90 millioner dollar i såkornfinansiering for å ta robot-AI til ulike maskiner

Dream Labs, en oppstartsbedrift grunnlagt av tidligere robotikkforskere fra NVIDIA, har hentet 90 millioner dollar i såkornfinansiering og lansert et offentlig API for Dream-1, en modell utviklet for å overføre ferdigheter mellom ulike roboter. Finansieringen ble ledet av B Capital sammen med Kindred Ventures, med deltakelse fra A.Capital, Unusual Ventures og andre investorer.

Selskapet tar tak i en kostbar flaskehals innen robotikk: At en maskin lærer en oppgave, betyr ikke automatisk at kunnskapen overføres til en annen maskin. Dream Labs vil at utviklere skal ta utgangspunkt i en felles modell og deretter tilpasse den når en bestemt robot eller applikasjon krever mer spesialisert trening.

Lanseringen omfatter et API, en tjeneste for finjustering og en nettleserbasert Robot Playground. Sistnevnte lar brukerne sende instruksjoner til fysiske roboter på selskapets kontor i San Francisco. Dream Labs sier at finansieringen først og fremst skal støtte databehandlingskapasiteten etter hvert som selskapet utvider modellens funksjonalitet og kapasitet.

Slik kobler Dream-1 video til fysiske handlinger

Dream Labs omtaler Dream-1 som en verdenshandlingsmodell. Den tekniske beskrivelsen av lanseringen forklarer et system som forutsier video og handlinger samtidig: Forutsigelser om hvordan en scene vil endre seg, henger sammen med beslutninger om hva en robot skal gjøre videre.

Dette skillet er viktig fordi roboter har ulik utforming. Leddkommandoer som fungerer på én arm, vil ikke nødvendigvis fungere på en annen. Dream-1 kan i stedet forutsi endeeffektorens posisjoner og orienteringer – ønsket plassering og retning for hver griper, samt om den skal være åpen eller lukket. Hver robots løser for invers kinematikk oversetter disse målene til bevegelser som robotens egne ledd kan utføre.

Dette gir en felles grensesnittløsning på tvers av maskiner uten at de må ha identisk maskinvare. Modellen bruker tre kameravinkler: én som viser scenen, og én på hvert håndledd. Videorepresentasjonen gjør det mulig for modellen å resonnere om armer og gripere med ulikt utseende ved hjelp av det samme visuelle mediet.

For utviklere samler produktet denne forskningen i en relativt direkte arbeidsflyt. Roboten leverer bilder, sin nåværende tilstand og en instruksjon om oppgaven; modellen returnerer handlinger. Modellene kjøres via Dream Labs’ driftede tjeneste, slik at hver utvikler slipper å bygge og drifte en grunnmodell for robotikk.

Nullskuddsoverføring har et avgrenset bruksområde

Selskapets nåværende nullskuddskapasitet er rettet mot tohåndsroboter med parallelle gripere: maskiner med to armer og enkle gripere som åpnes og lukkes. Nullskudd betyr at modellen kan forsøke oppgaver med en ukjent robot uten først å trenes på demonstrasjoner fra akkurat den maskinen.

I Dream Labs’ publiserte evaluering ble 27 tidligere uprøvde robotutførelser testet i en simulering, med 300 simuleringskjøringer per utførelse. Resultatene ble rapportert i forhold til YAM, roboten Dream-1 ble trent på. Ytelsen varierte betydelig mellom ulike typer maskinvare, noe som gjør hovedpåstanden om overføring mellom roboter mer nyttig når den leses sammen med de detaljerte resultatene.

Disse relative poengsummene må ikke forveksles med absolutte suksessrater for oppgaver. At en policy overføres til en annen robot, viser heller ikke at den pålitelig vil fullføre alle oppgaver. Forskningssiden skiller dessuten mellom fullføring og delvis fremgang i evalueringene av oppgavene.

Kontrollgrensesnittet innebærer også avveininger. Å forutsi hvor en griper skal ende opp, fastslår ikke hele banen armen følger for å komme dit. Hindringer, leddgrenser og kvaliteten på robotens løser for invers kinematikk kan påvirke ytelsen. Roboter med svært ulike arbeidsområder eller dynamiske egenskaper kan avdekke ytterligere avvik mellom modellens forutsigelser og det maskinvaren faktisk er i stand til å gjøre.

Finjustering gir en vei videre fra grunnmodellen

Dream Labs’ tjeneste for finjustering gir utviklere et alternativ når den generelle modellen ikke strekker til. De kan laste opp demonstrasjoner fra sin egen robot og få en tilpasset modell, i stedet for å starte et treningsprosjekt fra bunnen av.

Selskapet viser eksempler på tilpasning med fem minutters robotspecifikke data, samt eksempler der ukjente endeeffektorer krever betydelig mer data. Demonstrasjonene illustrerer bredden i tilpasningsbehovene; de fastslår ikke at trening alltid krever fem minutter.

Dette er et viktig praktisk skille. En felles modell kan redusere det innledende arbeidet med å få en robot i bevegelse, samtidig som oppgavespesifikke data fortsatt kan være nødvendige for at robotens atferd skal være nyttig i en bestemt applikasjon. Dream Labs erkjenner at tilpassede modeller fortsatt presterer bedre enn nullskuddsdrift.

Forskningssiden oppgir en inferenskostnad på 3 dollar per time for Dream-1 og 2 dollar per time for den lettere Dream-1-flash. Hvert modellkall returnerer 1,6 sekunder med handlinger. Maskinvare, integrasjon og eventuelle tilleggskostnader for tjenester er fortsatt separate faktorer å ta hensyn til når man vurderer kostnaden ved en utrulling.

Fra forskningsdemonstrasjoner til arbeid som kan gjentas

Teamet i oppstartsbedriften har tidligere jobbet med DreamZero og robotikkforskningen til NVIDIA GR00T. Med Dream-1 gjør selskapet denne forskningen om til en tjeneste som utviklere kan teste på sine egne maskiner.

Tilgang er en viktig del av kunngjøringen. Et offentlig API lar robotprodusenter og mindre team evaluere atferden direkte, også se hvor den svikter, i stedet for å basere seg utelukkende på utvalgte demonstrasjoner. Den nettbaserte Playgrounden gir en mer tilgjengelig introduksjon for dem som ikke eier en robot.

Dream-1 er fortsatt i betaversjon for forskning, og Dream Labs opplyser at løsningen ikke er validert for sikkerhetskritisk bruk. Det nåværende fokuset er manipulering med systemer med to armer og parallelle gripeverktøy. Støtte for mobile roboter og maskinvare med høy fingerferdighet er fortsatt en del av utviklingsarbeidet.

Det kommersielle spørsmålet er om en modell som kan overføres mellom maskiner, også kan levere stabile resultater på oppgaver som folk vil betale for å automatisere. Finansieringsrunden på 90 millioner dollar gir Dream Labs ressurser til å jobbe mot dette målet. Den viktigste prøven blir hvor mye spesialtilpassede data og teknisk utviklingsarbeid utviklerne fortsatt trenger etter at de har koblet til en ny robot.