Dream Labs haalt $90 miljoen aan startkapitaal op om robotica-AI op verschillende machines in te zetten

Dream Labs, een startup opgericht door voormalige robotica-onderzoekers van NVIDIA, heeft $90 miljoen aan startkapitaal opgehaald en een openbare API gelanceerd voor Dream-1, een model dat vaardigheden kan overdragen tussen verschillende robots. De financieringsronde werd geleid door B Capital en Kindred Ventures, met deelname van A.Capital, Unusual Ventures en andere investeerders.

Het bedrijf pakt een kostbaar knelpunt in de robotica aan: een machine die een taak leert, draagt die kennis niet automatisch over op een andere machine. Dream Labs wil dat ontwikkelaars met een gedeeld model beginnen en dit vervolgens aanpassen wanneer een specifieke robot of toepassing om meer gespecialiseerde training vraagt.

De lancering omvat een API, een dienst voor het verfijnen van modellen en een Robot Playground die via een browser toegankelijk is. Met die laatste kunnen gebruikers instructies sturen naar fysieke robots in het kantoor van het bedrijf in San Francisco. Dream Labs zegt dat de financiering vooral wordt gebruikt voor rekenkracht, terwijl het bedrijf de mogelijkheden en capaciteit van het model uitbreidt.

Hoe Dream-1 video koppelt aan fysieke handelingen

Dream Labs noemt Dream-1 een wereldactiemodel. De technische toelichting op de lancering beschrijft een systeem dat video en handelingen gezamenlijk voorspelt: voorspellen hoe een scène verandert, hangt samen met bepalen wat een robot vervolgens moet doen.

Dat onderscheid is belangrijk omdat robotlichamen van elkaar verschillen. Gewrichtscommando’s die bij de ene arm werken, werken niet noodzakelijkerwijs bij een andere. Dream-1 kan in plaats daarvan poses van de eindeffector voorspellen: de gewenste positie en oriëntatie van elke grijper, en of die open of gesloten moet zijn. De inverse-kinematica-oplosser van elke robot vertaalt die doelen naar bewegingen die de gewrichten van die robot kunnen uitvoeren.

Zo ontstaat een gemeenschappelijke interface voor verschillende machines, zonder dat ze identieke hardware hoeven te hebben. Het model gebruikt drie camerabeelden: één van de scène en één vanaf elke pols. Dankzij de videorepresentatie kan het model verschillende soorten armen en grijpers beoordelen via hetzelfde visuele medium.

Voor ontwikkelaars bundelt het product dat onderzoek in een relatief eenvoudige werkcyclus. De robot levert beelden, zijn huidige toestand en een taakopdracht aan; het model geeft acties terug. De modellen draaien via de gehoste dienst van Dream Labs, zodat niet elke ontwikkelaar zelf een basismodel voor robotica hoeft te bouwen en beheren.

Overdracht zonder voorafgaande training heeft een afgebakend toepassingsgebied

De huidige mogelijkheid van het bedrijf om taken zonder voorafgaande training uit te voeren, is gericht op tweehandige robots met parallelgrijpers: machines met twee armen en eenvoudige grijpers die open en dicht kunnen. Zonder voorafgaande training betekent dat het model taken kan proberen uit te voeren met een onbekende robot, zonder eerst te zijn getraind op demonstraties van die specifieke machine.

In de gepubliceerde evaluatie van Dream Labs werden 27 niet eerder geziene robotconfiguraties in simulatie getest, met 300 uitvoeringen per configuratie. De resultaten werden afgezet tegen YAM, de robot waarop Dream-1 was getraind. De prestaties liepen per type hardware sterk uiteen. Daarom is de algemene claim dat het model tussen robots kan worden overgedragen beter te beoordelen in samenhang met de gedetailleerde resultaten.

Deze relatieve scores moeten niet worden verward met absolute percentages voor het succesvol uitvoeren van taken. Ook bewijst het overdragen van een beleid naar een andere robot niet dat die elke taak betrouwbaar zal voltooien. Op de onderzoekspagina wordt bij de taakevaluaties afzonderlijk onderscheid gemaakt tussen volledige voltooiing en gedeeltelijke voortgang.

De besturingsinterface brengt ook afwegingen met zich mee. Het voorspellen van de bestemming van een grijper bepaalt niet volledig welke route een arm neemt om die te bereiken. Obstakels, gewrichtslimieten en de kwaliteit van de inverse-kinematica-oplosser van de robot kunnen de prestaties beïnvloeden. Robots met sterk afwijkende werkruimten of dynamiek kunnen nog grotere verschillen blootleggen tussen de voorspelling van het model en wat de hardware fysiek kan uitvoeren.

Fijnafstemming biedt een route voorbij de basisprestaties

Met Fine-tuning-as-a-Service biedt Dream Labs ontwikkelaars een andere optie wanneer het algemene model tekortschiet. Ze kunnen demonstraties van hun eigen robot uploaden en een aangepast model ontvangen, in plaats van vanaf nul een trainingsproject op te zetten.

Het bedrijf toont voorbeelden van aanpassing met vijf minuten aan robotspecifieke gegevens, evenals voorbeelden waarvoor aanzienlijk meer gegevens nodig zijn bij onbekende eindeffectors. Deze demonstraties laten zien hoezeer de benodigde aanpassing kan verschillen; ze stellen geen universele trainingseis van vijf minuten vast.

Dit is een belangrijk praktisch onderscheid. Een gedeeld model kan het voorbereidende werk verminderen dat nodig is om een robot in beweging te krijgen, terwijl taakspecifieke gegevens nog steeds nodig kunnen zijn om het gedrag bruikbaar te maken voor een bepaalde toepassing. Dream Labs erkent dat aangepaste modellen nog altijd beter presteren dan gebruik zonder voorafgaande training.

Op de onderzoekspagina staan de inferentiekosten vermeld: $3 per uur voor Dream-1 en $2 per uur voor het lichtere Dream-1-flash. Elke modelaanroep levert 1,6 seconden aan acties op. Bij het beoordelen van de kosten van een implementatie moet ook rekening worden gehouden met de hardware, integratie en eventuele extra servicekosten.

Van onderzoeksdemonstraties naar herhaalbaar werk

Het team van de startup werkte eerder aan DreamZero en aan het roboticaonderzoek van NVIDIA naar GR00T. Met Dream-1 zet het dat onderzoek om in een dienst die ontwikkelaars op hun eigen machines kunnen testen.

Toegankelijkheid is een belangrijk onderdeel van de aankondiging. Met een openbare API kunnen robotbouwers en kleinere teams het gedrag rechtstreeks beoordelen, ook wanneer het systeem faalt, in plaats van uitsluitend af te gaan op geselecteerde demonstraties. De live Playground biedt een toegankelijkere kennismaking voor mensen die geen robot bezitten.

Dream-1 bevindt zich nog in de bètafase van het onderzoek en Dream Labs stelt dat het systeem niet is gevalideerd voor veiligheidskritische toepassingen. De huidige focus ligt op manipulatie met systemen met twee armen en parallelgrijpers; bredere ondersteuning voor mobiele robots en behendige hardware blijft onderdeel van de ontwikkelingsinspanningen.

De commerciële vraag is of een model dat op verschillende machines kan worden ingezet, ook consistente prestaties kan leveren bij taken waarvoor mensen willen betalen om ze te automatiseren. De financieringsronde van $90 miljoen geeft Dream Labs de middelen om dat doel na te streven. De belangrijkste test is hoeveel aangepaste data en technische inspanningen ontwikkelaars nog nodig hebben nadat ze een nieuwe robot hebben aangesloten.