Dream Labs sammelt 90 Millionen Dollar Seed-Kapital, um Robotik-KI auf unterschiedliche Maschinen zu bringen

Dream Labs, ein von ehemaligen Robotikforschern von NVIDIA gegründetes Start-up, hat in einer Seed-Finanzierungsrunde 90 Millionen Dollar eingesammelt und eine öffentliche API für Dream-1 gestartet – ein Modell, das Fähigkeiten auf unterschiedliche Roboter übertragen soll. Die Finanzierungsrunde wurde von B Capital gemeinsam mit Kindred Ventures angeführt. Beteiligt waren außerdem A.Capital, Unusual Ventures und weitere Investoren.

Das Unternehmen geht einen kostspieligen Engpass in der Robotik an: Wenn eine Maschine eine Aufgabe erlernt, überträgt sich dieses Wissen nicht automatisch auf eine andere Maschine. Dream Labs möchte Entwicklern ermöglichen, mit einem gemeinsamen Modell zu beginnen und es anschließend anzupassen, wenn ein bestimmter Roboter oder eine konkrete Anwendung ein spezialisierteres Training erfordert.

Zum Start gehören eine API, ein Dienst zur Feinabstimmung und ein browserbasiertes Robot Playground. Über Letzteren können Nutzer Anweisungen an physische Roboter im Büro des Unternehmens in San Francisco senden. Dream Labs zufolge sollen die Mittel vor allem die Rechenleistung finanzieren, während das Unternehmen die Fähigkeiten und die Kapazität des Modells ausbaut.

Wie Dream-1 Videos mit physischen Aktionen verknüpft

Dream Labs bezeichnet Dream-1 als Welt-Aktionsmodell. In der technischen Beschreibung der Markteinführung wird ein System beschrieben, das Videos und Aktionen gemeinsam vorhersagt: Die Vorhersage, wie sich eine Szene verändern wird, ist damit verknüpft, zu entscheiden, was ein Roboter als Nächstes tun soll.

Dieser Unterschied ist wichtig, weil sich Roboterkörper voneinander unterscheiden. Gelenkbefehle, die an einem Arm funktionieren, funktionieren nicht zwangsläufig auch an einem anderen. Stattdessen kann Dream-1 Posen der Endeffektoren vorhersagen – die gewünschte Position und Ausrichtung jedes Greifers sowie die Information, ob er geöffnet oder geschlossen sein soll. Der Inverskinematiklöser jedes Roboters übersetzt diese Zielvorgaben in Bewegungen, die seine eigenen Gelenke ausführen können.

So entsteht eine gemeinsame Schnittstelle für unterschiedliche Maschinen, ohne dass diese über identische Hardware verfügen müssen. Das Modell nutzt drei Kameraansichten: eine, die auf die Szene gerichtet ist, und je eine an jedem Handgelenk. Seine Videorepräsentation ermöglicht es ihm, unterschiedlich aussehende Arme und Greifer über dasselbe visuelle Medium zu verarbeiten.

Für Entwickler bündelt das Produkt diese Forschung in einem vergleichsweise direkten Ablauf. Der Roboter liefert Bilder, seinen aktuellen Zustand und eine Aufgabenanweisung; das Modell gibt Aktionen zurück. Die Modelle laufen über den gehosteten Dienst von Dream Labs. Entwickler müssen daher nicht jeweils selbst ein grundlegendes Robotikmodell entwickeln und betreiben.

Zero-Shot-Übertragung hat einen klar definierten Anwendungsbereich

Die derzeitige Zero-Shot-Fähigkeit des Unternehmens konzentriert sich auf beidhändige Roboter mit Parallelgreifern: Maschinen mit zwei Armen und einfachen Greifern, die sich öffnen und schließen lassen. Zero-Shot bedeutet, dass das Modell Aufgaben auf einem unbekannten Roboter ausführen kann, ohne zuvor anhand von Demonstrationen für genau diese Maschine trainiert worden zu sein.

In einer veröffentlichten Evaluation testete Dream Labs 27 zuvor nicht gesehene Roboterkonfigurationen in einer Simulation und führte für jede Konfiguration 300 Durchläufe aus. Die Ergebnisse wurden im Verhältnis zu YAM angegeben, dem Roboter, auf dem Dream-1 trainiert wurde. Die Leistung unterschied sich je nach Hardware erheblich. Deshalb lässt sich die zentrale Aussage zur Übertragung zwischen Robotern besser zusammen mit den detaillierten Ergebnissen einordnen.

Diese relativen Werte sollten nicht mit absoluten Erfolgsquoten bei Aufgaben verwechselt werden. Auch belegt die Übertragung einer Richtlinie auf einen anderen Roboter nicht, dass dieser jede Aufgabe zuverlässig erledigen wird. Auf der Forschungsseite wird bei den Aufgabenbewertungen zudem zwischen vollständiger Erledigung und teilweisem Fortschritt unterschieden.

Die Steuerschnittstelle bringt auch Zielkonflikte mit sich. Die Vorhersage, wohin sich ein Greifer bewegen soll, legt den Weg des Arms dorthin nicht vollständig fest. Hindernisse, Gelenkgrenzen und die Qualität des Inverskinematiklösers des Roboters können die Leistung beeinflussen. Roboter mit sehr unterschiedlichen Arbeitsbereichen oder Dynamiken können weitere Abweichungen zwischen der Vorhersage des Modells und dem aufzeigen, was die Hardware physisch ausführen kann.

Feinabstimmung ermöglicht den nächsten Schritt über die Basisversion hinaus

Mit Fine-tuning-as-a-Service bietet Dream Labs Entwicklern eine weitere Möglichkeit, wenn das allgemeine Modell nicht ausreicht. Sie können Demonstrationen mit ihrem eigenen Roboter hochladen und erhalten ein angepasstes Modell, statt ein Trainingsprojekt von Grund auf neu zu beginnen.

Das Unternehmen zeigt Beispiele für die Anpassung anhand von fünf Minuten roboterspezifischer Daten sowie Beispiele, bei denen für unbekannte Endeffektoren erheblich mehr Daten erforderlich sind. Diese Demonstrationen veranschaulichen die Bandbreite des Anpassungsbedarfs; sie belegen nicht, dass ein Training grundsätzlich nur fünf Minuten dauern muss.

Das ist ein wichtiger praktischer Unterschied. Ein gemeinsames Modell kann den anfänglichen Aufwand verringern, der nötig ist, um einen Roboter in Bewegung zu setzen. Für ein sinnvolles Verhalten in einer bestimmten Anwendung können dennoch aufgabenspezifische Daten erforderlich sein. Dream Labs räumt ein, dass angepasste Modelle im Betrieb weiterhin bessere Ergebnisse erzielen als im Zero-Shot-Betrieb.

Auf der Forschungsseite werden die Inferenzkosten mit 3 Dollar pro Stunde für Dream-1 und 2 Dollar pro Stunde für das leichtere Dream-1-flash angegeben. Jeder Modellaufruf liefert Aktionen für 1,6 Sekunden. Bei der Einschätzung der Kosten eines Einsatzes sind außerdem die Hardware, die Integration und mögliche zusätzliche Dienstkosten zu berücksichtigen.

Von Forschungsdemonstrationen zu wiederholbaren Arbeitsabläufen

Das Team des Start-ups hat zuvor an DreamZero und an der Robotikforschung von NVIDIA zu GR00T gearbeitet. Mit Dream-1 überführt es diese Forschung in einen Dienst, den Entwickler auf ihren eigenen Maschinen testen können.

Der Zugang ist ein wichtiger Bestandteil der Ankündigung. Über eine öffentliche API können Roboterhersteller und kleinere Teams das Verhalten direkt bewerten und auch feststellen, wo es versagt, statt sich ausschließlich auf ausgewählte Demonstrationen zu verlassen. Das Live-Playground bietet einen leichter zugänglichen Einstieg für Menschen, die keinen eigenen Roboter besitzen.

Dream-1 befindet sich weiterhin in der Forschungs-Betaphase, und Dream Labs erklärt, dass das Modell nicht für sicherheitskritische Anwendungen validiert wurde. Der derzeitige Schwerpunkt liegt auf der Manipulation mit Systemen mit zwei Armen und Parallelgreifern; die breitere Unterstützung mobiler Roboter und geschickter Hardware ist weiterhin Teil der Entwicklungsarbeit.

Die entscheidende kommerzielle Frage ist, ob ein Modell, das sich auf verschiedene Maschinen übertragen lässt, bei Aufgaben, deren Automatisierung Menschen bezahlen würden, auch wiederholbar gute Ergebnisse liefern kann. Die Finanzierungsrunde über 90 Millionen US-Dollar gibt Dream Labs die Mittel, dieses Ziel zu verfolgen. Am wichtigsten wird sich zeigen, wie viele kundenspezifischen Daten und wie viel Entwicklungsarbeit Entwickler nach dem Anschließen eines neuen Roboters noch benötigen.