Dream Labs lève 90 millions de dollars en financement d’amorçage pour déployer l’IA robotique sur différentes machines

Dream Labs, une jeune entreprise fondée par d’anciens chercheurs en robotique de NVIDIA, a levé 90 millions de dollars en financement d’amorçage et lancé une API publique pour Dream-1, un modèle conçu pour transférer des compétences d’un robot à l’autre. Le financement a été mené par B Capital et Kindred Ventures, avec la participation de A.Capital, Unusual Ventures et d’autres investisseurs.

L’entreprise s’attaque à un obstacle coûteux en robotique : le fait qu’une machine qui apprend une tâche ne transmet pas automatiquement ce savoir à une autre. Dream Labs souhaite que les développeurs partent d’un modèle commun, puis l’adaptent lorsqu’un robot ou une application en particulier nécessite un entraînement plus spécialisé.

Le lancement comprend une API, un service de réglage fin et Robot Playground, un environnement accessible depuis un navigateur. Ce dernier permet aux utilisateurs d’envoyer des instructions à des robots physiques dans les bureaux de l’entreprise, à San Francisco. Dream Labs indique que les fonds serviront principalement à financer les ressources de calcul, à mesure que l’entreprise élargit les capacités de ses modèles et accroît sa capacité.

Comment Dream-1 relie la vidéo aux actions physiques

Dream Labs qualifie Dream-1 de modèle d’action du monde. Son compte rendu technique du lancement décrit un système qui prédit simultanément les vidéos et les actions : anticiper l’évolution d’une scène est lié à la décision concernant la prochaine action du robot.

Cette distinction est importante, car les architectures des robots diffèrent. Les commandes articulaires qui fonctionnent sur un bras ne fonctionneront pas nécessairement sur un autre. Dream-1 peut plutôt prédire les poses de l’effecteur terminal, c’est-à-dire la position et l’orientation souhaitées de chaque pince, ainsi que son état — ouverte ou fermée. Le solveur de cinématique inverse de chaque robot traduit ces cibles en mouvements que ses propres articulations peuvent effectuer.

Cela fournit une interface commune entre différentes machines, sans qu’elles aient besoin de disposer d’un matériel identique. Le modèle utilise trois vues de caméra : l’une dirigée vers la scène et une sur chacun des poignets. Sa représentation vidéo lui permet de raisonner sur des bras et des pinces d’apparence différente à partir d’un même support visuel.

Pour les développeurs, le produit transforme ces travaux de recherche en un processus relativement direct. Le robot fournit des images, son état actuel et une instruction décrivant la tâche ; le modèle renvoie des actions. Les modèles fonctionnent par l’intermédiaire du service hébergé de Dream Labs : les développeurs n’ont donc pas tous à créer et à exploiter leur propre modèle fondamental de robotique.

Le transfert en zero-shot a un champ d’application défini

La capacité actuelle de l’entreprise en zero-shot concerne les robots bimanuels équipés de pinces parallèles : des machines dotées de deux bras et de pinces simples qui s’ouvrent et se ferment. Le zero-shot signifie que le modèle peut tenter d’effectuer des tâches sur un robot qu’il ne connaît pas, sans avoir été préalablement entraîné sur des démonstrations réalisées avec cette machine en particulier.

Dans l’évaluation publiée par Dream Labs, 27 configurations de robots inédites ont été testées en simulation, avec 300 séquences d’exécution par configuration. Les résultats ont été communiqués par rapport à YAM, le robot sur lequel Dream-1 a été entraîné. Les performances variaient considérablement selon le matériel, ce qui rend l’affirmation générale concernant le transfert entre robots plus utile lorsqu’on la met en regard des résultats détaillés.

Ces scores relatifs ne doivent pas être confondus avec des taux absolus de réussite des tâches. Par ailleurs, le transfert d’une politique vers un autre robot ne permet pas d’établir qu’il accomplira chaque tâche de manière fiable. Dans ses évaluations des tâches, la page de recherche distingue séparément leur accomplissement complet de leur réalisation partielle.

L’interface de commande comporte également des compromis. Prédire la destination d’une pince ne permet pas de déterminer entièrement le trajet que suivra le bras pour l’atteindre. Les obstacles, les limites articulaires et la qualité du solveur de cinématique inverse du robot peuvent influer sur les performances. Des robots dont l’espace de travail ou la dynamique diffèrent fortement peuvent accentuer les écarts entre les prédictions du modèle et les capacités physiques du matériel.

Le réglage fin ouvre une voie au-delà du modèle de base

Le service de réglage fin de Dream Labs permet aux développeurs de choisir une autre approche lorsque le modèle général ne suffit pas. Ils peuvent téléverser des démonstrations réalisées avec leur propre robot et recevoir un modèle adapté, plutôt que de lancer un projet d’entraînement à partir de zéro.

L’entreprise présente des exemples d’adaptation à partir de cinq minutes de données propres au robot, ainsi que des exemples qui nécessitent beaucoup plus de données lorsqu’il s’agit d’effecteurs terminaux inconnus. Ces démonstrations illustrent l’éventail des besoins d’adaptation ; elles ne signifient pas qu’un entraînement de cinq minutes convient à tous les cas.

Il s’agit là d’une distinction importante sur le plan pratique. Un modèle commun peut réduire le travail initial nécessaire pour mettre un robot en mouvement, tandis que des données propres à la tâche peuvent rester indispensables pour obtenir un comportement utile dans une application donnée. Dream Labs reconnaît que les modèles adaptés restent plus performants que le mode zero-shot.

La page de recherche indique un tarif d’inférence de 3 $ par heure pour Dream-1 et de 2 $ par heure pour la version plus légère, Dream-1-flash. Chaque appel au modèle renvoie 1,6 seconde d’actions. Le matériel, l’intégration et les éventuels frais de service supplémentaires restent à prendre en compte dans l’évaluation du coût d’un déploiement.

Des démonstrations de recherche à un travail reproductible

L’équipe de la jeune entreprise a auparavant travaillé sur DreamZero et sur les recherches en robotique de NVIDIA sur GR00T. Avec Dream-1, elle transforme ces travaux de recherche en un service que les développeurs peuvent tester sur leurs propres machines.

L’accès constitue un volet important de l’annonce. Une API publique permet aux fabricants de robots et aux petites équipes d’évaluer directement le comportement, y compris ses défaillances, plutôt que de s’appuyer uniquement sur des démonstrations choisies. Le Playground accessible en ligne offre une première approche plus facile aux personnes qui ne possèdent pas de robot.

Dream-1 reste en version bêta de recherche, et Dream Labs précise qu’il n’a pas été validé pour des usages critiques pour la sécurité. Il se concentre actuellement sur la manipulation avec des systèmes à deux bras et à pinces parallèles ; la prise en charge plus large des robots mobiles et du matériel robotique dextre reste un objectif de développement.

La question commerciale est de savoir si un modèle transférable d’une machine à l’autre peut aussi offrir des performances reproductibles sur des tâches que les clients sont prêts à payer pour automatiser. La levée de fonds de 90 millions de dollars donne à Dream Labs les moyens de poursuivre cet objectif. Le test le plus déterminant consistera à mesurer la quantité de données personnalisées et de travail d’ingénierie dont les développeurs auront encore besoin après avoir connecté un nouveau robot.