Hesai lance Kosmo pour transformer les scans du monde réel en données d’entraînement pour les robots

Le groupe Hesai a lancé Kosmo le 14 octobre 2026. Ce moteur de données 3D sur le monde combine sa caméra spatiale Kosmo One et sa plateforme cloud Kosmo World pour convertir les environnements physiques en espaces numériques 3D haute fidélité destinés à l’entraînement des robots, au développement de modèles du monde et à la création de contenus immersifs.

Lors de l’événement de lancement, l’entreprise a également annoncé des partenariats stratégiques avec les entreprises d’IA incarnée Galbot et Dexmal, et présenté des applications développées avec le moteur de rendu RenderMan de Pixar et la plateforme cartographique chinoise Amap, dans les domaines de la robotique, du cinéma et des services de localisation.

Shaoqing Xiang, cofondateur et directeur technique de Hesai, a déclaré que l’IA physique avait besoin de données du monde réel précises, abordables et disponibles à grande échelle, et que satisfaire ces trois exigences à la fois constituait depuis longtemps un problème. « Kosmo est conçu pour relever ce défi, en permettant aux développeurs et aux créateurs d’IA de transformer plus facilement des environnements réels en données pour entraîner leurs modèles et en ressources pour créer leurs projets », a-t-il déclaré.

Matériel de capture Kosmo One

Kosmo One est une caméra spatiale à IA ultra-haute définition 8K qui associe un lidar haute résolution, un capteur d’image d’un pouce et une centrale inertielle de haute précision. Elle enregistre la géométrie, les couleurs, les textures et la position de la caméra avec une synchronisation à la microseconde. Hesai la présente comme la première caméra spatiale à IA au monde dotée d’un système d’imagerie 8K intégré. L’entreprise précise en note que cette désignation se fonde sur les informations produit accessibles au public en octobre 2026. La résolution 8K correspond à la résolution de capture maximale ; la résolution maximale à l’exportation pour les utilisateurs est de 6K.

Selon Hesai, la reconstruction par splatting gaussien 3D de la caméra atteint une précision géométrique de l’ordre du millimètre et reproduit les matériaux, l’éclairage et les ombres. La caméra permet de lancer un scan dès sa mise sous tension, propose un guidage intelligent et permet de reprendre un scan d’une simple pression. L’entreprise indique qu’un seul opérateur peut scanner un espace intérieur typique de 100 mètres carrés en environ 15 minutes. Kosmo World traite ensuite les données capturées pour produire des modèles 3D jusqu’à environ cinq fois plus rapidement que les produits comparables, selon Hesai, qui précise que les résultats réels varient en fonction de la scène, du volume de données et des paramètres utilisés.

Kosmo World et son déploiement chez Dairy Queen

Kosmo World réunit sur une seule plateforme la création et la gestion de contenus 3D, grâce à ce que Hesai appelle son Kosmo Spatial Core. Une seule reconstruction produit, dans une scène cohérente, des données de splatting gaussien 3D, de maillage et de profondeur. L’IA générative comble les zones manquées par le scanner et reconstitue les matériaux et les textures, tandis que la segmentation sémantique identifie les objets individuellement. Il est également possible d’adapter les vues aux caractéristiques de la caméra d’un robot, ce qui contribue, selon Hesai, à réduire l’écart entre la simulation et le fonctionnement dans le monde réel.

À titre d’exemple concret, Hesai a évoqué un déploiement dans un magasin de glaces Dairy Queen. L’entreprise a indiqué qu’une équipe professionnelle avait auparavant besoin d’environ 300 heures de modélisation manuelle pour créer un environnement d’entraînement 3D. Avec Kosmo, le scan et la reconstruction ont pris 15 minutes. Dans le cadre de ce déploiement, le taux de réussite des tâches d’un robot Sharpa a atteint 99 % et son taux d’échec est tombé à un dixième de son niveau antérieur, ce qui lui a permis de commencer à fonctionner dans un véritable magasin, selon Hesai.

Modèles du monde, cinéma et cartographie

Pour le développement de modèles du monde, Hesai a expliqué que les scènes géométriquement précises de Kosmo fournissent des poses de caméra exactes, des informations de profondeur et des vues cohérentes sous plusieurs angles, qui servent de référence issue du monde réel pour créer des environnements virtuels. Un espace capturé peut générer automatiquement plus de 10 000 trajectoires d’entraînement, fournissant aux développeurs plus de 100 fois plus de données d’entraînement de haute qualité pour le même coût — comparaison qu’Hesai établit avec le coût de collecte d’une trajectoire de robot de haute qualité dans le monde réel.

Pour la production cinématographique, l’entreprise estime qu’avec Kosmo, il faut une semaine pour scanner, reconstruire et retoucher un paysage de rue européen de 10 000 mètres carrés, contre environ deux mois pour construire le lieu sous la forme d’un décor physique. Elle indique que les coûts totaux peuvent diminuer jusqu’à 80 %. Pour une scène intérieure de 200 mètres carrés, Hesai estime le travail à environ deux journées-personnes avec Kosmo, contre environ 14 journées-personnes pour une modélisation traditionnelle par images de synthèse. Hesai a indiqué que des sociétés de cinéma et de télévision utilisent déjà Kosmo dans des flux de travail reposant sur le moteur de rendu RenderMan de Pixar, conçu pour la production, qui a publié un tutoriel officiel accompagné de ressources téléchargeables. L’entreprise collabore également avec Yuemo Studio sur la production cinématographique assistée par l’IA, qui associe des environnements réels capturés à du contenu généré par l’IA.

Hesai a également annoncé travailler avec TRIC, partenaire des Nations Unies, à la création d’une œuvre d’art numérique immersive consacrée à la chaumière de Du Fu, à Chengdu, ancienne demeure du poète de la dynastie Tang. Dans le cadre du partenariat avec Amap, les reconstitutions du Gravity Art Museum et de la PIFO Gallery sont déjà accessibles dans la fonctionnalité Flying Street View d’Amap. Hesai a indiqué que la plateforme comptait près d’un milliard d’utilisateurs actifs par mois. À plus long terme, le partenariat vise à faire évoluer la navigation, qui permet aujourd’hui de trouver un magasin, pour qu’elle permette de repérer un produit à l’intérieur de celui-ci.

Écosystème ouvert et modules d’actionnement

Hesai développe Kosmo comme un écosystème ouvert d’intelligence spatiale, donnant libre accès aux données brutes de capture et aux ressources 3D, avec des intégrations à NVIDIA Isaac Sim, Isaac Lab, Unreal Engine, RenderMan et Houdini. L’entreprise a décrit deux modèles économiques : des solutions intégrées associant matériel et logiciels pour les clients des secteurs de la robotique, des médias et d’autres industries, et des services de données produisant à grande échelle des données spatiales issues du monde réel pour les développeurs de modèles du monde et d’IA physique.

Hesai a déclaré que ses livraisons de lidars avaient doublé pendant neuf années consécutives et qu’elle occupait une position de premier plan à l’échelle mondiale sur les marchés des systèmes avancés d’aide à la conduite (ADAS) pour véhicules particuliers et des robotaxis. L’entreprise s’appuie sur ces acquis pour bâtir sa prochaine phase de croissance autour des données 3D du monde et du mouvement robotique. Le cofondateur et PDG Yifan « David » Li a présenté le moteur de données 3D du monde et le moteur de mouvement robotique associé comme le deuxième moteur de croissance de l’entreprise. « Au cours de la dernière décennie, nous avons permis aux machines de voir le monde, a déclaré Li. Au cours de la prochaine décennie, nous permettrons aux robots de le comprendre et de le transformer. »

Parallèlement à Kosmo, Hesai développe son activité de systèmes d’actionnement robotique. Ses modules d’actionnement équipent la main dextre Wave de Sharpa, qui, selon l’entreprise, offre une densité de puissance trois fois supérieure à celle de produits comparables, dans un format 37 % plus compact. Selon Hesai, cette main a été intégrée à la conception de référence du robot humanoïde Isaac GR00T de NVIDIA et adoptée par des établissements de recherche, notamment UC Berkeley et Stanford. L’entreprise a déclaré que le cumul des livraisons de ses modules d’actionnement avait dépassé les 10 000 unités à la fin du deuxième trimestre 2026 et qu’elle prévoyait d’atteindre les six chiffres en 2027, à mesure que sa gamme de produits s’élargira des modules pour les mains aux articulations réparties dans tout le corps du robot.