Hesai lanceert Kosmo om scans uit de echte wereld om te zetten in trainingsgegevens voor robots

Hesai Group lanceerde op 14 oktober 2026 Kosmo, een 3D-engine voor wereldgegevens die de ruimtelijke camera Kosmo One combineert met het cloudplatform Kosmo World. Het systeem zet fysieke omgevingen om in hoogwaardige digitale 3D-ruimtes voor het trainen van robots, de ontwikkeling van wereldmodellen en het creëren van immersieve content.

Tijdens het lanceringsevenement kondigde het bedrijf ook strategische samenwerkingen aan met de bedrijven voor embodied AI Galbot en Dexmal. Daarnaast demonstreerde het toepassingen die zijn ontwikkeld met Pixar-renderer RenderMan en het Chinese kaartplatform Amap, voor robotica, filmproductie en locatiediensten.

Shaoqing Xiang, medeoprichter en CTO van Hesai, zei dat Physical AI gegevens uit de echte wereld nodig heeft die nauwkeurig, betaalbaar en op grote schaal beschikbaar zijn, en dat het al lange tijd moeilijk is om aan alle drie de voorwaarden tegelijk te voldoen. „Kosmo is ontworpen om die uitdaging aan te gaan. Het maakt het voor AI-ontwikkelaars en makers eenvoudiger om echte omgevingen om te zetten in gegevens waarmee ze AI kunnen trainen en in materiaal waarop ze kunnen voortbouwen”, zei hij.

Kosmo One-hardware voor vastlegging

De Kosmo One is een AI-camera voor ruimtelijke beeldvorming met een ultrahoge 8K-resolutie. De camera combineert lidar met hoge resolutie, een beeldsensor van één inch en een zeer nauwkeurige inertiële meeteenheid. Ook registreert hij geometrie, kleur, textuur en camerapositie met synchronisatie op microsecondenniveau. Hesai noemt het apparaat de eerste AI-camera voor ruimtelijke beeldvorming ter wereld met een geïntegreerd 8K-beeldvormingssysteem. In een voetnoot verduidelijkt het bedrijf dat deze aanduiding is gebaseerd op openbaar beschikbare productinformatie per oktober 2026. De 8K-vermelding slaat op de maximale opname-resolutie; de maximale resolutie waarnaar gebruikers kunnen exporteren is 6K.

Volgens Hesai levert de 3D-reconstructie met Gaussian Splatting van de camera geometrische nauwkeurigheid op millimeterniveau en geeft die materialen, belichting en schaduwen natuurgetrouw weer. De camera kan direct na het inschakelen scannen, biedt intelligente begeleiding en maakt het mogelijk een scan met één klik te hervatten. Het bedrijf zegt dat één gebruiker een gebruikelijke binnenruimte van 100 vierkante meter in ongeveer 15 minuten kan scannen. Kosmo World verwerkt de vastgelegde gegevens vervolgens tot 3D-modellen met een snelheid tot ongeveer vijf keer die van vergelijkbare producten, aldus Hesai. Het bedrijf merkt daarbij op dat de daadwerkelijke resultaten variëren naargelang de scène, de hoeveelheid gegevens en de parameterinstellingen.

Kosmo World en de toepassing bij Dairy Queen

Kosmo World biedt één platform voor het maken en beheren van 3D-content, aangedreven door wat Hesai zijn Kosmo Spatial Core noemt. Eén reconstructie levert 3D Gaussian Splatting, mesh- en dieptegegevens op, allemaal samen in één consistente scène. Generatieve AI vult gebieden aan die de scanner heeft gemist en reconstrueert materialen en texturen, terwijl semantische segmentatie afzonderlijke objecten herkent. Ook kunnen weergaven worden aangepast aan de camera-eigenschappen van een robot. Volgens Hesai helpt dit de kloof tussen simulatie en gebruik in de echte wereld te verkleinen.

Als praktijkvoorbeeld wees Hesai op een toepassing in een ijssalon van Dairy Queen. Daar had een professioneel team eerder naar eigen zeggen ongeveer 300 uur handmatig modelleerwerk nodig om een 3D-trainingsomgeving te maken. Met Kosmo duurden het scannen en reconstrueren 15 minuten. Bij die toepassing bereikte een Sharpa-robot een taakslagingspercentage van 99% en daalde het uitvalpercentage tot een tiende van het eerdere niveau. Daardoor kon de robot volgens Hesai aan de slag in een echte winkel.

Wereldmodellen, film en kaartdiensten

Voor de ontwikkeling van wereldmodellen zei Hesai dat de geometrisch nauwkeurige scènes van Kosmo precieze cameraposities, dieptegegevens en consistente weergaven vanuit meerdere hoeken bieden, als referentie uit de echte wereld voor het bouwen van virtuele omgevingen. Uit één vastgelegde ruimte kunnen meer dan 10.000 automatisch gegenereerde trainingstrajecten voortkomen. Zo krijgen ontwikkelaars voor dezelfde kosten meer dan 100 keer zoveel hoogwaardige trainingsgegevens. Hesai vergelijkt die kosten met de kosten voor het verzamelen van één hoogwaardig trainingstraject van een robot in de echte wereld.

Voor filmproducties schat het bedrijf dat het scannen, reconstrueren en bewerken van een Europees straatbeeld van 10.000 vierkante meter met Kosmo één week duurt, tegenover ongeveer twee maanden om de locatie als fysieke set te bouwen. Volgens het bedrijf kunnen de totale kosten met maximaal 80% dalen. Voor een binnenscène van 200 vierkante meter kost het met Kosmo naar schatting ongeveer twee persoonsdagen, tegenover circa 14 persoonsdagen voor traditionele CG-modellering. Hesai zei dat film- en televisiebedrijven Kosmo al gebruiken in workflows rond Pixar’s RenderMan-renderer voor professionele productie. RenderMan heeft een officiële tutorial met downloadbare bronnen uitgebracht. Ook werkt het bedrijf samen met Yuemo Studio aan AI-ondersteunde filmproductie, waarin vastgelegde omgevingen uit de echte wereld worden gecombineerd met door AI gegenereerde content.

Hesai zei ook samen te werken met TRIC, een partner van de Verenigde Naties, aan een immersief digitaal kunstwerk van Du Fu Thatched Cottage in Chengdu, de voormalige woning van de dichter uit de Tang-dynastie. In het kader van de samenwerking met Amap zijn reconstructies van het Gravity Art Museum en PIFO Gallery al beschikbaar in de functie Flying Street View van Amap. Volgens Hesai bereikt het platform bijna één miljard maandelijks actieve gebruikers. Het langetermijndoel van de samenwerking is om navigatie te verschuiven van het vinden van een winkel naar het vinden van een product in die winkel.

Open ecosysteem en actuatiemodules

Hesai ontwikkelt Kosmo als een open ecosysteem voor ruimtelijke intelligentie, met open toegang tot ruwe opnamedata en 3D-assets en integraties met NVIDIA Isaac Sim, Isaac Lab, Unreal Engine, RenderMan en Houdini. Het bedrijf beschreef twee bedrijfsmodellen: geïntegreerde hardware- en softwareoplossingen voor klanten in de robotica, media en andere sectoren, en datadiensten die op grote schaal ruimtelijke gegevens uit de echte wereld leveren aan ontwikkelaars van wereldmodellen en fysieke AI.

Hesai zei dat het zijn lidarleveringen negen jaar op rij heeft verdubbeld en wereldwijd een leidende marktpositie inneemt op het gebied van ADAS voor personenauto’s en robotaxi’s. Daarop bouwt het bedrijf zijn volgende groeifase, gericht op 3D-wereldgegevens en robotbeweging. Medeoprichter en CEO Yifan “David” Li omschreef de motor voor 3D-wereldgegevens en de bijbehorende motor voor robotbeweging als de tweede groeimotor van het bedrijf. “In het afgelopen decennium hebben we machines in staat gesteld de wereld te zien”, zei Li. “In het komende decennium zullen we robots in staat stellen de wereld te begrijpen en te veranderen.”

Naast Kosmo breidt Hesai zijn activiteiten op het gebied van robotactuatie uit. De actuatiemodules drijven de behendige Wave-hand van Sharpa aan, die volgens het bedrijf in een behuizing die 37% kleiner is een drie keer hogere vermogensdichtheid biedt dan vergelijkbare producten. Volgens Hesai is de hand opgenomen in het referentieontwerp voor de humanoïde robot Isaac GR00T van NVIDIA en wordt hij gebruikt door onderzoeksinstellingen als UC Berkeley en Stanford. Het bedrijf zei dat de cumulatieve leveringen van zijn actuatiemodules eind tweede kwartaal van 2026 de 10.000 stuks hadden overschreden. Het verwacht dat de leveringen in 2027 oplopen tot zes cijfers, naarmate de productlijn zich uitbreidt van handmodules naar gewrichten in het hele robotlichaam.