Hesai lanserar Kosmo för att omvandla skanningar av verkliga miljöer till träningsdata för robotar

Hesai Group lanserade Kosmo den 14 oktober 2026 – en 3D-motor för världsdata som kombinerar den rumsliga kameran Kosmo One med molnplattformen Kosmo World och omvandlar fysiska miljöer till naturtrogna digitala 3D-miljöer för robotträning, utveckling av världsmodeller och skapande av immersivt innehåll.

Vid lanseringsevenemanget tillkännagav företaget också strategiska partnerskap med företagen Galbot och Dexmal, som arbetar med förkroppsligad AI, och demonstrerade tillämpningar som utvecklats med Pixars renderingsmotor RenderMan och den kinesiska kartplattformen Amap. Tillämpningarna omfattar robotik, filmskapande och platstjänster.

Shaoqing Xiang, medgrundare och teknisk chef på Hesai, sade att fysisk AI behöver verklighetsdata som är korrekt, överkomlig och tillgänglig i stor skala, och att det länge har varit svårt att uppfylla alla tre kraven samtidigt. ”Kosmo är utformat för att lösa den utmaningen och göra det enklare för AI-utvecklare och kreatörer att omvandla verkliga miljöer till data att träna på och tillgångar att bygga med”, sade han.

Hårdvaran för datainsamling i Kosmo One

Kosmo One är en AI-kamera för rumslig avbildning i ultrahög upplösning (8K). Den kombinerar lidar med hög upplösning, en bildsensor på en tum och en tröghetsmätenhet med hög precision. Kameran registrerar geometri, färg, textur och kameraposition med synkronisering på mikrosekundnivå. Hesai beskriver den som världens första AI-kamera för rumslig avbildning med ett integrerat bildsystem i 8K. Företaget uppger i en fotnot att beteckningen bygger på offentligt tillgänglig produktinformation per oktober 2026. 8K avser den högsta inspelningsupplösningen; den högsta upplösningen som användare kan exportera är 6K.

Enligt Hesai uppnår kamerans rekonstruktion med 3D Gaussian Splatting geometrisk precision på millimeternivå och återger material, ljusförhållanden och skuggor. Kameran erbjuder omedelbar skanning när den slås på, intelligent vägledning och möjlighet att återuppta skanningen med ett enda klick. Företaget uppger att en enda operatör kan skanna en typisk inomhusyta på 100 kvadratmeter på cirka 15 minuter. Därefter bearbetar Kosmo World de insamlade uppgifterna till 3D-modeller med upp till ungefär fem gånger högre hastighet än jämförbara produkter, enligt Hesai. Företaget påpekar samtidigt att de faktiska resultaten varierar beroende på scen, datamängd och parameterinställningar.

Kosmo World och driftsättningen hos Dairy Queen

Kosmo World hanterar skapande och hantering av 3D-innehåll på en och samma plattform, med stöd av det som Hesai kallar Kosmo Spatial Core. En enda rekonstruktion genererar data för 3D Gaussian Splatting, mesh och djup i en sammanhängande scen. Generativ AI fyller i områden som skannern missat och återskapar material och texturer, medan semantisk segmentering identifierar enskilda objekt. Vyer kan också anpassas efter en robots kameraegenskaper, vilket enligt Hesai bidrar till att minska klyftan mellan simulering och drift i verkliga miljöer.

Som exempel på en praktisk tillämpning pekade Hesai på en driftsättning i en glassbutik från Dairy Queen. Företaget uppgav att ett professionellt team tidigare behövde cirka 300 timmars manuellt modelleringsarbete för att skapa en 3D-träningsmiljö. Med Kosmo tog skanning och rekonstruktion 15 minuter. I den driftsättningen nådde roboten från Sharpa en uppgiftsframgång på 99 procent, samtidigt som felfrekvensen sjönk till en tiondel av den tidigare nivån. Enligt Hesai gjorde det att roboten kunde börja arbeta i en riktig butik.

Världsmodeller, film och kartläggning

För utveckling av världsmodeller uppgav Hesai att Kosmos geometriskt korrekta scener ger exakta kamerapositioner, djupinformation och konsekventa vyer från flera vinklar som referens från verkligheten vid skapandet av virtuella miljöer. Ett enda insamlat utrymme kan ge fler än 10 000 automatiskt genererade träningsbanor, vilket ger utvecklare över 100 gånger så mycket högkvalitativ träningsdata till samma kostnad. Hesai definierar jämförelsen utifrån kostnaden för att samla in en högkvalitativ robotbana från verkligheten.

För filmproduktion uppskattar företaget att det tar en vecka med Kosmo att skanna, rekonstruera och redigera ett europeiskt gatulandskap på 10 000 kvadratmeter, jämfört med ungefär två månader för att bygga platsen som en fysisk kuliss. Företaget uppger att totalkostnaderna kan minska med upp till 80 procent. För en inomhusscen på 200 kvadratmeter uppskattar Hesai arbetsinsatsen till cirka två persondagar med Kosmo, jämfört med omkring 14 persondagar för traditionell CG-modellering. Hesai uppgav att film- och tv-bolag redan använder Kosmo i arbetsflöden baserade på Pixars produktionsklassade renderingsmotor RenderMan, som har släppt en officiell handledning med nedladdningsbara resurser. Företaget samarbetar också med Yuemo Studio kring AI-assisterad filmskapande, där inskannade verkliga miljöer kombineras med AI-genererat innehåll.

Hesai uppgav också att företaget samarbetar med TRIC, en partner till Förenta nationerna, för att skapa ett immersivt digitalt konstverk av Du Fu Thatched Cottage i Chengdu, poeten från Tangdynastins tidigare hem. Inom ramen för partnerskapet med Amap finns rekonstruktioner av Gravity Art Museum och PIFO Gallery redan tillgängliga i Amaps funktion Flying Street View. Hesai uppgav att plattformen har nästan en miljard månadsaktiva användare och att partnerskapets långsiktiga mål är att förändra navigeringen, från att hjälpa användarna att hitta en butik till att hjälpa dem att hitta en viss produkt inne i butiken.

Öppet ekosystem och ställdonmoduler

Hesai utvecklar Kosmo som ett öppet ekosystem för rumslig intelligens, med öppen tillgång till rådata från insamling och 3D-tillgångar samt integrationer med NVIDIA Isaac Sim, Isaac Lab, Unreal Engine, RenderMan och Houdini. Företaget beskrev två affärsmodeller: integrerade hårdvaru- och mjukvarulösningar för kunder inom robotik, media och andra branscher, samt datatjänster som tar fram rumsliga data från verkligheten i stor skala för utvecklare av världsmodeller och fysisk AI.

Hesai uppgav att företagets lidarleveranser har fördubblats nio år i rad och att det har en ledande global marknadsposition inom ADAS för personbilar och robotaxi. Denna grund bygger företaget vidare på i nästa tillväxtfas, som kretsar kring 3D-världsdata och robotrörelser. Medgrundaren och vd:n Yifan “David” Li beskrev motorn för 3D-världsdata och en kompletterande motor för robotrörelser som företagets andra tillväxtdrivare. ”Under det senaste decenniet har vi gjort det möjligt för maskiner att se världen”, sade Li. ”Under det kommande decenniet ska vi göra det möjligt för robotar att förstå och förändra den.”

Parallellt med Kosmo utökar Hesai sin verksamhet inom robotaktuering. Företagets aktueringsmoduler driver Sharpa:s fingerfärdiga hand Wave, som enligt företaget har tre gånger så hög effekttäthet som jämförbara produkter och är 37 % mindre. Enligt Hesai har handen integrerats i referensdesignen för NVIDIA:s humanoida robot Isaac GR00T och tagits i bruk av forskningsinstitutioner, däribland UC Berkeley och Stanford. Företaget uppgav att de sammanlagda leveranserna av dess aktueringsmoduler översteg 10 000 enheter vid utgången av andra kvartalet 2026, och att det räknar med att leveranserna når sexsiffriga tal 2027 när produktserien utökas från handmoduler till leder i hela robotkroppen.