Hesai bringt Kosmo auf den Markt, um reale Scans in Trainingsdaten für Roboter umzuwandeln

Die Hesai Group brachte Kosmo am 14. Oktober 2026 auf den Markt. Die 3D-Weltdaten-Engine kombiniert die räumliche Kamera Kosmo One mit der Cloud-Plattform Kosmo World und wandelt physische Umgebungen in detailgetreue digitale 3D-Räume um, die für das Training von Robotern, die Entwicklung von Weltmodellen und die Erstellung immersiver Inhalte genutzt werden.

Bei der Markteinführung kündigte das Unternehmen außerdem strategische Partnerschaften mit den Unternehmen für verkörperte KI Galbot und Dexmal an. Zudem präsentierte es Anwendungen, die mit dem RenderMan-Renderer von Pixar und der chinesischen Kartenplattform Amap entwickelt wurden und Einsatzbereiche von der Robotik über den Filmschaffungsbereich bis hin zu standortbezogenen Diensten abdecken.

Shaoqing Xiang, Mitbegründer und CTO von Hesai, sagte, Physical AI brauche reale Daten, die genau, erschwinglich und in großem Umfang verfügbar seien. Alle drei Anforderungen gleichzeitig zu erfüllen, sei seit Langem ein ungelöstes Problem. „Kosmo soll diese Herausforderung bewältigen und es KI-Entwicklern und Kreativen erleichtern, reale Umgebungen in Daten umzuwandeln, mit denen sie KI trainieren, und in Ressourcen, auf deren Grundlage sie aufbauen können“, sagte er.

Aufnahmehardware Kosmo One

Kosmo One ist eine räumliche KI-Kamera mit 8K-Ultra-HD-Auflösung. Sie vereint hochauflösendes Lidar, einen 1-Zoll-Bildsensor und eine hochpräzise inertiale Messeinheit. Geometrie, Farbe, Textur und Kameraposition zeichnet sie synchronisiert im Mikrosekundenbereich auf. Hesai bezeichnet sie als weltweit erste räumliche KI-Kamera mit integriertem 8K-Bildgebungssystem. In einer Fußnote schränkt das Unternehmen diese Einordnung ein: Sie stütze sich auf öffentlich verfügbare Produktinformationen mit Stand Oktober 2026. Die Angabe 8K bezieht sich auf die maximale Aufnahmeauflösung; die höchste Auflösung, in der Nutzer Inhalte exportieren können, beträgt 6K.

Laut Hesai erreicht die 3D-Gaussian-Splatting-Rekonstruktion der Kamera eine geometrische Genauigkeit im Millimeterbereich und bildet Materialien, Lichtverhältnisse und Schatten nach. Die Kamera ermöglicht das sofortige Scannen nach dem Einschalten, bietet eine intelligente Führung und erlaubt es, einen Scan mit einem Klick fortzusetzen. Ein einzelner Bediener könne damit einen typischen Innenraum von 100 Quadratmetern in etwa 15 Minuten scannen, so das Unternehmen. Anschließend verarbeitet Kosmo World die erfassten Daten laut Hesai mit bis zu etwa fünffacher Geschwindigkeit im Vergleich zu ähnlichen Produkten zu 3D-Modellen. Das Unternehmen weist darauf hin, dass die tatsächlichen Ergebnisse je nach Szene, Datenmenge und Parametereinstellungen variieren.

Kosmo World und der Einsatz bei Dairy Queen

Kosmo World ermöglicht die Erstellung und Verwaltung von 3D-Inhalten auf einer einzigen Plattform, die auf dem von Hesai so bezeichneten Kosmo Spatial Core basiert. Bei einer einzigen Rekonstruktion entstehen 3D-Gaussian-Splatting-, Mesh- und Tiefendaten gemeinsam in einer konsistenten Szene. Generative KI ergänzt Bereiche, die der Scanner nicht erfasst hat, und rekonstruiert Materialien und Texturen, während die semantische Segmentierung einzelne Objekte identifiziert. Ansichten lassen sich außerdem an die Kameraeigenschaften eines Roboters anpassen. Laut Hesai trägt dies dazu bei, die Lücke zwischen Simulation und realem Betrieb zu verkleinern.

Als praktisches Beispiel verwies Hesai auf einen Einsatz in einer Eisdiele von Dairy Queen. Dort habe ein professionelles Team zuvor etwa 300 Stunden manuelle Modellierungsarbeit benötigt, um eine 3D-Trainingsumgebung zu erstellen, so das Unternehmen. Mit Kosmo dauerten das Scannen und die Rekonstruktion 15 Minuten. Bei diesem Einsatz erreichte ein Roboter von Sharpa eine Erfolgsquote von 99 Prozent bei seinen Aufgaben; seine Fehlerquote sank auf ein Zehntel des vorherigen Werts. Dadurch konnte der Roboter laut Hesai den Betrieb in einer echten Filiale aufnehmen.

Weltmodelle, Film und Kartierung

Für die Entwicklung von Weltmodellen liefern die geometrisch präzisen Szenen von Kosmo laut Hesai genaue Kamerapositionen, Tiefeninformationen und konsistente Ansichten aus mehreren Blickwinkeln als reale Referenz für den Aufbau virtueller Umgebungen. Aus einem einzigen erfassten Raum lassen sich mehr als 10.000 automatisch generierte Trainingsverläufe gewinnen. So erhalten Entwickler für dieselben Kosten mehr als 100-mal so viele hochwertige Trainingsdaten – Hesai vergleicht dabei mit den Kosten für die Erfassung eines einzelnen hochwertigen Trainingsverlaufs eines Roboters in der realen Welt.

Für Filmproduktionen schätzt das Unternehmen, dass das Scannen, Rekonstruieren und Bearbeiten einer 10.000 Quadratmeter großen europäischen Straßenszene mit Kosmo eine Woche dauert. Der Bau eines realen Sets für denselben Schauplatz nehme dagegen etwa zwei Monate in Anspruch. Die Gesamtkosten könnten um bis zu 80 Prozent sinken. Für eine 200 Quadratmeter große Innenraumszene veranschlagt Hesai mit Kosmo etwa zwei Personentage, verglichen mit ungefähr 14 Personentagen für die herkömmliche CG-Modellierung. Film- und Fernsehunternehmen nutzten Kosmo bereits in Arbeitsabläufen mit dem produktionsreifen RenderMan-Renderer von Pixar, erklärte Hesai. Dazu gibt es ein offizielles Tutorial mit herunterladbaren Ressourcen. Außerdem arbeitet das Unternehmen mit Yuemo Studio an KI-gestützter Filmproduktion, bei der erfasste reale Umgebungen mit KI-generierten Inhalten kombiniert werden.

Hesai erklärte außerdem, mit TRIC, einem Partner der Vereinten Nationen, an einem immersiven digitalen Kunstwerk über das Du Fu Thatched Cottage in Chengdu zu arbeiten, dem ehemaligen Wohnhaus des Dichters aus der Tang-Dynastie. Im Rahmen der Partnerschaft mit Amap sind Rekonstruktionen des Gravity Art Museum und der PIFO Gallery bereits in Amaps Funktion „Flying Street View“ verfügbar. Hesai zufolge erreicht die Plattform nahezu eine Milliarde monatlich aktive Nutzer. Langfristig soll die Partnerschaft die Navigation von der Suche nach einem Geschäft hin zur Suche nach einem Produkt innerhalb des Geschäfts verlagern.

Offenes Ökosystem und Aktuierungsmodule

Hesai entwickelt Kosmo als offenes Ökosystem für räumliche Intelligenz. Es bietet offenen Zugang zu Rohdaten der Erfassung und 3D-Assets sowie Integrationen mit NVIDIA Isaac Sim, Isaac Lab, Unreal Engine, RenderMan und Houdini. Das Unternehmen beschrieb zwei Geschäftsmodelle: integrierte Hardware- und Softwarelösungen für Kunden aus der Robotik, der Medienbranche und anderen Branchen sowie Datendienste, die in großem Maßstab räumliche Daten aus der realen Welt für Entwickler von Weltmodellen und Physical AI bereitstellen.

Hesai erklärte, dass sich die Auslieferungen seiner Lidar-Systeme neun Jahre in Folge verdoppelt hätten und das Unternehmen eine führende globale Marktposition bei Fahrerassistenzsystemen (ADAS) für Pkw und bei Robotaxis innehabe. Darauf aufbauend gestalte Hesai seine nächste Wachstumsphase rund um 3D-Weltdaten und Roboterbewegung. Mitgründer und CEO Yifan „David“ Li bezeichnete die 3D-Weltdaten-Engine und eine zugehörige Engine für Roboterbewegung als den zweiten Wachstumstreiber des Unternehmens. „Im vergangenen Jahrzehnt haben wir Maschinen befähigt, die Welt zu sehen“, sagte Li. „Im kommenden Jahrzehnt werden wir Roboter befähigen, sie zu verstehen und zu verändern.“

Neben Kosmo baut Hesai sein Geschäft mit Aktuatoren für die Robotik aus. Seine Aktuatormodule treiben Sharpas feinmotorische Roboterhand Wave an, die nach Angaben des Unternehmens bei 37 % kleinerem Bauraum die dreifache Leistungsdichte vergleichbarer Produkte bietet. Hesai zufolge wurde die Hand in das Referenzdesign für den humanoiden Roboter Isaac GR00T von NVIDIA aufgenommen und von Forschungseinrichtungen wie der UC Berkeley und Stanford eingesetzt. Das Unternehmen erklärte, dass die kumulierten Auslieferungen seiner Aktuatormodule bis Ende des zweiten Quartals 2026 die Marke von 10.000 Einheiten überschritten hätten. Für 2027 erwarte es eine sechsstellige Zahl an Auslieferungen, während die Produktlinie von Handmodulen auf Gelenke im gesamten Roboterkörper ausgeweitet werde.