Hesai, 실제 공간 스캔 데이터를 로봇 학습 데이터로 전환하는 Kosmo 출시

Hesai Group은 2026년 10월 14일, Kosmo One 공간 카메라와 Kosmo World 클라우드 플랫폼을 결합해 물리적 환경을 로봇 학습, 세계 모델 개발, 몰입형 콘텐츠 제작에 활용되는 고충실도 3D 디지털 공간으로 변환하는 3D 세계 데이터 엔진 Kosmo를 출시했다.

출시 행사에서 Hesai는 체화형 AI 기업 Galbot 및 Dexmal과의 전략적 파트너십도 발표했다. 또한 Pixar의 렌더러 RenderMan 및 중국 지도 플랫폼 Amap을 활용해 개발한 애플리케이션을 시연했으며, 적용 분야는 로봇공학, 영화 제작, 위치 서비스에 걸쳐 있다.

Hesai의 공동 창립자 겸 CTO인 Shaoqing Xiang은 물리적 AI를 구현하려면 정확하고, 저렴하며, 대규모로 이용할 수 있는 실제 세계 데이터가 필요하지만, 이 세 가지 요건을 동시에 충족하는 일은 지속적인 과제였다고 말했다. 그는 “Kosmo는 이 과제를 해결하기 위해 설계됐다. AI 개발자와 창작자가 실제 환경을 학습에 활용할 데이터와 제작에 사용할 자산으로 더 쉽게 전환하도록 돕는다”고 말했다.

Kosmo One 캡처 하드웨어

Kosmo One은 고해상도 라이다, 1인치 이미지 센서, 고정밀 관성 측정 장치를 결합한 8K 초고화질 AI 공간 카메라다. 기하 정보, 색상, 질감, 카메라 위치를 마이크로초 단위로 동기화해 기록한다. Hesai는 이 제품을 8K 이미징 시스템을 통합한 세계 최초의 AI 공간 카메라라고 설명한다. 회사는 이 표현이 2026년 10월 기준 공개된 제품 정보를 바탕으로 한 것이라고 각주에서 밝혔다. 8K는 최대 촬영 해상도를 뜻하며, 사용자가 내보낼 수 있는 최대 해상도는 6K다.

Hesai에 따르면 카메라의 3D 가우시안 스플래팅 재구성은 밀리미터 수준의 기하학적 정확도를 구현해 소재, 조명, 그림자를 재현한다. 카메라는 전원을 켜면 즉시 스캔을 시작하고, 지능형 안내 기능과 원클릭 스캔 재개 기능을 제공한다. 회사는 작업자 한 명이 일반적인 100제곱미터 실내 공간을 약 15분 만에 스캔할 수 있다고 밝혔다. Hesai에 따르면 Kosmo World는 캡처한 데이터를 최대 약 5배 빠른 속도로 3D 모델로 처리한다. 다만 실제 결과는 장면, 데이터 용량, 매개변수 설정에 따라 달라진다고 회사는 덧붙였다.

Kosmo World와 Dairy Queen 도입 사례

Kosmo World는 Hesai가 Kosmo Spatial Core라고 부르는 기술을 기반으로, 하나의 플랫폼에서 3D 콘텐츠를 제작하고 관리한다. 한 번의 재구성으로 3D 가우시안 스플래팅, 메시, 깊이 데이터를 일관된 장면 안에 함께 생성한다. 생성형 AI는 스캐너가 놓친 영역을 채우고 소재와 질감을 재구성하며, 의미론적 분할은 개별 객체를 식별한다. 로봇 카메라의 특성에 맞춰 시점을 조정할 수도 있는데, Hesai는 이를 통해 시뮬레이션과 실제 작동 환경 간의 차이를 줄일 수 있다고 설명했다.

실제 적용 사례로 Hesai는 Dairy Queen 아이스크림 매장에 시스템을 도입한 사례를 들었다. 회사에 따르면 이전에는 전문 팀이 3D 학습 환경을 구축하기 위해 약 300시간의 수작업 모델링을 해야 했다. Kosmo를 사용하자 스캔과 재구성에 15분이 걸렸다. Hesai에 따르면 해당 도입 사례에서 Sharpa 로봇의 작업 성공률은 99%에 이르렀고 실패율은 이전 수준의 10분의 1로 낮아져, 로봇이 실제 매장에서 작동을 시작할 수 있었다.

세계 모델, 영화 제작, 지도

월드 모델 개발과 관련해 Hesai는 Kosmo의 기하학적으로 정확한 장면이 가상 환경을 구축할 때 실세계 기준 자료로 활용되며, 정밀한 카메라 포즈와 깊이 정보, 일관된 다각도 시점을 제공한다고 밝혔다. 한 공간을 한 번 캡처하면 자동 생성된 학습 궤적을 10,000개 넘게 얻을 수 있어, 개발자는 같은 비용으로 100배가 넘는 양의 고품질 학습 데이터를 확보할 수 있다. 여기서 Hesai가 비교 기준으로 삼은 비용은 고품질 실세계 로봇 궤적 하나를 수집하는 데 드는 비용이다.

영화 제작의 경우, Hesai는 Kosmo를 이용하면 10,000제곱미터 규모의 유럽 거리 풍경을 스캔하고 재구성한 뒤 편집하는 데 일주일이 걸린다고 추산했다. 실제 세트로 해당 장소를 구현하려면 약 두 달이 걸리며, 총비용은 최대 80%까지 절감할 수 있다고 회사는 밝혔다. 200제곱미터 실내 장면의 경우 Kosmo를 사용하면 약 2인일이 소요되는 반면, 기존 컴퓨터 그래픽 모델링에는 약 14인일이 든다고 Hesai는 추산했다. Hesai는 영화·방송 업체들이 이미 Pixar의 프로덕션급 렌더러 RenderMan을 활용한 작업 과정에 Kosmo를 사용하고 있다고 밝혔다. RenderMan은 다운로드 가능한 리소스를 포함한 공식 튜토리얼을 공개했다. 또한 Hesai는 캡처한 실제 환경과 AI 생성 콘텐츠를 결합하는 AI 보조 영화 제작을 위해 Yuemo Studio와 협력하고 있다.

Hesai는 유엔 파트너인 TRIC과 함께 당나라 시인 두보가 살았던 청두의 두보초당을 몰입형 디지털 예술 작품으로 구현하고 있다고도 밝혔다. Amap과의 파트너십에 따라 중력예술박물관과 PIFO 갤러리의 재구성 영상은 이미 Amap의 플라잉 스트리트 뷰 기능에서 제공되고 있다. Hesai는 Amap의 월간 활성 사용자가 약 10억 명에 이른다고 밝혔다. 이 파트너십의 장기 목표는 매장을 찾는 데 그치지 않고 매장 안에서 원하는 상품을 찾을 수 있도록 내비게이션을 발전시키는 것이다.

개방형 생태계와 구동 모듈

Hesai는 NVIDIA Isaac Sim, Isaac Lab, Unreal Engine, RenderMan, Houdini와의 통합을 통해 원시 캡처 데이터와 3D 에셋에 개방적으로 접근할 수 있는 개방형 공간 지능 생태계 Kosmo를 개발하고 있다. 회사는 두 가지 사업 모델을 제시했다. 하나는 로봇 공학, 미디어 및 기타 산업 분야 고객을 위한 하드웨어·소프트웨어 통합 솔루션이고, 다른 하나는 세계 모델 및 피지컬 AI 개발자를 위해 실제 공간 데이터를 대규모로 생성하는 데이터 서비스다.

Hesai는 라이다 출하량이 9년 연속 두 배로 증가했으며 승용차 ADAS와 로보택시 분야에서 세계 시장을 선도하는 입지를 확보했다고 밝혔다. 회사는 이를 토대로 3D 세계 데이터와 로봇 동작을 중심으로 다음 성장 단계를 구축하고 있다. 공동 창업자 겸 CEO인 Yifan “David” Li는 3D 세계 데이터 엔진과 이에 대응하는 로봇 동작 엔진이 회사의 두 번째 성장 동력이라고 설명했다. Li는 “지난 10년 동안 우리는 기계가 세상을 볼 수 있도록 해 왔습니다. 앞으로 10년 동안은 로봇이 세상을 이해하고 변화시킬 수 있도록 하겠습니다”라고 말했다.

Hesai는 Kosmo와 함께 로봇 구동 사업도 확장하고 있다. Hesai의 구동 모듈은 Sharpa의 Wave 정교한 작업이 가능한 로봇 손에 동력을 공급한다. 회사에 따르면 이 제품은 비슷한 제품보다 크기가 37% 더 작은 패키지에서 3배의 전력 밀도를 구현한다. Hesai는 이 손이 NVIDIA의 Isaac GR00T 휴머노이드 로봇 참조 설계에 포함됐으며 UC Berkeley와 Stanford를 비롯한 연구 기관에서 채택됐다고 밝혔다. 회사는 구동 모듈의 누적 출하량이 2026년 2분기 말까지 10,000대를 넘어섰으며, 제품군을 손 모듈에서 로봇 몸체 전반의 관절 모듈로 확대함에 따라 2027년에는 출하량이 6자리 수에 이를 것으로 예상한다고 밝혔다.