Voxel51, Physical AI 팀을 위한 통합 데이터 플랫폼 3.0 공개

Voxel51은 2026년 10월 15일 엔드투엔드 멀티모달 데이터 플랫폼인 Voxel51 3.0을 공개했습니다. 이 플랫폼은 Physical AI를 위해 검색, 큐레이션, 주석 작업, 평가를 하나의 확장 가능한 시스템으로 통합합니다. 공동 창립자이자 CEO인 Brian Moore는 회사 발표문에서 이번 출시를 회사의 “역대 가장 중요한 출시”라고 설명했으며, 이제 팀은 app.voxel51.com에서 자체 데이터를 사용해 플랫폼을 무료로 사용해 볼 수 있습니다.

이번 출시와 함께 기업용 제품의 이름도 변경됐습니다. Voxel51은 FiftyOne Enterprise의 새 이름이며, FiftyOne은 계속 오픈소스 프로젝트를 가리킵니다. Moore는 회사가 자율 시스템, 로보틱스, 제조, 헬스케어 분야에서 AI를 배포하는 팀들과 수년간 협력해 왔다고 밝혔습니다. 또한 모델이 프로토타입 단계를 넘어선 뒤 시작되는 데이터 작업, 즉 실패 원인 조사, 학습 데이터셋 큐레이션, 실제 환경의 다양한 시나리오에 걸친 모델 평가를 중심으로 지난 몇 달 동안 플랫폼을 재구축했다고 썼습니다.

멀티모달 검색 및 시계열 지원

Voxel51 Search는 멀티모달 데이터셋의 비정형 콘텐츠와 구조화된 메타데이터 전반에 걸쳐 의미 기반 검색과 어휘 기반 쿼리 및 필터를 결합하는 지속형 하이브리드 검색 인덱스입니다. 발표에 따르면 Search는 데이터셋을 자동으로 인덱싱하고 임베딩을 계산하므로 첫날부터 쿼리를 사용할 수 있으며, 임베딩과 구조화된 필드를 기본 형식 그대로 쿼리할 수 있게 유지하면서 검색 시 이들을 결합합니다. 벡터 검색에는 LanceDB를 사용합니다. LanceDB의 컬럼형 아키텍처는 벡터 검색과 스칼라 인덱스 및 전문 검색 인덱스를 함께 지원하며, 저장소와 연산을 분리합니다.

팀은 임베딩할 데이터, 사용할 모델과 컴퓨팅 리소스, 임베딩을 생성할 시점 등 임베딩 파이프라인 자체를 제어할 수 있으며, 전체 데이터셋을 다시 구축하지 않아도 되는 증분 업데이트를 지원합니다. 이번 출시에는 시계열 멀티모달 데이터에 대한 기본 지원도 추가됐습니다. 여러 센서 스트림을 동일한 타임라인에서 시각화할 수 있으며, 세그먼트 수준 임베딩을 활용하면 긴 녹화 전체를 임베딩 하나로 표현하는 대신 녹화 안의 특정 시점을 검색할 수 있습니다.

Voxel51 Agent와 에이전트 기반 라벨링

Voxel51 Agent는 45개 이상의 MCP 도구, 80개 이상의 연산자, 18개의 오픈소스 스킬을 바탕으로 검색, 큐레이션, 주석 작업, 평가를 반복 가능한 워크플로로 연결합니다. 발표에서는 다음과 같은 활용 사례를 소개합니다. 로보틱스 팀이 수천 개의 에피소드에서 특정 동작을 검색해 목적에 맞는 학습 및 평가 데이터셋을 큐레이션하는 사례, 인식 팀이 모델 실패 사례에서 유사한 롱테일 시나리오를 찾아 새로운 주석 작업을 진행한 뒤 재평가하는 사례, 그리고 불확실한 사례를 사람 검토자에게 전달하도록 주석 작업을 준비하는 사례입니다. Agent는 새로운 기능을 추가하기 위한 코드도 작성할 수 있으며, 모든 워크플로에는 조직이 설정한 권한, 보안, 거버넌스 제어가 적용됩니다.

출시에 앞서 Voxel51은 2026년 10월 8일에 게시한 글에서 Agent가 외부 도구와 AI 애플리케이션을 연결하는 개방형 표준인 Model Context Protocol을 기반으로 구축됐다고 밝혔습니다. 또한 Anthropic, OpenAI, Google을 포함해 100곳이 넘는 모델 제공업체에 연결되며, 클라우드, 하이브리드, 온프레미스, 에어갭, 관리형 배포 옵션을 모두 지원한다고 설명했습니다. 회사는 Claude Sonnet 5, Claude Opus 5, GPT-5.1, Gemini 3.1 Pro에서 동일한 에이전트 작업을 벤치마킹한 결과 비용 차이가 최대 15배에 달했다고 전했습니다.

3.0 버전은 2D, 3D, 비디오, 멀티모달 데이터의 주석 작업 워크플로도 통합하며, 자동화된 품질 보증, 주석 작업자 지표, 사람 참여형 검토를 관리하는 도구를 제공합니다. 에이전트 기반 라벨링 기능은 비전-언어 모델을 사용해 자연어 지침과 예시로부터 레이블을 생성하고, 결과를 검증하는 검토 워크플로를 제공합니다. 회사는 2026 State of Physical AI 설문조사를 인용하며, 성과가 뛰어난 팀은 프로젝트 시간의 절반 이상을 데이터 작업에 쓰고 있으며, 그 비율은 어려움을 겪는 팀보다 거의 3배 높다고 밝혔습니다. 설문조사 차트에 따르면 이 비율은 성과가 뛰어난 팀의 58%, 어려움을 겪는 팀의 21%입니다.

4단계에 걸친 데이터 계보 추적

Voxel51 3.0은 데이터 계보 추적 기능을 네 단계로 추가했습니다. 이 기능은 최고 아키텍트 Ritchie Martori가 2026년 10월 9일에 올린 관련 게시물에서 자세히 설명했습니다. 배포 수준 활동 로그는 배포 전반에서 누가 어떤 작업을 언제 수행했으며 어떤 대상에 영향을 미쳤는지 보여줍니다. 데이터셋 수준 활동 로그는 개별 데이터셋의 변경 사항을 추적하고, 샘플 수준 편집 기록은 레이블, 메타데이터 및 기타 속성의 변경 내역을 추적합니다. 데이터셋 버전 관리는 변경할 수 없는 스냅샷을 저장해 팀이 과거 상태를 비교하고 워크플로를 재현하며 학습 또는 평가에 사용된 정확한 데이터를 파악할 수 있게 합니다.

기반이 되는 이벤트 아키텍처는 작업 예약에 fiftyone-mq를, 이벤트 추적에 Activity Core를 사용하며, 감사 로그, 주석 지표, 작업 모니터링을 위한 공통 기반을 제공합니다. 권한과 워크플로 가시성을 통해 각 데이터 변경 사항을 해당 작업을 수행한 사람이나 자동화된 작업과 연결합니다.

모델에 구애받지 않는 설계와 Nebius 워크숍

이 플랫폼은 처음부터 모델에 구애받지 않도록 설계되어, 팀은 정해진 기술 스택에 얽매이지 않고 임베딩, 자동 라벨링, 추론, 평가에 자체 기반 모델과 도메인 특화 모델을 사용할 수 있습니다. 발표에 따르면 범용 기반 모델은 주로 인터넷 텍스트와 시각 데이터를 학습해 왔으며, 실제 환경에 구현된 시스템이 생성하는 멀티모달 센서 데이터에 대한 학습은 제한적입니다. 자율주행과 같이 자금이 풍부한 일부 분야를 제외하면, 물리적 AI 팀은 기반 모델에 도메인 특화 모델과 자체 학습 데이터를 결합해야 하는 경우가 많습니다.

과거에는 Voxel51의 엔터프라이즈 기능을 이용하려면 먼저 회사 팀과 상담해야 했지만, 3.0부터는 app.voxel51.com에서 무료로 셀프서비스를 이용할 수 있으며, 자체 호스팅 방식의 배포는 회사에 문의하면 계속 이용할 수 있습니다. Voxel51은 또한 AI 클라우드 기업 Nebius와 협력하고 있다고 밝혔습니다. 개발자들은 실습 행사에서 임베딩과 자동 라벨링 등의 워크플로를 Nebius AI Cloud에서 실행하고 있습니다. 두 회사는 2026년 11월까지 캐나다와 미국 전역에서 Physical AI 워크숍을 9회 추가로 개최하며, 현재 등록을 받고 있습니다.