로보틱스 및 피지컬 AI
머스크, AI5를 Optimus에 배정하고 Tesla 차량은 AI4 사용 유지

핵심 포인트머스크는 AI5를 옵티머스에 배정하고 테슬라 자동차는 주행용으로 AI4를 유지한다.
더 보기
- 머스크는 AI5를 옵티머스에 배정하고 테슬라 자동차는 주행용으로 AI4를 유지한다.
- 리얼리티 뷰의 지연은 모델 크기만이 아니라 빡빡한 컴퓨트 할당에서 비롯된다.
- 머스크가 제안한 해결책은 더 새로운 비전 기능들을 교차 배치하여 지연을 약 35% 줄인다.
일론 머스크는 2026년 11월 22일 X에 올린 답글에서 Tesla의 AI5 컴퓨터는 Optimus용이며, 차량은 계속 AI4를 사용하고, AI4만으로도 인간을 뛰어넘는 주행이 가능하다고 밝혔습니다. 그는 AI5가 신차에 언제 적용되는지, AI3에서 업그레이드하기 전에 기다리는 편이 나을지를 물은 차주의 질문에 답하고 있었습니다.
같은 대화에서 머스크가 Tesla의 Reality View 시각화가 AI4에서 어떻게 구현되는지 설명한 앞서 올린 기술 게시물에 이어 나온 답글이었습니다. 그 설명의 바탕에는 차량 내에서 연동되는 두 가지 작업이 있습니다. 하나는 주행 동작을 생성하는 모델이고, 다른 하나는 인터페이스 시각화를 생성하는 별도의 생성형 모델입니다. 두 게시물은 칩 선택에 구체적인 인프라 맥락을 부여합니다. Tesla는 한정된 연산 자원을 서로 연관된 주행 및 시각화 기능에 나눠 쓰고 있습니다.
Reality View의 차량 내 연산 작업
머스크는 Tesla의 픽셀 수준에 가까운 세계 모델이 합성 데이터 생성에 매우 중요하다고 설명했습니다. 차량 내에서 사용하는 훨씬 작은 버전은 Tesla Universal Vision Encoder(UVE)의 최근 특징값 시퀀스를 바탕으로 하는 조건부 평균 흐름 모델입니다. 이 특징값은 주행 동작을 생성하는 3B 인코더 모델에도 입력됩니다.
머스크에 따르면 Reality View는 이 특징값을 받아 별도의 약 1B 매개변수 확산 모델로 분기됩니다. 이 과정은 직전 출력의 노이즈가 섞인 버전에서 시작해 현재 시각화를 재구성하며, 초당 36프레임과 인터페이스 화면 해상도로 구성된 8개 이미지 분량의 동영상 청크를 생성합니다. 이 작업은 UVE 프레임마다 18헤르츠로 수행되며 네 차례에 걸쳐 나뉘어 처리됩니다.
AI4의 제약과 AI5의 추가 여력
후속 게시물에서 머스크는 Tesla가 소형 디코더를 SRAM으로 옮겨 SoC B의 TRIP 세 개 가운데 하나의 절반만 Reality View에 남겨 두었다고 밝혔습니다. TRIP은 기본적으로 8비트 정수만 처리하며, 소프트맥스는 에뮬레이션 모드에서 28단계에 걸쳐 실행해야 합니다.
이 세부 사항은 시각화기에만 해당하며, 주행 동작에 명시된 한계가 아닙니다. Reality View의 실제 연산 예산은 모델 크기뿐 아니라 연산 엔진 배분과 수치 연산 방식에도 좌우된다는 점을 보여 줍니다.
머스크는 현재 Reality View의 다소 높은 지연 시간이 연산 제약 때문이라고 설명하면서, 새로운 UVE 특징값을 확산 트랜스포머 계층에 교차 배치해 지연 시간을 약 35% 줄이는 방안을 제안했습니다.
머스크는 AI5가 크게 개선된 칩이며 연산 성능이 약 12배라고 설명했습니다. 그러나 게시물에는 이 배수의 기준이 제시되지 않아 시각화의 프레임 속도, 지연 시간 또는 주행 성능이 12배 향상된다고 단정할 수는 없습니다.
머스크의 설명은 주행 성능에 대한 자신감과 Reality View를 구현할 때의 실질적 한계를 구분합니다. AI4는 인간을 뛰어넘는 주행에 충분하다고 제시되지만, AI4에서 실행되는 시각화 기능은 여전히 연산 자원을 제한적으로 배정받으며 지연 시간을 줄일 방안도 제안 단계에 그쳐 있습니다. 그가 설명한 즉각적인 렌더링 개선은 해당 환경에서 시각 특징값 입력을 재구성하는 데 달려 있어, 그가 자세히 설명한 차량 내 작업에서는 소프트웨어 효율성이 핵심입니다.












