์ธ๊ณต์ง๋ฅ
๋๋ก์์ ์ถ๋ก : NVIDIA์ Alpamayo๊ฐ ์์จ ์ฃผํ์ ‘์ฃ์ง ์ผ์ด์ค’ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ ์ ์๋๊ฐ?
자율 주행 자동차는 지난 10년 동안 놀라운 발전을 이루어, 수백만 마일을 누적하고 고속도로, 제어된 테스트 구역, 선택된 도시 지역에서 잘 작동하고 있습니다. 그러나 2026년에도 실제 도로 주행은 여전히 중요한 제한을 노출합니다. 예를 들어, 강한 비 중에 보호되지 않은 좌회전, 페이드되거나 누락된 차선 표시가 있는 건설 구역, 그리고 응급 직원이 즉석에서 손 신호를 사용하는 교차로와 같은 상황은 여전히 고급 자율 주행 시스템을 도전할 수 있습니다.
이러한 상황은 더 많은 데이터만으로 해결할 수 있는 드문 이상 현象이 아닙니다. 대신,它们는 현재 자율 주행 자동차 기술의 더 깊은 문제를 강조합니다. 현대 시스템은 객체를 감지하고 환경을 매핑하는 데 능숙하지만, 미래의 이벤트에 대해 추론하고, 다른 도로 사용자의 의도를 해석하며, 컨텍스트에 민감한 결정에 어려움을 겪습니다. 따라서, 인식만으로는 복잡하고 예측할 수 없는 시나리오에서 안전을 보장하기에 충분하지 않습니다.
이러한 도전을 해결하기 위해, NVIDIA는 2026년 CES에서 Alpamayo를 thiệu했습니다. 이 Vision-Language-Action 모델 패밀리는 인식 위에 명시적인 추론 계층을 통합합니다. 인식과 추론을 결합함으로써, Alpamayo는 차량이 드문이고 복잡한 운전 상황을 더 안전하게 탐색할 수 있도록 하며, 각 결정에 대한 해석 가능한 설명을 제공합니다. 따라서, 그것은 생각하고, 설명하고, 적응하는 자율 시스템을 향한 중요한 단계를 나타냅니다.
자율 주행의 엣지 케이스 문제 이해
엣지 케이스는 자율 주행 자동차에서 가장 복잡한 문제 중 하나입니다. 이러한 경우는 안전한 동작이 미묘한 컨텍스트, 비공식적인 사회 규칙, 및 다른 도로 사용자와의 실시간 상호 작용에 따라 달라지는 드문 상황입니다. 예를 들어, 보행자가 교차로에서 차량을 통과시키는 제스처를 사용할 수 있습니다. 또는 건설 구역에서 페이드된 차선 표시가 임시 콘과 충돌할 수 있습니다. 이러한 상황은 자주 발생하지 않지만, 많은 안전 사고와 시스템 오류를 유발합니다.
캘리포니아의 2024년 해제 보고서가 이를 명확히 보여줍니다. 31개의 자율 주행 자동차 회사에서 2,800대 이상의 테스트 차량이 수백만 마일을 주행했지만, 많은 실패가 비정상적인 도로 레이아웃, 즉석 교통 제어, 또는 예측할 수 없는 인간 행동에서 발생했습니다. 이러한 경우는 전통적인 자율 주행 모델이 처리하기 어려운 드문 상황입니다. 반면에, 인간은 이러한 상황을 경험, 빠른思考, 및 판단을 통해 탐색할 수 있습니다. 자율 시스템은 실제 세계가 훈련에서 본 것과 다를 때 종종 실패합니다.
현대 자율 주행 기술은 인식에 매우 능숙합니다. 시스템은 카메라, 라이다, 및 레이다를 사용하여 차량, 자전거, 보행자, 및 교통 표지판을 높은 정확도로 감지할 수 있습니다. 또한, 종단 간 모델은 센서 데이터를 직접 조향 및 가속 명령으로 변환합니다. 익숙한 도로에서, 이는 차량이 매끄럽고 안전하게 주행할 수 있도록 합니다.
그러나 인식만으로는 모든 상황을 다루지 못합니다. 복잡하거나 예측할 수 없는 시나리오에서 발생하는 중요한 질문에 대한 답을 줄 수 없습니다. 예를 들어, 보행자가 도로로 들어설까요? 이 순간에 양보하는 것이 더 안전한가요, 아니면 작은 위험을 감수하는 것이 더 좋은가요? 왜 하나의 조작이 다른 것보다 더 안전한가요? 블랙박스 모델은 이러한 질문을 더 어려운 것으로 만들며, 결정에 대한 설명을 제공할 수 없습니다. 따라서, 안전 팀과 규제 기관은 이러한 시스템을 신뢰하기 어렵습니다.
규칙 기반 계획도 또한 제한이 있습니다. 명확한 지침을 제공하지만, 드문 상황에 대한 규칙을 프로그래밍하는 것은 불가능합니다. 따라서, 인식이나 고정된 규칙만으로 의존하면 안전과 결정에 대한 격차가 남습니다.
이러한 도전은 자율 주행 자동차에 추론 계층이 필요한 이유를 보여줍니다. 이러한 시스템은 상황을 이해하고, 무엇이 다음에 발생할지 예상하며, 인간과 규제 기관이 신뢰할 수 있는 결정에 도달할 수 있습니다. 또한, 추론 모델은 검토할 수 있는 설명을 생성할 수 있습니다. 이는 차량의 동작에 대한 신뢰도를 증가시킵니다.
NVIDIA Alpamayo와 자율 주행의 추론 기반 전환
NVIDIA는 자율 주행의 Level 4를 향한 진행을 지속적으로 방해하는 엣지 케이스를 해결하기 위해 Alpamayo를 thiệu했습니다. 그러나, 완전히 자율 주행 시스템으로 작동하는 대신, Alpamayo는 개방형 연구 및 개발 환경으로 작동합니다. 그것은 세 가지 밀접하게 연결된 구성 요소를 결합합니다: Vision-Language-Action 기반 모델, AlpaSim 시뮬레이션 프레임워크, 및 대규모 Physical AI 운전 데이터셋. 이러한 요소들은 불확실성과 사회적 복잡성 아래에서 작동하는 운전 정책의 연구, 테스트, 및 개선을 지원합니다.
이 플랫폼의 핵심은 Alpamayo 1입니다. 이 모델은 약 10억 개의 매개변수가 광범위한 비전-언어 백본과 전용 액션 및 궤적 예측 모듈을 결합합니다. 따라서, 시스템은 여러 카메라 뷰의 입력을 처리하고, 미래의 차량 운동을 예측하며, 각 결정에 대한 명확한 자연어 설명을 생성할 수 있습니다. 이러한 설명은 구조화된 시퀀스를 따릅니다. 먼저, 시스템은 근처의 도로 사용자를 식별합니다. 다음으로, 그것은 그들의 의도를 추정합니다. 그 후, 그것은 가시성 한계와 안전 위험을 평가합니다. 마지막으로, 그것은 적절한 조작을 선택합니다. 예를 들어, 배달 차량이 차선의 일부를 차단할 때, 모델은 차량 뒤에서 보행자가 나타날 가능성을 고려할 수 있습니다. 그것은 затем 인접 차선의 교통을 확인합니다. 따라서, 그것은 급격한 차선 변경 대신 주의적인 경로 조정을 선택할 수 있습니다. 이 추론 프로세스는 주의 깊은 인간 운전자가 같은 상황을 생각하는 방식과密接하게 반영됩니다.
훈련 방법은 또한 이 추론에 대한 초점을 강화합니다. 초기에, Alpamayo는 대규모 다중 모달 데이터셋에서 일반적인 인과적 이해를 개발합니다. 그 후, 그것은 실제 녹음과 시뮬레이션에서 특정 데이터를 사용하여 세부적으로 조정됩니다. 또한, 물리 기반 시뮬레이션은 충분한 정지 거리 유지 및 안전한 책임 가정과 같은 안전 제약을 강제합니다. 동시에, 시스템은 단일 예측에 의존하는 대신 대체 미래 결과를 평가합니다. 따라서, 무엇이 다음에 발생할지 고려하고, 보수적인 반응을 선호함으로써, 모델은 익숙하지 않은 조건에서 실패의 위험을 줄입니다.
반면에, 인식 주도 시스템은 정상적인 환경에서 잘 작동하지만, 도로 레이아웃, 날씨, 또는 인간 행동이 이전 경험과 다를 때 어려움을 겪습니다. 설명을 생성함으로써, Alpamayo는 엔지니어에게 실패 원인의 더 명확한 통찰력을 제공합니다. 또한, 규제 기관에게 더 투명한 안전 평가를 위한 기초를 제공합니다. 이는 제한된 파일럿 배포를 넘어서 진행을 지원합니다.
Alpamayo의 사슬 추론을 엣지 케이스에 적용
Alpamayo는 실제 도로 행동에 적응하는 명시적이고 실제적인 추론을 통해 어려운 운전 상황을 해결합니다. 상황 전체에 반응하는 대신, 시스템은 각 상황을 논리적인 단계의 시퀀스로 분해합니다. 따라서, 결정은 단일 출력으로 생성되지 않고, 구조화된 분석의 결과로 생성됩니다. 이 접근 방식은 인간의 추론을 반영하며, 익숙하지 않은 조건에서 예기치 않은 행동을 줄입니다.
먼저, 모델은 장면의 모든 관련 에이전트를 식별합니다. 다음으로, 그것은 운동 패턴, 컨텍스트, 및 사회적 신호를 검토하여 의도를 추론합니다. 그 후, 그것은 가시성 한계, 차폐, 및 가능한 은닉된 위험을 평가합니다. 또한, 그것은 반事実적 결과, 즉 보행자가突然 도로로 들어서는 경우에 무엇이 발생할지 고려합니다. 그 후, 그것은 여러 가능한 궤적을 안전 제약과 비교하여 최종 조작을 선택합니다. 동시에, 시스템은 각 단계를 설명하는 명확한 자연어 추론 트레이스를 생성합니다.
이 프로세스는 모호한 환경에서 중요합니다. 예를 들어, 도시 지역의 狭い 차선에서 배달 차량이 일부를 차단할 때, Alpamayo는 학습된 패턴만으로 의존하지 않습니다. 대신, 그것은 상황을 단계적으로 추론합니다. 그것은 차량 뒤의 차폐된 영역을 식별합니다. 그것은 затем 보행자 또는 자전거 타기가 나타날 가능성을 예상합니다. 그 후, 그것은 짧은 시간 지평 내에서 오는 교통을 확인합니다. 따라서, 그것은 완전한 차선 변경을하는 대신 안전 버퍼를 유지하는 작은 측면 조정을 선택할 수 있습니다. 이 결정은 신뢰도만으로 아니라 추론에 의해 지원됩니다.
또한, 사슬 추론은 테스트와 실패 분석 중에 투명성을 향상시킵니다. 엔지니어는 정확히 어디서 결정 경로가 실패했는지, 즉 의도 추론이 잘못되었거나 위험 평가가过于 낙관적이었는지 검사할 수 있습니다. 따라서, 오류는 더 쉽게 진단되고 수정될 수 있습니다. 이것은 블랙박스 모델과는 달리, जह서 행동은 관찰될 수 있지만 의미 있게 설명될 수 없습니다.
시뮬레이션은 또한 이 추론 프로세스를 강화합니다. AlpaSim 프레임워크를 통해, Alpamayo는 폐쇄 루프 환경에서 작동하며, 각 동작이 미래의 상태에 영향을 미칩니다. 개발자는 실제적인 엣지 케이스, 즉 갑자기 발생하는 보행자, 공격적인 차선 변경, 또는 제스처를 사용하는 교차로와 같은 상황을 주입할 수 있습니다. 인식, 추론, 및 동작이 함께 작동하기 때문에, 시스템은 정적 시나리오를 재생하는 대신 압력 아래에서 추론해야 합니다.
마지막으로, 확장성은 교사-학생 구조를 통해 달성됩니다. 대규모 Alpamayo 모델은 데이터 센터에서 사슬 추론을 수행하며, 실제 및 시뮬레이션 데이터를 통해 궤적 및 추론 트레이스를 생성합니다. 더 작은 모델은 이러한 출력에서 학습하며, 동일한 추론 구조를 차량 하드웨어에 배포합니다. 따라서, 인과적 논리는 계산 제약이 적용될 때에도 보존됩니다. 동시에, 표준화된 추론 트레이스는 일관된 테스트 및 규제 검토를 지원합니다. 이러한 메커니즘은 신뢰성을 강화하며, 자율 시스템을 실제 도로의 엣지 케이스에서 안전한 작동으로 이동시킵니다.
추론 및 시뮬레이션을 통해 긴 꼬리 데이터 격차를 닫는 것
추론 기반 시스템인 Alpamayo는 단순히 더 많은 운전 데이터를 수집하여 엣지 케이스 문제를 해결하지 않습니다. 대신, 그것은 기존 데이터가 어떻게 해석되고, 확장되고, 테스트되는지 변경합니다. 따라서, 진행은 데이터를 더 많이 수집하는 것보다 더 효과적으로 사용하는 것에 달려 있습니다. NVIDIA는 Physical AI 운전 데이터셋과 AlpaSim 시뮬레이션 환경의 긴밀한 통합을 통해 이 도전을 해결합니다. 두 가지 모두 추론 중심 개발을 지원하도록 설계되었습니다.
NVIDIA의 Physical AI 데이터셋에는 25개국과 수천 개의 도시에서 수집된 1,700시간 이상의 동기화된 운전 데이터가 포함되어 있습니다. 데이터는 카메라, 라이다, 및 레이다의 입력을 결합하여 실제 도로 행동의 다양한 범위를 캡처합니다. 중요하게는, 이러한 녹음은 단일 지역이나 운전 문화를 넘어 확장됩니다. 따라서, 그것은 다른 교통 규범, 날씨 패턴, 도로 설계, 및 비공식적인 운전 관행을 반영합니다. 이는 모델이 실제 세계의 복잡성과 더ใกล운 조건에서 훈련되도록 노출시킵니다.
그러나 실제 데이터만으로는 모든 드문 시나리오를 대표할 수 없습니다. 이를 위해 시뮬레이션이 중요한 역할을 합니다. AlpaSim을 통해 개발자는 실제적인 엣지 케이스를 반영하는 대규모 제어된 시나리오를 생성할 수 있습니다. 이러한 시나리오는 센서 부분적 저하, 예측할 수 없는 보행자 운동, 또는 익숙하지 않은 환경적 위험을 포함할 수 있습니다. 시뮬레이션이 폐쇄 루프에서 작동하기 때문에, 각 운전 결정은 다음에 무엇이 발생할지 영향을 미칩니다. 따라서, 시스템은 정적 입력에 반응하는 대신 진화하는 조건에서 추론해야 합니다.
검증도 더 구조화된 환경에서 이루어집니다. 궤적 정확성을 측정하는 것 외에도, 개발자는 추론 트레이스가 스트레스 아래에서 일관성과 신뢰성을 유지하는지 검사할 수 있습니다. 이는 차량이 안전하게 행동했는지 뿐만 아니라, 결정 과정도健全했는지 평가할 수 있도록 합니다. 따라서, 안전 평가를 시도와 오류에서 체계적인 추론으로 전환합니다. 실제 세계 데이터와 추론 기반 시뮬레이션을 결합함으로써, Alpamayo는 긴 꼬리 도전을 측정 가능하고 검토 가능한 방식으로 줄입니다. 이는 더 안전한 자율 주행의 진행을 지원합니다.
산업적 영향과 지속적인 도전
Alpamayo는 NVIDIA의 더广泛한 자율 주행 전략과 일치합니다. 그것은 대규모 훈련, 시뮬레이션, 및 차량 배포를 통합합니다. 훈련과 평가가 데이터 센터의 고성능 GPU 시스템에서 발생합니다. 반면에, 더 작은 모델은 실제 차량에서 실시간 결정에 대한 가능성을 제공하는 자동차 하드웨어에서 작동합니다. 유사하게, 관련 시스템은 Jetson 기반 플랫폼을 통해 로봇공학으로 확장됩니다. 따라서, Alpamayo는 도로 차량과 다른 물리적 시스템이 공통의 개발 프레임워크를 공유할 수 있도록 합니다.
산업의 관심은 이러한 접근 방식을 반영합니다. 여러 제조업체와 연구 그룹은 기존의 인식 시스템 위에 추론 계층으로 Alpamayo를 테스트하고 있습니다. 예를 들어, Mercedes-Benz는 미래의 차량에서 통합을 탐색할 계획입니다. 한편, Jaguar Land Rover는 복잡한 운전 상황을 평가하기 위한 사용을 연구하고 있습니다. 동시에, Lucid, Uber, 및 Berkeley DeepDrive와 같은 조직은 정책 테스트와 안전 검증을 위해 Alpamayo를 적용하고 있습니다. 따라서, 플랫폼은 자율 주행 스택의 대체品으로 아니라, 안전 논리와 Level 4 목표를 지원하기 위한 도구로 간주됩니다.
尽管 이러한 발전이 있지만, 여전히 몇 가지 주요 도전이 남아 있습니다. 이러한 도전은주의 깊게 주의해야 합니다. 특히, 사슬 추론은 결정 이후에 사실을 설명할 수 있지만, 실제 내부 프로세스를 반영하지 않을 수 있습니다. 이는 사고 조사에서 복잡성을 추가할 수 있습니다. 또한, 큰 모델에서 작은 모델로 보수적인 행동을 전환할 때, 검증이 불충분하면 안전 마진이 약화될 수 있습니다. 따라서, 일관된 행동을 유지하기 위한 철저한 테스트가 필수입니다.
분포 차이로 인한 위험도 지속됩니다. 구조화된 도시 환경에서 훈련된 추론은 비공식적인 교통, 밀도 높은 아시아 교차로, 또는 비포장 도로와 같은 지역으로 원활하게 전환되지 않을 수 있습니다. 따라서, 지역적 검증과 적응이 필수입니다. 또한, 공공의 신뢰와 규제 승인은 추론 출력이 실제 안전성 개선, 즉 해제, 근접 사고, 및 규칙 위반의 감소로 이어지는지 보여주는 데 달려 있습니다.
Alpamayo의 개방형 개발 접근 방식은 협력을鼓励합니다. 그러나, NVIDIA의 생태계와의 통합은 장기적인 NVIDIA의존도에 대한 질문을 제기합니다.尽管如此, 자율 주행의 추론 기반 전환은 명확합니다. 투명성, 책임성, 및 측정 가능한 안전 결과를 강조함으로써, 이러한 접근 방식은 자율 시스템을 제한된 파일럿 프로그램을 넘어 안전한 배포로 이동시킵니다.
요약
자율 주행은 인식만으로는 더 이상 충분하지 않은 지점에 도달했습니다. 차량은 도로를 높은 정확도로 볼 수 있지만, 어려운 상황은 여전히 이해, 판단, 및 설명을 요구합니다. 따라서, Alpamayo와 같은 추론 기반 시스템은 이러한 도전을 해결하기 위한 필수적인 전환을 나타냅니다. 구조화된 추론, 실제적인 시뮬레이션, 및 투명한 평가를 결합함으로써, 이러한 접근 방식은 안전성이 가장 중요한 엣지 케이스를 대상으로 합니다.
또한, 이러한 시스템은 엔지니어와 규제 기관이 검사하고 질문할 수 있는 도구를 제공합니다. 이는 신뢰가 필수적입니다. 그러나, 추론은 모든 위험을 제거하지 않습니다.慎重한 검증, 지역적 테스트, 및 규제 감독은 여전히 필요합니다.尽管如此, 결정이 이루어지는 이유를 이해함으로써, 추론 기반의 자율 주행은 자율 주행 기술을 실제 도로에서 안전하고 책임 있는 배포로 이동시킵니다.
