엔비디아, 세계 최초 오픈소스 추론 자율주행 모델 공개

엔비디아, 세계 최초 오픈소스 추론 자율주행 모델 공개

 

AI 기반 자율주행의 현재와 미래

 

자율주행 기술은 이제 단순히 “차가 알아서 가는 기술”을 넘어, 자동차 산업과 반도체, 클라우드, 데이터 산업 전반을 흔드는 거대한 패러다임 전환의 중심에 서 있습니다. 최근 몇 년 사이 가장 큰 변화는, 자율주행 시스템이 기존의 규칙 기반·모듈형 구조에서 벗어나 종단 간(End-to-End, E2E) AI 모델 중심 구조로 빠르게 이동하고 있다는 점입니다.

이 흐름의 한가운데에는 NVIDIA가 발표한 Alpamayo-R1(AR1) 모델이 있습니다. AR1은 단순히 센서 데이터를 받아 조향과 가감속을 계산하는 수준을 넘어서, “왜 이 결정을 내리는지”를 모델 내부에서 인과적으로 이해하고 설명하게 만드는 것을 목표로 합니다. 자율주행이 직면한 가장 어려운 문제, 즉 예외적이고 복잡한 롱테일(long-tail) 상황에서의 안전성과 신뢰성을 높이기 위한 시도입니다.

실제로 자율주행 기술을 가까이에서 지켜보면, 일반적인 직선 도로·완만한 곡선·단순 교차로 환경보다, 예측하기 어려운 돌발 상황에서 시스템의 진짜 실력이 드러나는 경우가 많습니다. 사람 운전자는 경험과 직관을 통해 조건을 빠르게 판단하지만, 모델은 데이터와 구조가 뒷받침되지 않으면 같은 상황에서도 엉뚱한 결정을 내리기 쉽습니다. 이 지점을 개선하기 위해 “추론(reasoning)”과 “인과관계(chain of causation)”가 중요한 키워드로 떠오르고 있습니다.

엔비디아, 세계 최초 오픈소스 추론 자율주행 모델 공개

 

1. 기존 E2E 자율주행의 한계와 Alpamayo-R1의 접근

초기 E2E 자율주행 모델은 대규모 영상·센서 데이터를 입력으로 받아, 곧바로 조향 각도와 가감속 명령을 출력하는 구조를 택했습니다. 겉으로 보면 단순하고 우아한 구조지만, “왜 이 방향을 선택했는지”에 대한 설명이 어렵고, 롱테일 상황에서는 특히 취약하다는 단점이 노출되었습니다.

NVIDIA는 이 한계를 극복하기 위해, 언어 모델에서 발전해온 “사고의 연쇄(Chain of Thought)” 개념을 자율주행 도메인에 맞게 변형하여 적용했습니다. AR1의 핵심은 단순한 사고의 연쇄를 넘어, “인과관계 사슬(Chain of Causation, CoC)” 라는 구조화된 추론 체계를 도입한 것입니다.

1.1 인과관계 사슬(CoC)의 도입

기존 자율주행 관련 비전·언어 데이터셋은 다음과 같은 문제를 갖고 있었습니다.

• “조심해야 한다”와 같이 모호한 행동 설명
• “날씨가 맑다”처럼 결정과 직접 관련 없는 정보
• 아직 일어나지 않은 미래 사건을 근거로 드는 인과적 혼동

AR1의 CoC는 이를 정리하기 위해 추론 정보를 세 가지로 분해합니다.

1. 주행 결정: 차선 변경, 추종, 정지 등 명확한 행동 선택
2. 핵심 인과 요인: 실제로 그 결정을 유발한 주변 차량, 신호, 장애물, 도로 상황
3. 구성된 인과 설명(CoC 추론): “앞 차가 급정거했고, 옆 차선에 차량이 접근 중이라 감속 후 차선 변경을 보류한다”와 같은 자연어 형태의 설명

이렇게 구조화하면, 모델은 단순히 “사람 운전자가 했던 행동을 모방”하는 것이 아니라, “이 행동의 원인이 되는 상황적 요인”을 함께 학습할 수 있습니다. 자율주행 개발자 입장에서는, 문제 상황이 발생했을 때 “모델이 어떤 인과관계를 잘못 이해했는지”를 분석할 수 있는 기반이 생긴다는 점도 중요합니다.

엔비디아, 세계 최초 오픈소스 추론 자율주행 모델 공개 (=엔디비아)

 

2. Alpamayo-R1의 아키텍처와 훈련 전략

 

 

AR1은 비전-언어-행동(Vision-Language-Action, VLA) 모델로 설계되어 있습니다. 이는 카메라·라이다 등의 시각 정보, 자연어 추론, 실제 제어 명령이 하나의 프레임워크 안에서 유기적으로 연결된다는 의미입니다.

2.1 모듈형 VLA 구조

AR1의 핵심 구성은 크게 세 부분으로 나눌 수 있습니다.

1. VLM 백본 (Cosmos-Reason)
   물리 환경을 이해하는 데 특화된 비전-언어 모델로, 물체의 위치뿐 아니라 “상황의 의미”를 해석하는 기능을 담당합니다.
2. 효율적인 비전 인코딩
   • 여러 대의 카메라와 시간 축으로 이어진 영상 정보를, 실시간 처리 가능한 수준으로 토큰 수를 압축하는 인코더 구조를 사용합니다.
   • 예를 들어 Triplane 기반 인코더나 Flex 비디오 토크나이저는 7개 카메라 데이터를 기존 대비 최대 20배까지 효율적으로 표현할 수 있도록 설계됩니다.
3. 궤적 디코더(trajectory decoder)
   • 단순히 텍스트 토큰으로 웨이포인트를 생성하는 대신, 확산(diffusion) 기반 액션 디코더를 사용해 차량의 동역학을 고려한 연속적인 궤적을 생성합니다.
   • 그 결과, 언어 추론과 실제 차량 움직임 사이의 간극을 줄이고, 물리적으로 실현 가능한 경로를 만들어낼 수 있습니다.

2.2 다단계 훈련 전략

AR1은 한 번에 모든 능력을 학습시키지 않고, 세 단계에 걸쳐 점진적으로 고도화됩니다.

1. 액션 양식 주입 (Pre-Training)
   • 차량 궤적 데이터를 토큰 형태로 변환해, 모델이 “이 상황에서 일반적으로 어떤 제어가 나오는지”를 먼저 익히게 합니다.
2. CoC 기반 SFT (감독 미세 조정)
   • CoC 데이터셋을 활용해, 모델이 인과적으로 설득력 있는 추론을 텍스트 형태로 생성하도록 학습합니다.
3. 강화학습(RL) 기반 사후 훈련
   • 단순히 정답을 맞히는 수준이 아니라,
     • 추론의 질
     • 추론과 행동의 일관성
     • 안전한 궤적 생성
       을 동시에 만족시키도록 보상을 설계합니다.
   • 이 과정에서 대형 추론 모델이 평가자(critic) 역할을 수행하기도 합니다.

2.3 성능 지표와 의미

다양한 시뮬레이션과 실제 테스트에서 AR1은 기존 모델 대비 다음과 같은 개선을 보였습니다.

• 어려운 시나리오에서 궤적 예측 정확도 최대 12% 향상
• 폐쇄 루프 시뮬레이션에서 도로 이탈률 35% 감소, 근접 조우율 25% 감소
• RL 훈련 이후, 인과 추론 품질 지표 45% 향상, 추론-행동 일관성 37% 향상
• 실제 차량에 탑재한 도심 환경 테스트에서 99ms 수준의 지연 시간으로 실시간 운행 성공

현업 관점에서 보면, 이러한 개선은 단순한 수치상의 향상이 아니라, “언제 어디서 튀어나올지 모르는 예외 상황에 대한 신뢰도” 를 끌어올리는 방향으로 해석할 수 있습니다.

 

3. 글로벌 자율주행·모빌리티 산업 동향

 

자율주행은 이제 완성차만의 경쟁이 아니라, AI 소프트웨어, 차량용 반도체, 클라우드, 데이터, 전동화 파워트레인을 모두 포함하는 복합 산업 경쟁으로 확장되고 있습니다.

3.1 모듈형 vs 종단 간 AI

전통적인 모듈형 아키텍처는 인지–판단–제어를 독립적으로 구현하여, 기능별 최적화와 오류 분석이 용이하다는 장점이 있습니다. 반면, 예외 상황에 대한 적응력과 데이터 기반 개선 측면에서는 종단 간 모델이 더 유리합니다.

최근 흐름은 “모듈형을 완전히 버리는 것”이라기보다, E2E AI를 중심에 두되, 안전과 검증을 위해 일부 모듈형 요소 및 규칙 기반 로직을 보완적으로 결합하는 하이브리드 구조로 진화하는 모습에 가깝습니다.

3.2 미국·중국 중심의 기술 경쟁

• 미국
  • 테슬라는 비전 기반 E2E 자율주행과 자체 칩을 결합한 SDV 전략으로 독자 노선을 걷고 있습니다.
  • 웨이모는 로보택시 상용 서비스와 안전성 데이터를 바탕으로 자율주행 플랫폼의 신뢰성을 쌓아왔습니다. 구글의 멀티모달 모델 제미나이와 결합한 EMMA 프로젝트도 주목받고 있습니다.
• 중국
  • BYD, 화웨이, 샤오펑 등은 정부 지원과 거대한 내수 시장을 기반으로 빠르게 기술과 실증 사례를 쌓고 있습니다.
  • 이들은 자체 반도체, OS, E2E 자율주행 스택을 수직 통합하는 전략으로 장기적인 경쟁력을 확보하려 하고 있습니다.

실제 현장에서 듣는 이야기를 종합해보면, “자율주행 그 자체”보다  “자율주행을 중심으로 한 차량·서비스 사업 전체를 누가 설계하느냐” 가 더 중요한 싸움으로 변하고 있다는 인식이 점점 강해지고 있습니다.

 

4. 핵심 인프라: 차량용 AI 반도체, 데이터, EREV

4.1 차량용 AI SoC와 SDV 아키텍처

자율주행 차량은 이제 수십~수백 TOPS가 아닌, 1,000~2,000 TOPS급 연산 능력을 가진 AI SoC를 요구하고 있습니다.

• NVIDIA DRIVE Thor: 2,000 TOPS 수준의 연산을 제공하며, 거대 언어 모델까지 차량 내에서 직접 구동하는 것을 목표로 합니다.
• 소프트웨어 정의 차량(SDV): 차량 기능을 소프트웨어 업데이트로 개선·추가하는 구조로, 중앙 집중형 컴퓨팅 아키텍처가 필수입니다.

이와 함께, NPU 구조도 기존의 단순 배열형 구조에서 벗어나, 트랜스포머 계열 모델에 최적화된 Many-Core 구조로 진화하고 있습니다.

4.2 대규모 주행 데이터의 중요성

NVIDIA의 PhysicalAI-Autonomous-Vehicles 데이터셋은 1,700시간 이상, 전 세계 2,500개 도시에서 수집된 대규모 멀티센서 데이터셋으로, AR1과 같은 E2E 모델의 학습 기반이 됩니다.

감시·법 집행·개인 식별 목적으로 사용할 수 없도록 라이선스를 제한한 점은, 앞으로 데이터 활용이 기술 경쟁뿐만 아니라 윤리·규제 영역과도 밀접하게 얽혀 있음을 시사합니다.

4.3 EREV: 전기차 전환 과정의 현실적 옵션

완전자율주행과 함께, 전동화 파워트레인도 중요한 축입니다. 순수 전기차(BEV)의 성장 둔화와 충전 인프라 문제 속에서, 주행거리 연장형 전기차(EREV) 가 현실적인 대안으로 부상하고 있습니다.

• 구동은 100% 전기모터
• 배터리 소진 시 발전용 엔진이 작동해 전기를 공급
• 긴 주행거리, 작은 배터리 용량, 낮은 비용이라는 현실적인 장점을 제공합니다.

자율주행과 EREV를 동시에 고려하면, “전기차로의 전환”은 단순한 친환경 이슈를 넘어, 주행 데이터 수집·OTA 업데이트·서비스 모델 확장에 최적화된 플랫폼 구축 과정으로 보는 것이 더 정확합니다.

 

5. 한국 자율주행 산업의 과제와 전략

 

 

 

반면, 한국의 완전자율주행 산업은 글로벌 경쟁 대비 뒤처져 있다는 평가가 적지 않습니다.

• 시험 운행 차량 수, 누적 주행 데이터, 실증 서비스 규모 모두 제한적
• 개인정보보호 규제로 인한 데이터 활용 제약
• 안전 우선 정책과 사회적 수용성 문제로 인한 실증 속도 저하
• 일부 기업의 자율주행 사업 축소·연기 사례 증가

이러한 상황에서 필요한 것은 단순히 “기술 개발을 더 열심히 한다”는 수준을 넘어서는 국가적 전략입니다.

1. 차량용 AI SoC, 핵심 파워트레인 등 기반 기술 내재화
2. 데이터 수집·익명화·공유를 아우르는 자율주행 데이터 생태계 구축
3. AI 기반 자율주행에 맞는 새로운 안전 인증·책임 체계 정비
4. 자율주행, 전동화, SDV를 통합적으로 바라보는 장기 로드맵 수립

실제 기술 현장에서 자주 나오는 말 중 하나가 “지금이 따라잡을 수 있는 마지막 골든타임 같다”는 표현입니다. 자율주행과 모빌리티 산업은 이미 “속도 싸움이 아니라 생태계 싸움” 의 단계로 넘어가고 있으며, 이를 어떻게 준비하느냐에 따라 10년 뒤 산업 구조가 크게 달라질 가능성이 높습니다.

 

 

At NeurIPS, NVIDIA Advances Open Model Development for Digital and Physical AI