NVIDIA Alpamayo 2 Edge, 온보드 시스템의 AV 추론 최적화

NVIDIA는 Alpamayo 2 Edge를 소개했습니다. 이는 온보드 자율주행차(AV) 시스템의 계산 및 지연 제약 내에서 작동하도록 설계된 2억 개의 파라미터를 가진 적응형 추론 비전-언어-행동(VLA) 모델입니다. NVIDIA DRIVE AGX Thor에서 실시간 배치를 위해 구축된 이 모델은 엣지 환경에서 추론 품질과 효율성의 균형을 맞추는 도전에 대응합니다.

Alpamayo 2 Edge의 주요 기능

Alpamayo 2 Edge는 NVIDIA Cosmos 3 Edge의 Nemotron 추론 백본을 기반으로 하며, 확산 행동 전문가를 통합하고 있습니다. 주변 뷰 카메라, 시간적 맥락 및 내비게이션 지침으로부터 입력을 처리하여 인과 관계 연쇄(CoC) 추론 및 주행 경로를 생성합니다. 이 모델은 일상적인 주행 중에 불필요한 토큰 생성을 최소화하기 위해 적응형 추론을 사용하여 추론 계산 리소스를 절약합니다.

성능을 더욱 최적화하기 위해, Alpamayo 2 Edge는 NVIDIA AlpaGym에서 닫힌 루프 강화 학습(RL)을 통한 후속 훈련을 받았습니다. 이 과정은 RL 없는 최적의 체크포인트와 비교하여 닫힌 루프 주행 성능을 48.9% 개선했습니다. 또한 이 모델은 다해상도 입력 및 DFlash2를 통한 추측 디코딩을 지원하여 품질을 희생하지 않으면서 효율적인 온라인 추론을 가능하게 합니다.

평가 및 배포

추론 품질을 보장하기 위해 NVIDIA는 인간 조정 평가 및 보상 모델인 AlpaJudge를 개발하였습니다. AlpaJudge는 추론 흔적을 평가하고, 고가치 훈련 데이터를 선택하며, RL 보상을 제공합니다. 개발자는 다음을 통해 워크플로우에 AlpaJudge를 통합하여 모델 성능을 개선할 수 있습니다:

• PhysicalAI-AV 샘플에 대한 평가 실행.
• 학습 기회를 제공하는 훈련 예제를 선택.
• 포스트 훈련을 위한 보상으로 추론 점수를 사용.

Alpamayo 2 Edge의 배포 레시피에는 NVIDIA TensorRT와 TensorRT-Edge-LLM을 사용하는 양자화 및 추론 가속 기술이 포함됩니다. 이러한 최적화는 DRIVE AGX Thor에서 픽셀에서 경로까지의 대기 시간을 160-190 밀리초로 가능하게 합니다.

성능 벤치마크 및 산업 피드백

Qwen- Drive-1.0와 비교할 때, Alpamayo 2 Edge는 닫힌 루프 주행, 열린 루프 경로 예측 및 장면 이해 벤치마크에서 뛰어난 성능을 보여주었습니다. AlpaSim 시뮬레이션에서 과실 사고 간의 거리는 약 40 배로 증가했습니다.

초기 사용자는 상당한 개선을 보고했습니다. PORT의 CTO인 Matas Simonavicius는 Alpamayo 2 Edge가 이전 모델인 Alpamayo 1.5보다 두 배 더 자주 차선 준수를 유지하고, 두 배 더 빠르게 경로를 계획했다는 점을 강조했습니다. 또한, Niulinx의 공동 창립자인 Luca Crotti는 제로샷 평가 중 3 초에서의 횡 방향 예측 오차가 46.1% 감소했다고 언급했습니다. Embedl의 CEO인 Hans Salomonsson은 이 모델이 48 시간 내에 AGX Thor에서 10 Hz의 실시간 계획 속도를 달성했다고 확인했습니다.

이러한 발전은 Alpamayo 2 Edge를 온보드 AV 시스템에 추론 기반 운전 기능을 통합하기 위한 강력한 솔루션으로 자리매김하게 합니다.