Le modèle NVIDIA Alpamayo 2 Edge optimise le raisonnement AV pour les systèmes embarqués

NVIDIA a introduit Alpamayo 2 Edge, un modèle de vision-langage-action (VLA) à paramètres adaptatifs de 2 milliards conçu pour fonctionner dans les contraintes de calcul et de latence des systèmes embarqués de véhicules autonomes (AV). Conçu pour un déploiement en temps réel sur le NVIDIA DRIVE AGX Thor, le modèle répond au défi d'équilibrer la qualité du raisonnement et l'efficacité dans les environnements de périphérie.

Caractéristiques clés d'Alpamayo 2 Edge

Alpamayo 2 Edge est basé sur l'architecture de raisonnement Nemotron de NVIDIA Cosmos 3 Edge et intègre un expert en action de diffusion. Il traite les entrées des caméras à vue panoramique, le contexte temporel et les instructions de navigation pour générer un raisonnement de chaîne de causalité (CoC) et des trajectoires de conduite. Le modèle utilise un raisonnement adaptatif pour minimiser la génération de tokens inutiles lors de la conduite routinière, conservant ainsi les ressources de calcul d'inférence.

Pour optimiser encore les performances, Alpamayo 2 Edge a subi un post-entrainement avec un apprentissage par renforcement en boucle fermée (RL) dans NVIDIA AlpaGym. Ce processus a amélioré la performance de conduite en boucle fermée de 48.9% par rapport au meilleur checkpoint sans RL. En outre, le modèle prend en charge les entrées multi-résolution et le décodage spéculatif avec DFlash2 , permettant un raisonnement en ligne efficace sans sacrifier la qualité.

Évaluation et déploiement

Pour garantir la qualité du raisonnement, NVIDIA a développé AlpaJudge, un modèle d'évaluation et de récompense calibré par l'homme. AlpaJudge évalue les traces de raisonnement, sélectionne des données d'entraînement de haute valeur et fournit des récompenses RL. Les développeurs peuvent intégrer AlpaJudge dans leurs flux de travail pour affiner la performance du modèle par :

• Exécution d'évaluations sur des échantillons de PhysicalAI-AV.
• Sélection d'exemples d'entraînement qui exposent des opportunités d'apprentissage.
• Utilisation des scores de raisonnement comme récompenses pour le post-entrainement.

Les recettes de déploiement pour Alpamayo 2 Edge incluent des techniques de quantification et d'accélération d'inférence utilisant NVIDIA TensorRT et TensorRT-Edge-LLM. Ces optimisations permettent une latence de pixel à trajectoire de 160-190 millisecondes sur le DRIVE AGX Thor.

Repères de performance et retours de l'industrie

Comparé à Qwen- Drive-1.0 , Alpamayo 2 Edge a montré des performances supérieures dans les benchmarks de conduite en boucle fermée, de prédiction de trajectoire en boucle ouverte, et de compréhension de la scène. Il a atteint environ 40 fois la distance entre les incidents responsables dans les simulations AlpaSim.

Les premiers utilisateurs ont signalé des améliorations significatives. Matas Simonavicius, CTO de PORT, a souligné qu'Alpamayo 2 Edge maintenait la discipline de voie deux fois plus souvent que son prédécesseur, Alpamayo 1.5 , et planifiait des trajectoires deux fois plus rapidement. De même, Luca Crotti, co-fondateur de Niulinx, a noté une réduction de 46.1% de l'erreur de prédiction latérale à 3 secondes lors des évaluations sans formation. Le CEO d'Embedl, Hans Salomonsson, a confirmé que le modèle a atteint des vitesses de planification en temps réel de 10 Hz sur AGX Thor dans les 48 heures suivant le déploiement.

Ces avancées positionnent Alpamayo 2 Edge comme une solution robuste pour intégrer des capacités de conduite basées sur le raisonnement dans les systèmes AV embarqués.