Le codesign complet de NVIDIA s'attaque aux défis croissants de la mémoire en IA

NVIDIA répond aux demandes de mémoire croissantes des modèles et des applications d'IA grâce à son approche de codesign complet, qui intègre des GPU, des CPU, des réseaux, du stockage et des logiciels pour maximiser l'efficacité de la mémoire. Cette stratégie est cruciale alors que des modèles plus grands, des contextes plus longs et des applications autonomes intensifient la pression sur la mémoire GPU, aggravée par une offre serrée et une augmentation des coûts.

Défis de mémoire en IA et hiérarchie

Les usines d'IA reposent sur une hiérarchie de mémoire et de stockage, avec la mémoire à large bande passante (HBM) des GPU comme le niveau le plus rapide et le plus coûteux. L'HBM stocke principalement les paramètres des modèles et le cache clé-valeur (KV), tous deux en croissance en raison de l'augmentation de la taille des modèles d'IA et du contexte requis pour l'inférence autonome. NVIDIA souligne que l'ajout de capacité HBM ne suffit pas, car la bande passante mémoire devient un goulot d'étranglement, limitant l'utilisation effective de la capacité supplémentaire.

Solutions de codesign complet

L'approche de NVIDIA se concentre sur l'optimisation de l'utilisation de la mémoire à travers la hiérarchie avec plusieurs innovations clés :

• Quantification NVFP4 : Réduit l'espace requis pour les poids de modèle par rapport à FP8, permettant une inférence plus efficace. Des modèles tels que FLUX.2, Inkling et NVIDIA Nemotron 3.5 Super VL ont adopté ce format de précision de 4 bits.
• Poids de modèle distribués : Au sein du système NVL72, les poids du modèle sont répartis sur jusqu'à 72 GPU, libérant ainsi de la HBM pour la cache KV et les utilisateurs simultanés.
• Optimisation du cache KV : NVFP4 réduit la taille du cache KV, tandis que les CPUs NVIDIA Vera et le logiciel d'inférence Dynamo déchargent le contexte inactif vers des niveaux de stockage de moindre coût, comme NVIDIA CMX, qui offre une capacité partagée sans les frais de protection de données à long terme.
• Intégrations RAG efficaces : Les modèles de récupérateur Nemotron de NVIDIA produisent des intégrations plus petites et plus précises, et la bibliothèque cuVS de NVIDIA permet l'indexation externe tout en maintenant l'utilisation de HBM au minimum.

Gains de performance

NVIDIA rapporte des améliorations significatives de performance avec ses dernières plateformes. Par exemple, le système GB300 NVL72 offre jusqu'à 10x de débit supplémentaire par dollar par rapport à la plateforme H200, tandis que le système Vera Rubin NVL72 atteint jusqu'à 30x de débit supplémentaire par dollar sur des charges de travail spécifiques telles que SemiAnalysis AgentX DeepSeek V4 Pro. Ces gains soulignent l'efficacité des stratégies d'optimisation de mémoire de NVIDIA pour soutenir une plus grande capacité de service concurrent et réduire des recomputations coûteuses.

Implications stratégiques

Le codesign complet de NVIDIA aborde non seulement les défis de mémoire actuels, mais positionne également la société pour répondre à la demande croissante des applications en IA. En optimisant l'utilisation de la mémoire à chaque couche, NVIDIA permet des opérations d'IA plus efficaces et rentables, même lorsque l'offre de mémoire se resserre et que les prix augmentent.