Le Co-Design de NVIDIA Améliore l'Efficacité de la Mémoire et le Débit des Usines d'IA
NVIDIA a dévoilé une stratégie de co-design visant à maximiser l'efficacité de la mémoire à haut débit (HBM) dans les usines d'IA. En optimisant la manière dont la mémoire est utilisée, la société a réalisé des gains de débit significatifs, la NVIDIA Vera Rubin NVL72 fournissant jusqu'à 30x le débit par mégawatt par rapport à la GB300 NVL72, bien que les deux GPU maintiennent la même capacité de HBM de 288 GB. Cette amélioration souligne l'importance de maximiser le travail utile effectué par chaque octet de mémoire, plutôt que de simplement augmenter la capacité.
NVFP4 : Compresser les Données Sans Compromettre la Précision
Une des innovations clés à l'origine de ces gains est NVFP4, un format de précision de 4 bits qui combine la mise à l'échelle au niveau des blocs et des tenseurs pour stocker plus d'intelligence dans moins d'octets. NVFP4 réduit la empreinte du modèle d'environ 3.5x par rapport à FP16 et 1.8x par rapport à FP8, libérant ainsi de la mémoire pour des tâches critiques telles que l'augmentation de la capacité du cache KV et le support de lots plus importants. Des benchmarks comme AA-AgentPerf et MLPerf Endpoints ont validé la capacité de NVFP4 à fournir jusqu'à 4x le débit de FP8 tout en respectant des exigences strictes de précision. De plus, NVFP4 réduit l'empreinte du cache KV de jusqu'à 50%, permettant des taux de réussite de cache plus élevés et une consommation de bande passante inférieure lors du décodage.
NVLink : Créer un Pool de Mémoire Unifié
Un autre élément critique de l'approche de co-design de NVIDIA est le domaine de montée en échelle NVLink, qui regroupe efficacement la mémoire entre plusieurs GPU. Par exemple, dans des configurations de parallélisme expert large (Wide-EP), NVLink permet aux GPU de partager des ressources mémoire, réduisant les coûts de charge associés aux modèles de mélange d'experts (MoE). Sur le GB200 NVL72, NVLink fournit 130 To/s de bande passante agrégée, permettant aux configurations EP32 de délivrer jusqu'à 1.8x de tokens de sortie par seconde par GPU par rapport aux configurations EP8. La Vera Rubin NVL72 étend cette capacité avec une bande passante NVLink 6 de 3.0 To/s et des mises à jour de descripteurs de tensor de mémoire accélérateur en ligne (TMA), optimisant encore l'utilisation de la mémoire entre les racks.
NVIDIA Dynamo : Optimiser l'Utilisation du Cache KV
Pour s'assurer que les données mises en cache sont réutilisées efficacement, NVIDIA a développé Dynamo, une couche de service distribuée qui traite le cache KV comme une ressource à l'échelle de la flotte. Dynamo utilise le routage conscient du KV pour suivre où se trouvent les blocs de cache, minimisant ainsi le besoin de recomputation. Cette approche est particulièrement bénéfique pour les charges de travail agentiques, qui impliquent souvent des invites système réutilisables, des schémas d'outils et des documents partagés. En équilibrant le chevauchement de préfixe de cache avec la charge de travail des travailleurs, Dynamo réduit les inefficacités associées aux données de cache mal placées ou expulsées.
Grâce à ces innovations, la stratégie de co-design de NVIDIA démontre comment une approche holistique de l'architecture GPU, des interconnexions et des logiciels peut considérablement améliorer les performances et l'efficacité des usines d'IA, maximisant ainsi la valeur de chaque octet de mémoire.