NVIDIA Co-Design verbessert die Speichereffizienz und den Durchsatz von KI-Fabriken

NVIDIA hat eine Co-Design-Strategie vorgestellt, die darauf abzielt, die Effizienz von High-Bandwidth Memory (HBM) in KI-Fabriken zu maximieren. Durch die Optimierung der Speichernutzung hat das Unternehmen erhebliche Durchsatzgewinne erzielt, wobei die NVIDIA Vera Rubin NVL72 bis zu 30x den Durchsatz pro Megawatt im Vergleich zum GB300 NVL72 liefert, obwohl beide GPUs die gleiche 288 GB HBM-Kapazität beibehalten. Diese Verbesserung hebt die Bedeutung hervor, die nützliche Arbeit jedes Bytes von Speicher leistet, anstatt lediglich die Kapazität zu erhöhen.

NVFP4: Daten komprimieren, ohne die Genauigkeit zu beeinträchtigen

Eine der Schlüsselinnovationen, die diese Gewinne vorantreiben, ist NVFP4, ein 4-Bit-Präzisionsformat, das Block- und Tensor-Skalierung kombiniert, um mehr Intelligenz in weniger Bytes zu speichern. NVFP4 reduziert den Modellfußabdruck um etwa 3.5x im Vergleich zu FP16 und 1.8x im Vergleich zu FP8, wodurch Speicher für kritische Aufgaben wie die Erhöhung der KV-Cache-Kapazität und die Unterstützung größerer Batches frei wird. Benchmarks wie AA-AgentPerf und MLPerf Endpoints haben die Fähigkeit von NVFP4 validiert, bis zu 4x den Durchsatz von FP8 zu liefern, während strenge Genauigkeitsanforderungen eingehalten werden. Darüber hinaus reduziert NVFP4 die Fußabdrücke des KV-Caches um bis zu 50%, was höhere Cachetrefferquoten und einen geringeren Bandbreitenverbrauch während der Dekodierung ermöglicht.

NVLink: Einen einheitlichen Poolspeicher schaffen

Ein weiteres wichtiges Element von NVIDIAs Co-Design-Ansatz ist der NVLink-Skalierungsbereich, der effektiv den Speicher über mehrere GPUs bündelt. In breiten Expertenparallelen (Wide-EP) Konfigurationen ermöglicht NVLink beispielsweise, dass GPUs Speicherressourcen teilen, wodurch die Gewichtskosten, die mit hybriden Experten (MoE) Modellen verbunden sind, reduziert werden. Auf GB200 NVL72 bietet NVLink 130 TB/s an aggregiertem Bandbreite, wodurch EP32 Konfigurationen in der Lage sind, bis zu 1.8x Ausgabetoken pro Sekunde und GPU im Vergleich zu EP8 Konfigurationen zu liefern. Die Vera Rubin NVL72 erweitert diese Fähigkeit um 3.0 TB/s an NVLink 6-Bandbreite und Inline-Updates von Speichertensorbeschleuniger (TMA), wodurch die Speicherauslastung über Racks hinweg weiter optimiert wird.

NVIDIA Dynamo: Optimierung der KV-Cache-Nutzung

Um sicherzustellen, dass zwischengespeicherte Daten effektiv wiederverwendet werden, hat NVIDIA Dynamo entwickelt, eine verteilte Servierschicht, die den KV-Cache als eine fleetenweite Ressource behandelt. Dynamo verwendet KV-bewusstes Routing, um zu verfolgen, wo Cache-Blöcke liegen, wodurch die Notwendigkeit für Neuberechnungen minimiert wird. Dieser Ansatz ist besonders vorteilhaft für agentische Arbeitslasten, die häufig wiederverwendbare System-Prompts, Werkzeug-Schemas und geteilte Dokumente umfassen. Durch das Ausbalancieren von Cache-Präfixüberlappung und Arbeitslast minimiert Dynamo die Ineffizienzen im Zusammenhang mit fehlplatzierten oder verworfenen Cache-Daten.

Durch diese Innovationen zeigt die Co-Design-Strategie von NVIDIA, wie ein ganzheitlicher Ansatz für GPU-Architektur, Interkonnektoren und Software die Leistung und Effizienz von KI-Fabriken erheblich verbessern kann, wodurch der Wert jedes Bytes von Speicher maximiert wird.