Совместный дизайн NVIDIA повышает эффективность памяти и пропускную способность фабрики ИИ
NVIDIA представила стратегию совместного дизайна, направленную на максимизацию эффективности высокоскоростной памяти (HBM) на фабриках ИИ. Оптимизируя использование памяти, компания достигла значительных приростов пропускной способности, причем NVIDIA Vera Rubin NVL72 обеспечивает до 30x пропускной способности на мегаватт по сравнению с GB300 NVL72, несмотря на то, что обе GPU имеют одинаковую емкость 288 GB HBM. Это улучшение подчеркивает важность максимизации полезного труда, который выполняет каждый байт памяти, а не просто увеличения емкости.
NVFP4: Сжатие данных без ущерба для точности
Одной из ключевых инноваций, способствующих этим приростам, является NVFP4, формат с точностью 4 бит, который сочетает блочное и тензорное масштабирование для хранения большего объема информации в меньшем количестве байтов. NVFP4 уменьшает объем модели примерно на 3.5x по сравнению с FP16 и 1.8x по сравнению с FP8, освобождая память для критически важных задач, таких как увеличение емкости KV-кэша и поддержка больших партий. Бенчмарки, такие как AA-AgentPerf и MLPerf Endpoints, подтвердили способность NVFP4 обеспечивать до 4x пропускной способности FP8, при этом соблюдая строгие требования к точности. Кроме того, NVFP4 уменьшает объем KV-кэша на до 50%, что позволяет достичь более высоких уровней попадания в кэш и сниженного потребления полосы пропускания во время декодирования.
NVLink: Создание единого пула памяти
Еще одним критически важным компонентом подхода NVIDIA к совместному дизайну является домен масштабирования NVLink, который эффективно объединяет память между несколькими GPU. Например, в конфигурациях широкого параллелизма экспертов (Wide-EP) NVLink позволяет GPU делиться ресурсами памяти, reducing затраты на загрузку, связанные с моделями смешения экспертов (MoE). На GB200 NVL72 NVLink предоставляет 130 TB/s агрегированной пропускной способности, позволяя конфигурациям EP32 достигать до 1.8x выходных токенов в секунду на GPU по сравнению с конфигурациями EP8. Vera Rubin NVL72 расширяет этот потенциал с помощью 3.0 TB/s NVLink 6 пропускной способности и обновлений дескрипторов ускорителей тензоров памяти (TMA) в режиме реального времени, дополнительно оптимизируя использование памяти между стойками.
NVIDIA Dynamo: Оптимизация использования KV-кэша
Чтобы гарантировать эффективное повторное использование кэшированных данных, NVIDIA разработала Dynamo, распределенный уровень сервисов, который рассматривает KV-кэш как ресурс всей флотилии. Dynamo использует маршрутизацию, учитывающую KV, для отслеживания местоположения блоков кэша, минимизируя необходимость в повторных вычислениях. Этот подход особенно полезен для агентских рабочих нагрузок, которые часто включают повторно используемые системные подсказки, схемы инструментов и общие документы. Уравновешивая перекрытие кэшированных префиксов с нагрузкой работников, Dynamo снижает неэффективность, связанную с неверно размещенными или вытесненными данными кэша.
Благодаря этим инновациям стратегия совместного дизайна NVIDIA демонстрирует, как целостный подход к архитектуре GPU, взаимосвязям и программному обеспечению может значительно повысить производительность и эффективность фабрик ИИ, максимизируя ценность каждого байта памяти.