El Co-Diseño de NVIDIA Mejora la Eficiencia de la Memoria y el Rendimiento de las Fábricas de IA

NVIDIA ha presentado una estrategia de co-diseño destinada a maximizar la eficiencia de la memoria de alto ancho de banda (HBM) en fábricas de IA. Al optimizar cómo se utiliza la memoria, la empresa ha logrado ganancias de rendimiento significativas, con la NVIDIA Vera Rubin NVL72 ofreciendo hasta 30x el rendimiento por megavatio en comparación con el GB300 NVL72, a pesar de que ambas GPUs mantienen la misma capacidad de HBM de 288 GB. Esta mejora destaca la importancia de maximizar el trabajo útil que cada byte de memoria realiza, en lugar de simplemente aumentar la capacidad.

NVFP4: Comprimir Datos Sin Comprometer la Precisión

Una de las innovaciones clave que impulsan estas ganancias es NVFP4, un formato de precisión de 4 bits que combina escalado a nivel de bloque y tensor para almacenar más inteligencia en menos bytes. NVFP4 reduce la huella del modelo en aproximadamente 3.5x en comparación con FP16 y 1.8x en comparación con FP8, liberando memoria para tareas críticas como aumentar la capacidad de KV-cache y soportar lotes más grandes. Puntos de referencia como AA-AgentPerf y MLPerf Endpoints han validado la capacidad de NVFP4 para ofrecer hasta 4x el rendimiento de FP8 mientras mantiene estrictos requisitos de precisión. Además, NVFP4 reduce la huella de la caché de KV en hasta 50%, lo que permite mayores tasas de aciertos en caché y un menor consumo de ancho de banda durante la decodificación.

NVLink: Creando un Pool de Memoria Unificada

Otro componente crítico del enfoque de co-diseño de NVIDIA es el dominio de escalado NVLink, que agrupa efectivamente la memoria entre múltiples GPUs. Por ejemplo, en configuraciones de paralelismo experto amplio (Wide-EP), NVLink permite que las GPUs compartan recursos de memoria, reduciendo los costos de carga asociados con modelos de mezcla de expertos (MoE). En GB200 NVL72, NVLink proporciona 130 TB/s de ancho de banda agregado, permitiendo que las configuraciones EP32 ofrezcan hasta 1.8x tokens de salida por segundo por GPU en comparación con configuraciones EP8. La Vera Rubin NVL72 amplía esta capacidad con 3.0 TB/s de ancho de banda NVLink 6 y actualizaciones de descriptores de tensor de memoria aceleradora en línea (TMA), optimizando aún más la utilización de memoria entre racks.

NVIDIA Dynamo: Optimizando la Utilización de la Caché KV

Para asegurar que los datos en caché se reutilicen eficazmente, NVIDIA ha desarrollado Dynamo, una capa de servicio distribuido que trata la caché KV como un recurso a nivel de flota. Dynamo emplea enrutamiento consciente de KV para rastrear dónde residen los bloques de caché, minimizando la necesidad de recomputación. Este enfoque es particularmente beneficioso para las cargas de trabajo agenticas, que a menudo implican prompts de sistema reutilizables, esquemas de herramientas y documentos compartidos. Al equilibrar la superposición de prefijos en caché con la carga de trabajo del trabajador, Dynamo reduce las ineficiencias asociadas con datos de caché mal colocados o expulsados.

A través de estas innovaciones, la estrategia de co-diseño de NVIDIA demuestra cómo un enfoque holístico hacia la arquitectura de GPUs, interconexiones y software puede mejorar significativamente el rendimiento y la eficiencia de las fábricas de IA, maximizando el valor de cada byte de memoria.