O blog NVIDIA detalha a velocidade do Tensor Core para potenciais interatômicos em ML
A NVIDIA afirmou que seus métodos de FP32 Tensor Core podem acelerar potenciais interatômicos de aprendizado de máquina sem retreinar ou alterar a arquitetura do modelo, mantendo o comportamento próximo a uma linha de base FP32 nas cargas de trabalho testadas, segundo um blog de desenvolvedores publicado em 29 de outubro de 2026.
Evidências e contexto
O post avalia o Point Edge Transformer, ou PET, um potencial interatômico de aprendizado de máquina baseado em transformador desenvolvido pelo Lab COSMO na EPFL. A NVIDIA afirmou que o PET é um caso de teste exigente porque grande parte de seu tempo de execução já está em multiplicações gerais otimizadas de matrizes, deixando margem limitada para otimizações futuras. A empresa comparou BF16x9 em GPUs Blackwell e TF32x3 em GPUs Ampere, medindo o desempenho da dinâmica molecular de ponta a ponta e kernel, bem como o comportamento em nível de trajetória.
Para o caminho BF16x9 no Blackwell, a NVIDIA disse que grandes GEMMs PET foram acelerados por 2.2x a 2.5x em uma carga de trabalho de 17,280átomos, enquanto os aumentos de velocidade de dinâmica molecular variavam de 1.2x a 1.4x em uma caixa de água de átomos de 192 e 1.4x para 1.7x no sistema de átomos de 17,280, dependendo se a estratégia cuBLAS era "eficiente" ou "ansiosa". A NVIDIA disse que o erro de BF16x9 estava abaixo do próprio nível de não-determinismo do PET.
Para TF32x3 sobre a Ampere, a NVIDIA disse que grandes GEMMs PET aceleraram cerca de 1.7x para 1.9x em uma GPU A100 Tensor Core. No pequeno checkpoint de 26 de milhões de parâmetros, TF32x3 acelerou a dinâmica molecular passo a 1.5x no sistema maior, segundo o post. A empresa também disse que um checkpoint de 255 de milhões de parâmetros atingiu um 1.4x aceleração no sistema de átomos 192, com um erro de força de 3.9 × 10⁻⁶ eV/Å.
A NVIDIA afirmou que os métodos de precisão são importantes porque as simulações atomísticas são sensíveis a pequenas diferenças numéricas que podem se acumular durante cálculos de forças e em muitos passos de tempo. Em seus testes, TF32x3 seguiu a curva suave de energia potencial FP32 CO/Pt(111), enquanto TF32 um-passe mostrou variação visível ponto a ponto. Em uma simulação NVE de 30 ps de uma caixa de água de 192átomos, a empresa disse que FP32 e TF32x3 mostraram flutuações de energia limitada comparáveis, enquanto TF32 um-passe se desviaram mais.
O post também descreveu um teste de relaxamento estrutural em uma placa de liga de Cantor de átomos de 539 usando o otimizador FIRE2 no Kit de Ferramentas NVIDIA ALCHEMI. A NVIDIA disse que FP32 convergiu em 218 etapas e TF32x3 em 218 para 222 etapas através de três réplicas, todas atingindo a tolerância de força de 1.0 × 10⁻³ eV/Å. Em contraste, a publicação dizia que TF32 um de passagem não convergiram em 500 passos em todas as três corridas, e ainda assim falharam após o limite ser dobrado para 1,000 passos.
O que os métodos fazem e onde diferem
De acordo com a NVIDIA, BF16x9 no Blackwell decompõe cada operando FP32 em componentes três BF16 e recombina nove produtos em FP32, com o cuBLAS capaz de habilitar o caminho através da variável de ambiente CUBLAS_EMULATE_SINGLE_PRECISION=1 ou configurações relacionadas. TF32x3 no Ampere divide cada operando FP32 em um componente TF32 líder e um componente residual, avalia três produtos vetorias e omite o termo residual por residual. A NVIDIA disse que a implementação TF32x3 usou o operador OpMultiplyAddFastF32 do CUTLASS e preservou FP32 entradas e saídas na interface do modelo.
A empresa afirmou que os ganhos de ponta a ponta dependem do tamanho do sistema e de quanto tempo de execução é gasto em GEMMs. Sistemas menores se beneficiam menos porque a sobrecarga de lançamento, processamento de vizinhos e operações de grafos representam uma parcela maior do tempo de execução, enquanto sistemas maiores expõem mais trabalho de GEMM. A NVIDIA também afirmou que o desempenho da TF32x3 depende da otimização do kernel para as formas matriciais e hardware do modelo, e que BF16x9 e TF32x3 devem ser validados em relação aos requisitos específicos de precisão e estabilidade da carga de trabalho.
O blog é um relatório de desempenho técnico, e não um lançamento de produto. Não fornece preços, impacto no mercado ou uma estimativa mais ampla de adoção, e seus resultados se limitam às cargas de trabalho PET e testes de validação descritos no post.