Le blog NVIDIA détaille les accélérations des noyaux tensoriels pour les potentiels interatomiques en apprentissage automatique
NVIDIA a indiqué que ses méthodes de FP32 Tensor Core peuvent accélérer les potentiels interatomiques d’apprentissage automatique sans reconversion ni modification de l’architecture du modèle, tout en maintenant un comportement proche d’une base FP32 dans les charges de travail testées, selon un blog de développeur publié le 29 octobre 2026.
Preuves et contexte
L’article évalue le Point Edge Transformer, ou PET, un potentiel interatomique basé sur un transformateur basé sur l’apprentissage automatique développé par le Lab COSMO à l’EPFL. NVIDIA a indiqué que le PET est un cas de test exigeant car une grande partie de son temps d’exécution se trouve déjà dans des multiplications matricielles générales optimisées, laissant peu de marge pour une optimisation ultérieure. La société a comparé BF16x9 sur les GPU Blackwell et TF32x3 sur les GPU Ampere, mesurant la performance des dynamiques moléculaires de bout en bout et du noyau ainsi que le comportement au niveau de la trajectoire.
Pour le chemin BF16x9 sur Blackwell, NVIDIA a indiqué que les grands GEMM PET étaient accélérés par 2.2x à 2.5x sur une charge de travail 17,280 atomes, tandis que les accélérations en phase de dynamique moléculaire variaient de 1.2x à 1.4x sur une boîte d’eau à atomes de 192 et 1.4x à 1.7x sur le système à atomes 17,280, selon que la stratégie cuBLAS était « performante » ou « enthousiaste ». NVIDIA a indiqué que l’erreur de BF16x9 était inférieure au niveau de non-déterminisme propre à PET.
Pour TF32x3 sur Ampere, NVIDIA a indiqué que les grands GEMM PET accéléraient d’environ 1.7x à 1.9x sur un GPU à cœur tensorial A100 . Dans le petit point de contrôle de 26 millions de paramètres, TF32x3 accéléré la dynamique moléculaire étape par 1.5x sur le système plus large, selon le post. La société a également indiqué qu’un point de contrôle de 255 millions de paramètres atteignait un 1.4x accélération sur le système à atomes 192, avec une erreur de force de 3.9 × 10⁻⁶ eV/Å.
NVIDIA a déclaré que les méthodes de précision étaient importantes car les simulations atomistiques sont sensibles aux petites différences numériques qui peuvent s’accumuler lors des calculs de force et sur de nombreux pas de temps. Dans ses tests, TF32x3 suivi la courbe potentielle-énergie FP32 CO/Pt(111), tandis que TF32 passage un montré une variation visible point à point. Dans une simulation NVE de 30 ps d’une boîte d’eau atomique de 192, la société a indiqué que FP32 et TF32x3 montraient des fluctuations d’énergie bornée comparables, tandis que TF32 un passage dérivaient davantage.
L’article décrivait également un test de relaxation structurelle sur une plaque d’alliage de Cantor en atomes de 539 utilisant l’optimiseur FIRE2 dans la boîte à outils NVIDIA ALCHEMI. NVIDIA a indiqué que FP32 convergeaient en 218 étapes et TF32x3 en 218 pour 222 étapes à travers trois répliques, atteignant toutes la tolérance 1.0 × 10⁻³ eV/Å. En revanche, le billet indiquait que TF32 un pas réussi à converger en moins de 500 pas sur trois passages, et ont quand même échoué après que la limite ait été doublée à 1,000 étapes.
À quoi servent les méthodes et en quoi elles diffèrent
Selon NVIDIA, BF16x9 sur Blackwell décompose chaque opérande FP32 en composants trois BF16 et recombine neuf produits dans FP32, cuBLAS pouvant activer le chemin via la variable d’environnement CUBLAS_EMULATE_SINGLE_PRECISION=1 ou les paramètres associés. TF32x3 sur Ampere divise chaque opérande FP32 en un composant TF32 principal et un composant résiduel, évalue trois produits croisés et omet le terme résidu par résiduel. NVIDIA a indiqué que l’implémentation TF32x3 utilisait l’opérateur OpMultiplyAddFastF32 de CUTLASS et préservait FP32 entrées et sorties à l’interface du modèle.
L’entreprise a indiqué que les gains de bout en bout dépendent de la taille du système et du temps d’exécution consacré aux GEMM. Les systèmes plus petits en bénéficient moins car la surcharge de lancement, le traitement des voisins et les opérations graphiques représentent une part plus importante du temps d’exécution, tandis que les systèmes plus grands exposent plus de travail GEMM. NVIDIA a également indiqué que les performances de TF32x3 dépendent de l’ajustement du noyau pour les formes matricielles et le matériel du modèle, et que les BF16x9 et TF32x3 doivent être validés selon les exigences spécifiques à la charge de travail et à la stabilité.
Le blog est un rapport de performance technique plutôt qu’un lancement de produit. Il ne fournit ni prix, ni impact sur le marché, ni estimation plus large de l’adoption, et ses résultats se limitent aux charges de travail PET et aux tests de validation décrits dans le post.