AMD Optimiert BERT-Inferenz mit EPYC-Prozessoren und ZenDNN

AMD hat Leistungsbenchmarks für die CPU-Inferenz mit niedriger Latenz auf seinen EPYC-Prozessoren veröffentlicht, wobei Optimierungen seiner ZenDNN-Bibliothek und des zentorch PyTorch-Plugins genutzt werden. Die Tests, die im 2026-09 durchgeführt wurden, konzentrierten sich auf die BERT-Base uncased-Inferenz mit der Implementierung von Hugging Face. Die Ergebnisse heben signifikante Latenzgewinne hervor, insbesondere bei Verwendung von BF16-Präzision, wobei Verbesserungen von bis zu 58.1% im Vergleich zu ONNX Runtime FP32 erreicht wurden.

Leistungsgewinne über Konfigurationen hinweg

Die Tests von AMD umspannten zwei Konfigurationen: ein 96-Kern EPYC 9654 Bare-Metal-System mit NPS4 und eine 80-Kern EPYC 9V74 virtuelle Maschine mit NPS5. In 42-Konfigurationen übertraf zentorch ONNX Runtime in 83% der Fälle, war in 10% gleich und schnitt in 7% im Bare-Metal-Setup schlechter ab. In der virtuellen Maschine erzielte zentorch ähnliche Ergebnisse, führte in 83%, war in 7% gleich und schnitt in 10% der Konfigurationen schlechter ab.

Für FP32-Präzision betrug der durchschnittliche Latenzgewinn 9.7% im Bare Metal und 9.1% in der virtuellen Maschine. BF16-Präzision lieferte deutlichere Verbesserungen, mit durchschnittlichen Gewinnen von 47.3% und 46.1%. Der höchste berichtete Latenzgewinn trat in der BF16-Konfiguration auf, die 58.1% in vier Instanzen, Sequenzlänge 128 und 16-Kerne erreichte.

Wichtige Optimierungstechniken

AMD schrieb die Leistungsverbesserungen mehreren wesentlichen Optimierungen in ZenDNN und zentorch zu:

• Fusion von Abfrage-, Schlüssel- und Wertprojektionen in eine einzige Matrixmultiplikation, was die Leistung einer einzelnen Instanz um etwa 7% für FP32 und 9% für BF16 verbessert.
• Gestufte Punktprodukt-Attention rund um die Cache-Hierarchie des Prozessors.
• Low-Overhead-Operator-API (LowOHA) mit AOCL-DLP-Kernen zur Reduzierung der wiederholten Erstellung primitiver Cluster.
• Fixierung von Inferenzinstanzen auf vollständige Core Complex Dies (CCDs), während der Lastgenerator außerhalb dieser Dies isoliert wird.

Diese Interventionen verringerten das Leistungsdefizit bei mehreren Instanzen bei kürzeren Sequenzlängen. Beispielsweise wurde bei einer Sequenzlänge von 32 das Defizit von 21% auf 7% unter ONNX Runtime reduziert.

Implikationen für KI-Arbeitslasten

Die Benchmarks zeigen AMDs Fokus auf die Optimierung der CPU-basierten Inferenz für KI-Arbeitslasten wie Suchranking, Klassifizierung und abrufgestützte Generierung von Nachrankungen. Obwohl die Ergebnisse anbieterseitig berichtet und auf der Medianlaufmethodik basieren, bieten sie wertvolle Einblicke in das Potenzial von EPYC-Prozessoren für Kleinstbatch-KI-Inferenzaufgaben.