Copied


Xing 4 : Fortschritt von Großen Sprachmodellen auf Inländischen Ascend Chips

Caroline Bishop   Nov 18, 2026 06:36 0 Min Read


Das Xingchen AGI Labor hat Xing 4 eingeführt, eine bahnbrechende Serie von großen Sprachmodellen (LLMs), die die TeleChat-Linie fortführt. Die Forschung, veröffentlicht am 2026-11-17 , auf arXiv (2611.22115), hebt signifikante Fortschritte in der Modellarchitektur und der Trainingsinfrastruktur hervor, die speziell auf inländische Ascend 910C Chips zugeschnitten sind.

Schlüsseltechnische Innovationen

Xing 4 basiert auf einer Architektur mit 285 Milliarden Parametern und wurde unter Verwendung von MindSpore HyperParallel trainiert, einem für großflächiges verteiltes Training optimierten Framework. Die Infrastruktur umfasst topologiebewusste hybride Shardung, effiziente Ausführung verteilter Optimierer und CPU-Affinität mit Kernisolierung, um die Planungsinterferenzen zu minimieren. Diese Optimierungen ermöglichen den Einsatz von 8,192 Ascend 910C Karten, was ein effizientes Vortraining für Langsequenzlasten und das Aktivierungsspeicher-Management erreicht.

Die Modellarchitektur balanciert spärliche Aktivierung, Aufmerksamkeitsdesign und spekulative Dekodierung, um die Rechen- und Speichereffizienz zu optimieren. Eine Mischung-aus-Experten (MoE) Topologie, kombiniert mit leichten Korrekturköpfen, verbessert die Leistung der spekulativen Dekodierung. Dieser Ansatz unterstützt ein breites Spektrum an Denk- und agentischen Aufgaben, während die Ausführungsstabilität in langen Kontext-Szenarien gewahrt bleibt.

Nachtraining Fortschritte

Für das Nachtraining haben die Forscher TeleGym entwickelt, eine einheitliche Agentenausführungsplattform. TeleGym integriert Ausführung, Bewertung und Trajektorienkonstruktion mit Politikoptimierung. Funktionen wie disaggregierte asynchrone Ausführung, beschränktes Oversampling und Teilrollouts ermöglichen es der Plattform, heterogene Aufgabendauern zu bewältigen und dabei die Kontinuität der Trajektorie über Politikupdates hinweg aufrechtzuerhalten.

Implikationen für die inländische KI-Entwicklung

Xing 4 stellt einen bedeutenden Fortschritt dar, inländische Hardware für fortschrittliche KI-Anwendungen zu nutzen. Durch die Optimierung für Ascend NPUs bietet die Forschung eine skalierbare und effiziente Grundlage für die zukünftige LLM-Entwicklung, insbesondere in Szenarien, die komplexes Denken und mehrstufige Planung erfordern. Die Open-Source-Veröffentlichung eines 29 Milliarden-Parameter MoE-Mitglieds unterstreicht das Engagement des Projekts, die KI-Community voranzubringen.


Read More