Copied


Xing 4 : Avancer les modèles de langage de grande taille sur des puces Ascend domestiques

Caroline Bishop   Nov 18, 2026 06:36 0 Min Read


Xingchen AGI Lab a introduit Xing 4 , une série révolutionnaire de modèles de langage de grande taille (LLMs) qui prolonge la lignée TeleChat. La recherche, publiée le 2026-11-17 , sur arXiv (2611.22115), met en évidence des avancées significatives dans l'architecture des modèles et l'infrastructure de formation, spécialement conçues pour les puces domestiques Ascend 910C .

Principales innovations techniques

Xing 4 est construit sur une architecture de 285 milliards de paramètres et formé à l'aide de MindSpore HyperParallel, un cadre optimisé pour la formation distribuée à grande échelle. L'infrastructure intègre un partitionnement hybride conscient de la topologie, une exécution optimisée distribuée efficace et une affinité CPU avec isolation des cœurs pour minimiser les interférences de planning. Ces optimisations permettent l'utilisation de cartes Ascend 910C 8,192 , réalisant un pré-entraînement efficace pour les charges de travail de longue séquence et la gestion de la mémoire d'activation.

L'architecture du modèle équilibre l'activation sparse, la conception d'attention et le décodage spéculatif pour optimiser l'efficacité computationnelle et de la mémoire. Une topologie de mélange d'experts (MoE), combinée à des têtes de correction légères, améliore les performances de décodage spéculatif. Cette approche prend en charge une large gamme de tâches de raisonnement et d'agentic tout en maintenant la stabilité d'exécution dans des scénarios à long contexte.

Avancées post-formation

Pour la post-formation, les chercheurs ont développé TeleGym, une plateforme unifiée d'exécution d'agents. TeleGym intègre l'exécution, l'évaluation et la construction de trajectoires avec optimisation de politique. Des fonctionnalités telles que l'exécution asynchrone désagrégée, l'oversampling contraint et le déploiement partiel permettent à la plateforme de gérer des durées de tâches hétérogènes tout en maintenant la continuité des trajectoires lors des mises à jour de politique.

Implications pour le développement de l'IA domestique

Xing 4 représente une avancée significative dans l'utilisation du matériel domestique pour des applications d'IA avancées. En optimisant pour les NPU Ascend, la recherche fournit une base évolutive et efficace pour le développement futur des LLM, en particulier dans les scénarios nécessitant un raisonnement complexe et une planification multi-étapes. L'open-sourcing d'un membre MoE de 29 milliards de paramètres souligne davantage l'engagement du projet à faire progresser la communauté IA.


Read More