Xing 4 : 国内Ascendチップ上での大規模言語モデルの進展
Xingchen AGI Labは、TeleChatの系譜を引き継ぐ画期的な大規模言語モデル(LLMs)のシリーズであるXing 4を導入しました。この研究は、2026-11-17に公開され、arXiv(2611.22115)に掲載され、国内のAscend 910Cチップ向けに特別に設計されたモデルアーキテクチャとトレーニングインフラの重要な進展を強調しています。
主要な技術革新
Xing 4は、285億のパラメータアーキテクチャを基に構築され、MindSpore HyperParallelを使用してトレーニングされています。これは、大規模な分散トレーニングに最適化されたフレームワークです。このインフラは、トポロジーに応じたハイブリッドシャーディング、効率的な分散オプティマイザーの実行、スケジューリング干渉を最小限に抑えるためのコアアイソレーションを備えたCPU親和性を組み込んでいます。これらの最適化により、8,192 Ascend 910Cカードの使用が可能になり、長いシーケンス作業負荷とアクティベーションメモリ管理に対する効率的な事前トレーニングが実現されます。
モデルアーキテクチャは、スパースアクティベーション、注意設計、推測デコーディングを調整し、計算効率とメモリ効率を最適化します。専門家の混合(MoE)トポロジーは、軽量な修正ヘッドと組み合わさって、推測デコーディングのパフォーマンスを向上させます。このアプローチは、長いコンテキストシナリオにおける実行の安定性を維持しながら、幅広い推論とエージェンティックタスクをサポートします。
トレーニング後の進展
トレーニング後、研究者たちはTeleGymを開発しました。これは、エージェント実行のための統合プラットフォームです。TeleGymは、ポリシー最適化を伴う実行、評価、および軌道構築を統合します。分散非同期実行、制約付きオーバーサンプリング、部分的ロールアウトなどの機能により、プラットフォームはポリシー更新間での軌道の連続性を維持しながら、異種のタスクの持続時間を管理できます。
国内AI開発への影響
Xing 4は、高度なAIアプリケーション用の国内ハードウェアを活用する上での重要なステップを表しています。Ascend NPUに最適化することで、この研究は、特に複雑な推論や多段階の計画を必要とするシナリオでの将来のLLM開発のためのスケーラブルで効率的な基盤を提供します。29億のパラメータを持つMoEメンバーのオープンソース化は、AIコミュニティを進めるというプロジェクトのコミットメントをさらに強調しています。