Copied


星 4:在国内 Ascend 芯片上推动大型语言模型的发展

realtime news   Nov 18, 2026 06:54 1 Min Read


星辰 AGI 实验室介绍了星 4,一系列开创性的语言模型(LLMs),延续了 TeleChat 系列。研究于 2026-11-17 在 arXiv 上发布(2611.22115),突出显示了在模型架构和训练基础设施方面的重大进展,特别是针对国内 Ascend 910C 芯片优化。

关键技术创新

星 4 建立在 285 亿参数架构之上,并使用 MindSpore HyperParallel 进行训练,这是一个为大规模分布式训练优化的框架。基础设施集成了拓扑感知的混合分片、高效的分布式优化器执行和 CPU 亲和性,核心隔离以最小化调度干扰。这些优化使得使用 8,192 Ascend 910C 卡成为可能,实现了对长序列工作负载和激活内存管理的高效预训练。

模型架构在稀疏激活、注意力设计和推测解码之间取得了平衡,以优化计算和内存效率。结合轻量级修正头的混合专家(MoE)拓扑增强了推测解码性能。这种方法支持广泛的推理和智能任务,同时在长上下文场景下维持执行稳定性。

后训练进展

在后训练阶段,研究人员开发了 TeleGym,一个统一的智能体执行平台。TeleGym 集成了执行、评估和轨迹构建与策略优化。去聚合的异步执行、受限过采样和部分展开等功能使该平台能够处理异构任务时间,同时在策略更新中保持轨迹连续性。

对国内 AI 发展的影响

星 4 代表了在利用国内硬件进行高级 AI 应用方面的一大进步。通过针对 Ascend NPU 的优化,研究为未来 LLM 的发展提供了一个可扩展且高效的基础,特别是在需要复杂推理和多步骤规划的场景中。开源 29 亿参数的 MoE 成员进一步强调了该项目推动 AI 社区发展的承诺。


Read More