Xing 4 : Avançando Modelos de Linguagem de Grande Escala em Chips Ascend Domésticos
Xingchen AGI Lab apresentou Xing 4 , uma série inovadora de modelos de linguagem de grande escala (LLMs) que estende a linhagem TeleChat. A pesquisa, publicada em 2026-11-17 , no arXiv (2611.22115), destaca avanços significativos na arquitetura do modelo e na infraestrutura de treinamento, especificamente adaptada para chips Ascend 910C domésticos.
Inovações Técnicas Principais
Xing 4 é construído em uma arquitetura de parâmetros 285 bilhões e treinado usando MindSpore HyperParallel, uma estrutura otimizada para treinamento distribuído em larga escala. A infraestrutura incorpora fragmentação híbrida consciente da topologia, execução de otimizador distribuído eficiente e afinidade de CPU com isolamento de núcleos para minimizar a interferência de agendamento. Essas otimizações permitem o uso de cartões Ascend 910C 8,192 , alcançando pré-treinamento eficiente para cargas de trabalho de sequências longas e gerenciamento de memória de ativação.
A arquitetura do modelo equilibra a ativação esparsa, o design de atenção e a decodificação especulativa para otimizar a eficiência computacional e de memória. Uma topologia de mistura de especialistas (MoE), combinada com cabeçotes de correção leves, melhora o desempenho da decodificação especulativa. Essa abordagem suporta uma ampla gama de tarefas de raciocínio e agênticas, mantendo a estabilidade de execução em cenários de longo contexto.
Avanços Pós-Treinamento
Para o pós-treinamento, os pesquisadores desenvolveram a TeleGym, uma plataforma unificada de execução de agentes. A TeleGym integra execução, avaliação e construção de trajetória com otimização de política. Recursos como execução assíncrona desagregada, amostragem limitada e rollout parcial permitem que a plataforma lide com durações de tarefas heterogêneas, mantendo a continuidade da trajetória durante as atualizações de política.
Implicações para o Desenvolvimento de IA Doméstica
Xing 4 representa um avanço significativo na utilização de hardware doméstico para aplicações de IA avançadas. Ao otimizar para NPUs Ascend, a pesquisa fornece uma base escalável e eficiente para o desenvolvimento futuro de LLMs, particularmente em cenários que requerem raciocínio complexo e planejamento em múltiplas etapas. A disponibilização de um membro MoE com 29 bilhões de parâmetros ressalta ainda mais o compromisso do projeto com o avanço da comunidade de IA.