Copied


Xing 4 : Продвижение больших языковых моделей на отечественных чипах Ascend

Caroline Bishop   Nov 18, 2026 06:36 0 Min Read


Лаборатория искусственного интеллекта Xingchen представила Xing 4 , революционную серию больших языковых моделей (LLMs), которая расширяет наследие TeleChat. Исследование, опубликованное в 2026-11-17 на arXiv (2611.22115), подчеркивает значительные достижения в архитектуре модели и инфраструктуре обучения, специально адаптированной для отечественных чипов Ascend 910C .

Ключевые Технические Инновации

Xing 4 построен на архитектуре с 285 миллиардами параметров и обучен с использованием MindSpore HyperParallel, платформы, оптимизированной для распределенного обучения большого масштаба. Инфраструктура включает в себя топологически осведомленное гибридное разбросание, эффективное распределенное выполнение оптимизатора и привязку к центральному процессору с изоляцией ядра, чтобы минимизировать интерференцию в расписании. Эти оптимизации позволяют использовать карты Ascend 910C 8,192 , достигая эффективного предварительного обучения для задач с длинными последовательностями и управления памятью активации.

Архитектура модели балансирует разреженную активацию, проектирование внимания и спекулятивную декодировку для оптимизации вычислительной и памяти эффективности. Топология с совокупностью экспертов (MoE), в сочетании с легкими головками коррекции, улучшает производительность спекулятивной декодировки. Этот подход поддерживает широкий спектр задач рассуждения и агентного поведения, сохраняя стабильность исполнения в сценариях с длинным контекстом.

Достижения После Обучения

Для последующего обучения исследователи разработали TeleGym, унифицированную платформу для выполнения агентов. TeleGym интегрирует выполнение, оценку и построение траекторий с оптимизацией политики. Такие функции, как делегируемое асинхронное выполнение, ограниченное переобразование и частичное развертывание, позволяют платформе справляться с гетерогенными длительностями задач, сохраняя непрерывность траектории при обновлении политики.

Последствия для Развития Искусственного Интеллекта в Стране

Xing 4 представляет собой значительный шаг вперед в использовании отечественного оборудования для передовых приложений ИИ. Оптимизируя для NPUs Ascend, исследование предоставляет масштабируемую и эффективную основу для будущего развития LLM, особенно в сценариях, требующих сложного рассуждения и многоступенчатого планирования. Открытие доступа к MoE с 29 миллиардами параметров подчеркивает дальнейшую преданность проекта развитию сообщества ИИ.


Read More