Xing 4 : 국내 Ascend 칩에서의 대규모 언어 모델 발전
Xingchen AGI Lab은 TeleChat 계통을 확장하는 획기적인 대규모 언어 모델(LLMs) 시리즈인 Xing 4를 도입했습니다. 2026-11-17에 발표된 이 연구는 arXiv(2611.22115)에 게재되어 있으며, 국내 Ascend 910C 칩에 맞춤화된 모델 아키텍처와 훈련 인프라에서의 중요한 발전을 강조하고 있습니다.
주요 기술 혁신
Xing 4는 285억 파라미터 아키텍처를 기반으로 구축되었으며, 대규모 분산 교육에 최적화된 프레임워크인 MindSpore HyperParallel을 사용하여 훈련되었습니다. 이 인프라는 토폴로지 인식 하이브리드 샤딩, 효율적인 분산 최적화기 실행, 스케줄링 간섭을 최소화하기 위한 CPU 친화성 및 코어 격리를 포함합니다. 이러한 최적화는 8,192 Ascend 910C 카드를 사용하여 긴 시퀀스 작업 부하와 활성화 메모리 관리를 위한 효율적인 사전 훈련을 가능하게 합니다.
모델 아키텍처는 스파스 활성화, 주의 설계 및 추측 디코딩의 균형을 유지하여 계산 및 메모리 효율성을 최적화합니다. 전문가 혼합(MoE) 토폴로지는 경량 수정 헤드와 결합하여 추측 디코딩 성능을 향상시킵니다. 이 접근법은 긴 컨텍스트 시나리오에서 실행 안정성을 유지하면서 폭넓은 추론 및 에이전틱 작업을 지원합니다.
훈련 후 발전
훈련 후 연구자들은 통합 에이전트 실행 플랫폼인 TeleGym을 개발했습니다. TeleGym은 실행, 평가 및 정책 최적화와 함께 궤적 구축을 통합합니다. 분산 비동기 실행, 제한된 오버샘플링 및 부분 롤아웃과 같은 기능 덕분에 플랫폼은 정책 업데이트 간 궤적 연속성을 유지하면서 이종 작업 지속 시간을 처리할 수 있습니다.
국내 AI 개발에 대한 영향
Xing 4는 고급 AI 애플리케이션에 대한 국내 하드웨어 활용에서 중요한 진전을 나타냅니다. Ascend NPU에 최적화함으로써 이 연구는 복잡한 추론 및 다단계 계획이 필요한 시나리오에서 미래 LLM 개발을 위한 확장 가능하고 효율적인 기반을 제공합니다. 29억 파라미터 MoE 멤버의 오픈 소스화는 AI 커뮤니티 발전에 대한 프로젝트의 의지를 더욱 강조합니다.