Lila Sciences와 Anyscale, GLM-5.3-플래시를 통한 1M-토큰 훈련 달성

Lila Sciences와 Anyscale은 1백만 토큰까지의 시퀀스에서 GLM-5.3-플래시 모델을 성공적으로 훈련시켰습니다. 이는 긴 맥락 AI 훈련의 중요한 이정표입니다. 이 협업은 64 NVIDIA B200 GPU에서 실행되는 오픈 소스 훈련 스택인 SkyRL을 활용했습니다. 이 성과는 초기 훈련 능력에 비해 시퀀스 길이를 64배 증가시키며, 광범위한 과학 데이터 세트를 처리할 수 있는 AI 모델에 대한 증가하는 필요성을 해결합니다.

기술 혁신과 최적화

GLM-5.3-플래시 모델은 34층의 Kimi Delta Attention(선형 주의)과 11층의 DeepSeek Sparse Attention(DSA)을 통합한 하이브리드 아키텍처를 채택하고 있습니다. 1M-토큰 컨텍스트를 달성하기 위해 팀은 몇 가지 중요한 최적화를 구현했습니다：

• 희소 주의 개선: 텐서 모양 조정을 통해 희소 커널을 사용할 수 있게 되어 메모리 사용량이 절반으로 줄어들고 DSA층과의 호환성이 확보되었습니다.
• 메모리 관리: 활성화 재계산, CPU 오프로드 및 컨텍스트 병렬 처리와 같은 기술이 선택적으로 적용되어 메모리와 처리량의 균형을 유지하도록 하였습니다. 예를 들어, 오프로드를 통해 256k토큰에서 최대 142 GiB에서 98 GiB로 피크 메모리가 줄어들었지만, 스텝 시간이 21% 증가하였습니다.
• 전문가 혼합(MoE) 조정: 실제 데이터 라우팅을 통해 전문가 간의 불균형한 토큰 분배가 드러났고, 가장 바쁜 GPU는 평균 토큰 부하의 최대 네 배를 처리했습니다. MoE층의 청크 프로세싱은 512k토큰에서 메모리 병목 현상을 해결했습니다.
• 호스트 메모리 계획: 1M 토큰에서 오프로드된 층 입력의 경우 GPU당 약 180 GB의 CPU 메모리가 필요하며, 데이터 전송을 가속화하기 위해 핀 메모리가 필요하고 각 스텝 후에 신중한 메모리 해제가 요구되었습니다.

이 최적화 덕분에 GPU당 피크 메모리 사용량은 144.5 GiB로, 1M 토큰에서의 훈련 처리량은 13,700 토큰/초에 도달하였고, 256k 토큰에서 피크 처리량은 24,900 토큰/초에 도달하였습니다.

과학적 영향과 검증

모델은 인간 유전체에 대해 파인 튜닝되었으며, 훈련용으로 1 및 2 염색체를 사용하고 평가를 위해 22 염색체가 사용되었습니다. 512k 토큰의 시퀀스에서 훈련을 마친 후, 홀드 아웃 손실이 4.8%로 개선되었으며, 80 스텝에서 광범위한 선행 문맥을 가진 토큰에서 가장 큰 이득이 관찰되었습니다. 이는 모델이 긴 거리 의존성을 활용할 수 있는 능력을 보여주며, DNA 시퀀스와 같은 구조화된 과학 데이터를 분석하는 데 있어 중요한 능력입니다.

검증에는 강화 학습 실행 및 vLLM과의 비교가 포함되어 있으며, 128k부터 1M 토큰까지의 컨텍스트 길이에서 0.04–0.07의 로그 확률 차이를 달성했습니다. 이 결과는 훈련 과정의 정확성을 확인하면서 긴 맥락 모델을 확장하는 데 있어 실질적인 도전을 강조합니다.

오픈 소스 기여

이 프로젝트 동안 수행된 모든 변경 사항은 오픈 소스이며, SkyRL에 통합되었고, 몇 가지 업스트림 패치가 Megatron-LM에 제출되었습니다. 2026-10-14에 개방된 구현 추적기는 감독된 파인 튜닝, 강화 학습 및 메모리 벤치마크를 포함한 전체 훈련 프로세스를 문서화하고 있습니다.

Lila Sciences와 Anyscale 간의 이 협업은 오픈 소스 프레임워크가 AI 연구를 발전시키고 복잡한 과학적 문제를 해결할 수 있는 잠재력을 강조합니다.