Lila Sciences et Anyscale Réalisent un Entraînement de Token 1M avec GLM-5.3-Flash

Lila Sciences et Anyscale ont réussi à entraîner le modèle GLM-5.3-Flash sur des séquences allant jusqu'à 1 millions de tokens, ce qui représente une étape importante dans l'entraînement de l'IA à long contexte. La collaboration a utilisé SkyRL, une pile d'entraînement open-source, fonctionnant sur des GPUs NVIDIA 64 B200. Cet exploit représente un accroissement de 64 fois de la longueur de séquence par rapport à la capacité d'entraînement initiale et répond au besoin croissant de modèles d'IA capables de manipuler de vastes ensembles de données scientifiques.

Innovations Techniques et Optimisations

Le modèle GLM-5.3-Flash intègre une architecture hybride avec 34 couches de Kimi Delta Attention (attention linéaire) et 11 couches de DeepSeek Sparse Attention (DSA). Pour atteindre le contexte de 1M tokens, l'équipe a mis en œuvre plusieurs optimisations cruciales :

• Améliorations de l'Attention Éparse : Des ajustements aux formes de tenseur ont permis l'activation de noyaux épars, réduisant de moitié l'utilisation de la mémoire et assurant la compatibilité avec les couches DSA.
• Gestion de la Mémoire : Des techniques telles que la recomputation d'activation, le déchargement vers le CPU, et le parallélisme de contexte ont été appliquées de manière sélective pour équilibrer mémoire et débit. Par exemple, le déchargement a réduit la mémoire maximale à 256k tokens de 142 GiB à 98 GiB, bien qu'avec une augmentation de 21% du temps de pas.
• Ajustements de la Mixité des Experts (MoE) : Le routage de données réelles a révélé une distribution inégale des tokens entre les experts, avec le GPU le plus chargé traitant jusqu'à quatre fois la charge moyenne de tokens. Le traitement par blocs des couches MoE a résolu les goulets d'étranglement mémoire à 512k tokens.
• Planification de Mémoire Hôte : À 1M tokens, les entrées de couche déchargées nécessitaient environ 180 GB de mémoire CPU par GPU, nécessitant une mémoire fixe pour des transferts de données plus rapides et une libération soignée de la mémoire après chaque pas.

Ces optimisations ont permis une empreinte mémoire maximale de 144.5 GiB par GPU et un débit d'entraînement de 13,700 tokens par seconde à 1M tokens, avec un débit de pointe de 24,900 tokens par seconde atteint à 256k tokens.

Impact Scientifique et Validation

Le modèle a été affiné sur le génome humain, utilisant les chromosomes 1 et 2 pour la formation et le chromosome 22 pour l'évaluation. Après l'entraînement à 512k tokens par séquence, la perte maintenue s'est améliorée de 4.8% en 80 étapes, les gains les plus importants étant observés sur les tokens avec un contexte antérieur étendu. Cela démontre la capacité du modèle à tirer parti des dépendances à long terme, une capacité critique pour analyser des données scientifiques structurées telles que les séquences ADN.

La validation a inclus des exécutions d'apprentissage par renforcement et des comparaisons avec vLLM, atteignant un écart de probabilité logarithmique de 0.04–0.07 sur des longueurs de contexte allant de 128k à 1M tokens. Ces résultats confirment la justesse du processus d'entraînement tout en soulignant les défis pratiques de l'échelle des modèles à long contexte.

Contributions Open-Source

Tous les changements réalisés durant ce projet sont open source et intégrés dans SkyRL, avec plusieurs patchs en amont soumis à Megatron-LM. Le suivi de mise en œuvre, ouvert le 2026-10-14, documente l'ensemble du processus d'entraînement, y compris l'ajustement fin supervisé, l'apprentissage par renforcement et les benchmarks de mémoire.

Cette collaboration entre Lila Sciences et Anyscale souligne le potentiel des cadres open-source pour faire avancer la recherche en IA et relever des défis scientifiques complexes.