Lila Sciences y Anyscale Logran Entrenamiento de Token 1M con GLM-5.3-Flash

Lila Sciences y Anyscale han entrenado con éxito el modelo GLM-5.3-Flash en secuencias de hasta 1 millones de tokens, un hito significativo en el entrenamiento de IA de contexto largo. La colaboración utilizó SkyRL, una pila de entrenamiento de código abierto, funcionando en GPUs NVIDIA 64 B200. Este logro representa un aumento de 64 veces en la longitud de las secuencias en comparación con la capacidad de entrenamiento inicial y aborda la creciente necesidad de modelos de IA capaces de manejar extensos conjuntos de datos científicos.

Innovaciones Técnicas y Optimizaciones

El modelo GLM-5.3-Flash incorpora una arquitectura híbrida con 34 capas de Kimi Delta Attention (atención lineal) y 11 capas de DeepSeek Sparse Attention (DSA). Para lograr el contexto de 1M tokens, el equipo implementó varias optimizaciones críticas:

• Mejoras de Atención Esparcida: Ajustes a las formas de tensor habilitaron núcleos esparcidos, reduciendo a la mitad el uso de memoria y asegurando la compatibilidad con las capas de DSA.
• Gestión de Memoria: Técnicas como recomputación de activación, descarga a CPU y paralelismo de contexto se aplicaron selectivamente para equilibrar memoria y rendimiento. Por ejemplo, la descarga redujo la memoria máxima en 256k tokens de 142 GiB a 98 GiB, aunque con un aumento de tiempo de paso de 21%.
• Ajustes de Mezcla de Expertos (MoE): El enrutamiento de datos reales reveló una distribución desigual de tokens entre expertos, con la GPU más ocupada manejando hasta cuatro veces la carga promedio de tokens. El procesamiento en bloques de capas de MoE resolvió los cuellos de botella de memoria a 512k tokens.
• Planificación de Memoria del Host: A 1M tokens, las entradas de capa descargadas requerían aproximadamente 180 GB de memoria CPU por GPU, haciendo necesario el uso de memoria fija para transferencias de datos más rápidas y la liberación cuidadosa de memoria después de cada paso.

Estas optimizaciones permitieron una huella de memoria máxima de 144.5 GiB por GPU y un rendimiento de entrenamiento de 13,700 tokens por segundo a 1M tokens, con un rendimiento máximo de 24,900 tokens por segundo alcanzado a 256k tokens.

Impacto Científico y Validación

El modelo fue ajustado en el genoma humano, utilizando los cromosomas 1 y 2 para el entrenamiento y el cromosoma 22 para la evaluación. Después del entrenamiento a 512k tokens por secuencia, la pérdida retenida mejoró en 4.8% en 80 pasos, observándose las mayores ganancias en tokens con un contexto previo extenso. Esto demuestra la capacidad del modelo para aprovechar las dependencias a largo plazo, una capacidad crítica para analizar datos científicos estructurados como secuencias de ADN.

La validación incluyó ejecuciones de aprendizaje por refuerzo y comparaciones con vLLM, logrando una diferencia de probabilidad logarítmica de 0.04–0.07 a lo largo de longitudes de contexto de 128k a 1M tokens. Estos resultados confirman la corrección del proceso de entrenamiento al tiempo que destacan los desafíos prácticos de escalar modelos de contexto largo.

Contribuciones de Código Abierto

Todos los cambios realizados durante este proyecto son de código abierto e integrados en SkyRL, con varios parches de upstream enviados a Megatron-LM. El rastreador de implementación, abierto en 2026-10-14, documenta todo el proceso de entrenamiento, incluyendo ajuste fino supervisado, aprendizaje por refuerzo y pruebas de memoria.

Esta colaboración entre Lila Sciences y Anyscale subraya el potencial de los marcos de código abierto para avanzar en la investigación de IA y abordar desafíos científicos complejos.