Copied


Xing 4 : Avanzando en Modelos de Lenguaje Grande sobre Chips Ascend Nacionales

Caroline Bishop   Nov 18, 2026 06:36 0 Min Read


Xingchen AGI Lab ha introducido Xing 4 , una serie innovadora de modelos de lenguaje grande (LLMs) que extiende la línea de TeleChat. La investigación, publicada el 2026-11-17 , en arXiv (2611.22115), destaca avances significativos en la arquitectura del modelo y la infraestructura de entrenamiento, específicamente adaptadas para chips Ascend 910C nacionales.

Innovaciones Técnicas Clave

Xing 4 está construido sobre una arquitectura de 285 mil millones de parámetros y se entrena utilizando MindSpore HyperParallel, un marco optimizado para el entrenamiento distribuido a gran escala. La infraestructura incorpora fragmentación híbrida consciente de la topología, ejecución de optimizadores distribuidos eficiente y afinidad de CPU con aislamiento de núcleos para minimizar la interferencia de programación. Estas optimizaciones permiten el uso de tarjetas Ascend 910C 8,192 , logrando un preentrenamiento eficiente para cargas de trabajo de secuencias largas y gestión de memoria de activación.

La arquitectura del modelo equilibra la activación dispersa, el diseño de atención y la decodificación especulativa para optimizar la eficiencia computacional y de memoria. Una topología de mezcla de expertos (MoE), combinada con cabezales de corrección ligeros, mejora el rendimiento de la decodificación especulativa. Este enfoque admite una amplia gama de tareas de razonamiento y agenticas, manteniendo la estabilidad de ejecución en escenarios de contexto largo.

Avances Post-entrenamiento

Para el post-entrenamiento, los investigadores desarrollaron TeleGym, una plataforma unificada de ejecución de agentes. TeleGym integra ejecución, evaluación y construcción de trayectorias con optimización de políticas. Funciones como la ejecución asíncrona desagregada, el muestreo limitado y el despliegue parcial permiten que la plataforma maneje duraciones de tarea heterogéneas mientras mantiene la continuidad de la trayectoria a lo largo de las actualizaciones de políticas.

Implicaciones para el Desarrollo de IA Nacional

Xing 4 representa un avance significativo en la utilización de hardware nacional para aplicaciones avanzadas de IA. Al optimizar para NPUs Ascend, la investigación proporciona una base escalable y eficiente para el desarrollo futuro de LLMs, particularmente en escenarios que requieren razonamiento complejo y planificación multipaso. La apertura de un MoE de 29 mil millones de parámetros subraya aún más el compromiso del proyecto con el avance de la comunidad de IA.


Read More