Kimi K3.1 Pro de Moonshot AI déployé sur des GPU AMD Instinct MI355X
Moonshot AI a annoncé le déploiement de son dernier modèle d'IA multimodale, Kimi K3.1 Pro, sur des GPU AMD Instinct MI355X. Le modèle, qui possède 2.8 billions de paramètres totaux et 104 milliards de paramètres activés, est conçu pour traiter des tâches d'IA complexes avec une fenêtre de contexte d'un million de tokens. Ce déploiement tire parti du moteur d'inférence ATOM d'AMD et de vLLM pour optimiser les performances et la scalabilité.
Caractéristiques clés de Kimi K3.1 Pro
Kimi K3.1 Pro conserve l'architecture hybride de son prédécesseur, Kimi K3, avec des couches 69 Kimi Delta Attention (KDA) et des couches d'attention latentes 24. Il introduit un indexeur sparse dans chaque couche d'attention latente, permettant la sélection de 2,048 tokens de contexte historique par requête. Le modèle opère avec une architecture de mélange d'experts 896, où 16 experts sont activés par token, et utilise MXFP4 un entraînement conscient de la quantification pour l'efficacité.
Le modèle prend en charge les entrées de texte et d'image, avec un encodeur de vision MoonViT-V2 composé de 401 millions de paramètres. De plus, Kimi K3.1 Pro comprend un brouillon de décodage spéculatif DSpark, qui accélére la génération de tokens en proposant des tokens de brouillon parallèlement au processus de décodage principal.
Déploiement sur des GPU AMD Instinct MI355X
Le moteur d'inférence ATOM d'AMD propulse Kimi K3.1 Pro sur huit GPUs MI355X, utilisant le parallélisme tensoriel pour une exécution efficace. Le point de contrôle MXFP4 publié est chargé sans conversion, et le système prend en charge à la fois les charges de travail longues et interactives à faible latence. Au démarrage, l'utilisation de la mémoire atteint environ 199 Go par GPU sur les 288 Go disponibles, permettant qu'une seule requête d'un million de tokens puisse s'adapter sur un nœud.
Les optimisations ATOM incluent FP8 re-quantification pour les couches d'attention et denses, la gestion des métadonnées d'attention sparse, et le parallélisme de déchiffrement de contexte pour des requêtes longues concurrentes. Pendant ce temps, le chemin de déchiffrement de vLLM réduit la latence de génération de tokens de 27%, selon les benchmarks internes d'AMD.
Performance et précision
Kimi K3.1 Pro a atteint une haute précision lors des benchmarks Kimi Vendor Verifier de Moonshot AI, obtenant 0.871 sur OCRBench et 0.991 sur la validation du schéma JSON d'appel d'outil au maximum de l'effort de raisonnement. Ces résultats mettent en évidence la robustesse de la performance du modèle dans le traitement de raisonnements complexes et de tâches multimodales.
Le déploiement de Kimi K3.1 Pro par Moonshot AI sur des GPU AMD Instinct souligne l'évolutivité et l'efficacité de l'écosystème matériel et logiciel d'AMD pour l'IA, ouvrant la voie à des applications avancées d'IA dans la recherche et l'industrie.