AMD ajoute la commutation dynamique LoRA à Ryzen IA Software 1.9

AMD affirme que son logiciel Ryzen IA permet désormais aux développeurs de compiler un modèle de base une seule fois et de changer dynamiquement les adaptateurs LoRA au moment de l’inférence sur le NPU, un changement que la société estime pouvoir réduire la duplication lors du déploiement de plusieurs modèles spécialisés sur un PC IA. Dans un article technique AMD publié 2026-11-02, la société a indiqué que la fonctionnalité est disponible dans la version 1.9 de Ryzen IA Software et est prise en charge pour certains modèles textuels, notamment Qwen2.5-3B, Qwen3-4B et Qwen3.5-4B.

Preuves et contexte

LoRA, ou Low-Rank Adaptation, ajuste finement un grand modèle de langage en entraînant de petits poids d’adaptateurs tout en maintenant le modèle de base figé. AMD a indiqué que la méthode de déploiement précédemment prise en charge sur Ryzen IA était la fusion statique, où les poids LoRA sont intégrés au modèle de base avant la compilation. La société a indiqué que cette approche fonctionne pour un seul adaptateur mais devient inefficace lorsque plusieurs adaptateurs spécialisés sont nécessaires, car chaque modèle fusionné duplique les mêmes poids de base.

Avec la LoRA dynamique, AMD a indiqué qu’un modèle de base quantifié reste résident sur le NPU tandis que les petits adaptateurs sont compilés comme des artefacts séparés et activés par nom. L’article précise que cela permet à une application de passer d’une spécialiste à un autre, comme un modèle axé sur SQL vers des modèles médicaux, sans recharger le modèle de base.

AMD a également averti que les adaptateurs doivent être entraînés contre le modèle de base déjà quantifié. Dans l’article, la société a indiqué que la base NPU est quantifiée pour INT4 dans son exemple, et que former un adaptateur LoRA à un modèle de précision complète avant de l’appliquer à la base quantifiée peut réduire l’avantage de l’adaptateur sur l’appareil.

La société décrivait un flux en quatre étapes : quantifier le modèle de base une fois avec AMD Quark en utilisant INT4 AWQ ; ajuster finement chaque adaptateur LoRA par rapport à cette base quantifiée figée et la sauvegarder non fusionnée ; compiler la base et chaque adaptateur pour le NPU avec un seul appel de model_generate par adaptateur ; et servir en chargeant la base une fois et en changeant d’adaptateur à l’exécution.

AMD a indiqué que son exemple utilisait une base Qwen3-4B INT4 avec deux adaptateurs : un adaptateur texte vers SQL entraîné sur Spider et un adaptateur médical à choix multiples entraîné sur MedMCQA. Sur le NPU Ryzen IA, AMD a rapporté que la précision d’exécution de Spider est passée de 47.5% à 63.0%, soit un gain de 15.5 points de pourcentage, tandis que la correspondance exacte de MedMCQA est passée de 42.0% à 53.0%, soit un gain de 11.0 points. L’article indiquait que les deux résultats étaient basés sur n=200 exemples.

AMD a indiqué qu’un exemplaire exécutable est disponible dans son dépôt d’exemples Ryzen IA Software et que la version de Ryzen IA Software introduit également 1.9 prise en charge du long contexte, l’importation de modèles INT4-quantifiés produits par entraînement conscient de la quantisation, ainsi que la prise en charge de modèles supplémentaires. L’article n’a pas divulgué une liste de modèles plus large au-delà des trois modèles textuels nommés ni fourni de comparaisons indépendantes de benchmarks en dehors de l’exemple cité.