Le meilleur LLM pour les résumés de relevés de notes dépend de la durée de l’appel

AssemblyAI affirme qu’il n’existe pas de modèle unique et unique de grande taille pour résumer les transcriptions, arguant que le bon choix varie en termes de durée, de coût et de latence de l’appel. Dans un article publié le 28 octobre 2026, l’entreprise a indiqué que son Voice Standard Bench classe les modèles sur la sortie réelle de la reconnaissance vocale à travers des messages vocaux de 30 secondes, des appels de 2 minutes, des appels de support de 15 minutes et des réunions de 60 minutes.

Pourquoi la longueur du relevé de notes modifie le classement

AssemblyAI a indiqué que le résumé des transcriptions n’est pas la même chose que le résumé de documents car les entrées parlées sont disfluides, répétitives et souvent multi-interlocuteurs, et parce que la longueur des transcriptions peut varier de deux ordres de grandeur au sein d’un même produit. La société a indiqué que les entrées courtes peuvent être bien gérées par de nombreux modèles, tandis que la couverture et la fidélité deviennent plus importantes à mesure que les appels s’allongent.

Dans les messages vocaux de 30 secondes, AssemblyAI a indiqué que 41 des modèles 52 de son score de l’onglet Summarization 90 ou plus, les différences étant principalement dues à la rapidité, au prix et à savoir si le modèle allonge la réponse. À 15 minutes, il a indiqué que seuls 10 modèles obtiennent 90 ou plus, et à 60 minutes, l’écart entre les classements supérieurs et bas est le plus large.

Comment le banc est noté

Le Voice Standard Bench est open source et teste les modèles Gateway sur la synthèse, l’extraction d’informations, la correction de texte et le nettoyage de dictée, selon AssemblyAI. Pour la synthèse, chaque modèle reçoit la même consigne : écrire un résumé en prose simple qu’une personne occupée pourrait lire à la place de l’appel, couvrant les sujets abordés, puis les décisions, puis les actions à faire, en gardant la longueur à l’échelle de l’appel.

AssemblyAI a indiqué que chaque résultat est noté par deux juges du LLM, Claude Opus 5.5 et GPT-5.6 SOL, sur la fidélité, la couverture et la concision. La société a indiqué que le benchmark utilise dix transcriptions réelles par bucket de longueur, chacune dans un 15% de la longueur cible, et que les demandes d’erreur sont enregistrées mais exclues du score plutôt que comptées comme zéro.

La société a indiqué utiliser des juges au lieu de ROUGE ou BERTScore car les métriques de chevauchement des jetons peuvent récompenser la correspondance de formulation tout en manquant des erreurs factuelles, ce qui pose un problème particulier pour les transcriptions orales.

Choix publiés par longueur

AssemblyAI a listé différents meilleurs modèles selon la longueur des transcriptions. Pour les messages vocaux 30 secondes, il a désigné gpt-5.6-terra comme le modèle le plus performant avec un score de 100, nemotron-3-nano-30b-a3b comme l’option la moins coûteuse avec $0.0016 par heure d’audio et un score de 76 et qwen3.5-4b-32k- rapide comme le plus rapide à 0.28 seconde médiane avec un score de 76.

Pour les appels de 2 minutes, AssemblyAI a indiqué que Claude opus-5-5 mené avec un score de 99, tandis que nemotron-3-nano-30b-a3b était le choix le moins coûteux à $0.0016 par heure d’audio et qwen3.5-4b-32k- rapide était le plus rapide à la médiane de 0.60 secondes. Pour les appels de support de 15 minutes, il a indiqué que claude-opus-5-5 était à nouveau classé le plus haut à 97, avec nemotron-3-nano-30b-a3b coût le plus bas à $0.0013 par heure d’audio.

Lors des réunions de 60 minutes, AssemblyAI a indiqué que deepseek-v4.1-flash menait avec un score de 96, mais qu’il avait également enregistré 25 requêtes d’erreur sur ses 60 minutes. L’entreprise a indiqué que son temps de réponse médian à cette durée était de 73.3 secondes et que les scores suivants étaient claude-opus-5-5 et gpt-6-astra, tous deux à 95.

Coûts et compromis opérationnels

AssemblyAI a indiqué que l’économie de synthèse devrait être mesurée en coût par heure d’audio plutôt qu’en jeton, car les produits vocaux se vendent en heures et les modèles dépendent des jetons d’entrée, des jetons de sortie et, dans certains cas, des jetons de raisonnement cachés. Il a indiqué que la conversion peut entraîner de grands écarts de coût, même lorsque les différences de qualité sont inférieures à l’écart de prix.

Par exemple, AssemblyAI a indiqué que le meilleur notateur des appels de 2 minutes, Claude opus-5-5, coût un e environ $0.30 par heure d’audio, tandis que le nemotron-3 le moins cher -nano-30b-a3b coûte environ $0.0016 par heure d’audio. Il a indiqué qu’il s’agit d’un écart de qualité de 17 points à moins de 1% du prix.

Ce que la société dit de surveiller

AssemblyAI a indiqué que les modèles moins coûteux et plus rapides peuvent être compétitifs sur les entrées courtes, mais que le choix du modèle compte le plus pour les réunions plus longues où la couverture et la fiabilité deviennent plus importantes. Il a également indiqué que les utilisateurs devraient vérifier le score à côté des cartes les moins coûteuses et les plus rapides, car ces choix sont des options brutes sans plancher de qualité.

L’entreprise recommandait de passer des tours de haut-parleur plutôt qu’un mur de texte, de demander des devis ancrés lorsque nécessaire, et de segmenter et fusionner des résumés pour des appels de 60 minutes. Elle a également précisé que les utilisateurs peuvent tester des modèles via son API Gateway, compatible OpenAI et tarifée au prix catalogue du fournisseur avec 0% marge.

Par ailleurs, les récentes sorties de produits d’autres fournisseurs soulignent que le résumé des transcriptions reste un domaine actif de développement. OpenAI a déclaré le 6 octobre 2026 que ChatGPT prend désormais en charge les téléchargements audio pour la transcription, les résumés d’enregistrement et les questions sur le contenu audio, tandis qu’Anthropic a déclaré le 28 septembre 2026 que Claude Sonnet 5.5 a été conçu pour être plus rapide et moins coûteux que Sonnet 5. Ces versions ne sont pas les mêmes que les classements de benchmark d’AssemblyAI, mais elles montrent à quelle vitesse le paysage produit environnant évolue.

AssemblyAI a indiqué que la page des résultats en direct est la source de vérité et pourrait évoluer au fur et à mesure de l’évolution des modèles. Elle n’a pas fourni de recommandation universelle fixe, affirmant que le meilleur modèle dépend de la longueur des transcriptions et du compromis entre qualité, rapidité et coût.