AssemblyAI запускает стандартный голосовой лабораторный модуль для ранжирования 50+ LLM по реальным аудиозадачам

AssemblyAI выпустила Voice Standard Bench на 2026-10-13— публичном бенчмарке, который оценивает более 50 языковых моделей по задачам, обычно выполняемым после транскрипции речи в текст, согласно публикации компании в тот же день. Бенчмарк оценивает резюме, извлечение информации, коррекцию текста и диктование по четыре длине транскрипции — примерно 30 секунд, 2 минут, 15 минут и 60 минут — отчётность качества, времени отклика и стоимости за час аудио параллельно.

Тестируемые модели доступны через LLM Gateway от AssemblyAI, который, по словам компании, теперь поддерживает более 50 моделей с использованием тех же API-ключей, что и клиенты для своего сервиса Speech-to-Text. Каталог включает передовые модели от крупных поставщиков, а также открытые модели, размещённые на собственной инфраструктуре AssemblyAI, некоторые из которых, по словам компании, труднодоступные для размещения в других местах.

Методология и оценка

Согласно публикации в блоге 13 октября, Voice Standard Bench тестирует модели на реальных выходах из речи в текст, включая заполняющие слова, ложные старты и ошибки транскрипции, на типичной для производства длины. два моделей судей — Claude Opus 5.5 и GPT-5.6 SOL— оценивают каждый ответ по фиксированным рубрикам для каждой задачи, при этом метрики нормализуются до 0—100 шкалы. Задания диктовки оцениваются механически по известным корректным результатам без судейской модели. AssemblyAI сообщает, что исследователи из её команды провели сотни примерных баллов для уточнения подсказок.

Компания заявляет, что бенчмарк также отслеживает сбои форматов, отказы, тайм-ауты и уровень ошибок для каждой модели и комбинации задач. Модели, не проходившие проверку надёжности, отображаются в опубликованных графиках вместе с их оценками, но не включены в рекомендуемые варианты.

Лучшие игроки по задачам и приоритету оптимизации

Опубликованные результаты AssemblyAI по текущему запуску показывают, что разные модели лидируют в зависимости от задачи и цели оптимизации. Согласно публикации в октябре 13 года, для краткого содержания Claude Opus 5.5 получил наивысший балл при 98 качестве, тогда как GPT-6 Luna достиг 94 качества по самой низкой цене в пределах 8 баллов от высшего результата, а GLM-5.3 Flash показал 91 качество с минимальной задержкой. В извлечении информации Claude Opus 5 лидировал с 87 качеством, GPT-6 Luna с 86 качеством по самой низкой цене, а GPT-4.1 с 79 качеством при минимальной задержке.

В коррекции текста три модели OpenAI —GPT-5.6 SOL, GPT-6 Astra и GPT-6.1 SOL— разделили 91 качество на высшем уровне, тогда как открытая gemma-4— модель31b достигла 84 качества по самой низкой цене и GPT-4.1 обеспечивала 84 качество с минимальной задержкой. По диктовке Claude Opus 4.6 и Gemini 3.5 Flash разделили по 99 качеству: gemma-4—31b 97 по самой низкой цене и GPT-4.1 93 по наименьшей задержке, согласно опубликованным результатам компании.

По всем задачам с равным весом, GPT-6 Astra получила 92 по общему качеству, GPT-6 Luna достигла 90 качества по самой низкой цене, а GPT-4.1 показала 84 качество с минимальной задержкой, говорится в октябре 13 post.

Компромиссы по стоимости и скорости

Компания сообщает, что в текущем сезоне модель с наивысшими баллами стоит 55–65 раза дороже за час аудио, чем модель в пределах два уровней качества, за исключением часовых транскриптов, где премия сужается примерно до 5×. Согласно публикации в блоге, открытые модели редко выигрывали по стоимости; GPT-6 Luna в своей стандартной настройке рассуждения набрала в пределах один балла от лучшей открытой модели при каждой длине транскрипции и стоимости от 0.4 до 1.6 центов за час аудио, то есть открытые модели, которые её снижали, экономили доли цента, утратив не менее 10 баллов качества сверх два минут.

AssemblyAI утверждает, что открытые модели показали лучшие результаты по скорости для коротких транскриптов. На 30-секундных входах, таких как голосовые сообщения, gemma-4 31b отвечали менее чем за один секунду при 93 качестве по сравнению с 1.7 секундами GPT-6 Luna, а на звонках за два минуты отвечали за 1.5 секунды при 89 качестве против 2.4 секунд у GPT-6 Luna. Компания сообщает, что Qwen3.5 4B Fast была самой быстрой моделью на любой длине — до 15 минут. Однако, по мере того как транскрипты приближались к длине встречи, более крупные модели получили преимущество в качестве и разрыв в скорости сокращался, согласно публикации 13 октября.

Открытый фреймворк и инструменты тестирования

Voice Standard Bench доступен в виде программного обеспечения с открытым исходным кодом. AssemblyAI в октябре 13 года сообщает, что разработчики могут скачать код с GitHub, запустить его на собственных транскриптах и генерировать результаты приватных бенчмарков, используя те же задачи, рубрики и модели оценок, оцениваемые на основе собственных данных. Компания сообщает, что каждая модель в бенчмарке доступна через LLM Gateway с существующим ключом API AssemblyAI.

AssemblyAI также предлагает инструменты сравнения, которые не требуют кода, согласно публикации в блоге: режим сравнения Playground, который запускает один запрос с несколькими моделями и отображает ответы бок о бок; игровая площадка для преобразования речи в текст, которая отправляет расшифровки напрямую на модель LLM-шлюза; и ссылки «Try in Gateway» на странице результатов, которые открывают игровую площадку с заранее загруженной моделью и подсказкой задачи.

Компания отмечает в публикации, что результаты бенчмарков обновляются по мере запуска новых моделей на LLM Gateway, при этом каждый запуск датируется на странице результатов. AssemblyAI предупреждает, что её транскрипты могут отличаться от отдельных пользователей по акценту, доменной лексике, структуре запросов и ограничениям стоимости, и рекомендует использовать Voice Standard Bench как отправную точку для выявления двух или трёх кандидатных моделей для тестирования на проприетарных данных.

Источник: www.assemblyai.com.