Copied


Voice Standard Bench ранжирует LLM для извлечения транскриптов

Terrill Dicki   Oct 28, 2026 16:38 0 Min Read


Voice Standard Bench опубликовал сравнение крупных языковых моделей для извлечения структурированных данных, специальное на транскрипт, утверждая, что разговорные звонки создают иные проблемы, чем PDF или веб-страницы. В 2026-10-28 результатах, приведённых в посте, топ-модель меняется в зависимости от длины транскрипта, в то время как валидность и обоснованность схемы остаются центральными для оценки оценки.

Доказательства и контекст

Пост, опубликованный AssemblyAI на 2026-10-27 и обозначенный как текущий по состоянию на 2026-10-28год, говорит, что бенчмарк оценивает более 50 моделей извлечения информации из выхода из речи в текст. Он фокусируется на фиксированной JSON-форме для участников, действий, решений и именованных сущностей, и требует, чтобы модели выводили только объект с каждым ключом. Если поле не имеет значения для отчета, бенчмарк использует пустой массив или строку «unspecificified» вместо догадки или отсутствующего ключа.

Согласно методологии, описанной в посте, оценка начинается с механической проверки схемы. Результаты, не возвращающие действительный JSON со всеми необходимыми ключами, получают худший балл по рубрике и также учитываются отдельно как сбои схемы. Валидные результаты затем оцениваются по обоснованности и полноте Claude Opus 5.5 и GPT-5.6 SOL, при этом два судей отслеживаются отдельно и затем объединяются. Бенчмарк проходит четыре длины транскриптов: 30 секунды, 2 минуты, 15 минуты и 60 минуты, используя 10 реальные транскрипты на кокет.

Опубликованные карточки показывают, что лучшая модель меняется с длиной. Для транскриптов 30-секунды gpt-5.6-SOL оценивает 94. Для транскриптов 2минуты немотрон-lightning-3p5-30b-a3b указывается на 100, но пост отмечает эти результаты как исключение, потому что модель, зафиксированная 15 ошибочные запросы в этом корзе, и ошибочные запросы исключаются из оценки. Медианное время ответа 2минуты составляет 18.1 секунд, а в посте отмечается, что оценка экстракции 30-секунды равна 26. Следующие по величине 2минуты — gpt-5.6-луна и gemini-4-аргон, оба на 91.

Для 15-минутных звонков в поддержку gpt-6-luna указана как самая производительная модель на 85, а самая дешёвая — nemotron-3—nano-30b-a3b при 49 , а самая быстрая — qwen3.5-4b-32k-fast при 33 с медианным временем отклика 1.49секунды. Для 60-минутных встреч gpt-6.1-SOL лидирует на 85, при этом nemotron-3-nano-30b-a3b самый низкозатратный вариант на 52 , а gemini-3.5-flash-lite — самый быстрый в 59 с медианным временем отклика в 2.86секунды.

В посте используются эти результаты, чтобы сделать более узкую мысль: длина стенограммы меняет проблему извлечения. В нём говорится, что короткие входные данные предпочитают небольшие, быстрые и дешёвые модели, тогда как длинные транскрипты придают больше значения обработке контекста и полноте. При 30 секунде 43 из 52 моделей в вкладке оценивают 80 и выше; при 60 минутах — только 9 модели. В том же посте говорится, что qwen3.5-4b-32k-быстрые оценки 80 30 секунды, но падают до 33 на 15 минутах, что иллюстрирует этот сдвиг.

Что говорит бенчмарк, за которым стоит следить

В статье выделяются четыре повторяющихся способа отказа при извлечении транскриптов: неправильно услышанные или выписанные числа, написанные имена и хеджирование, атрибуция говорящего и перекрёстные разговоры или дисфлуэнция. В статье утверждается, что модель, обученная создавать беглый текст, может придумывать правдоподобные, но неподкреплённые детали, что особенно проблематично, когда результат предназначен для заполнения последующих JSON-полей.

AssemblyAI также отмечает, что его продукт Gateway поддерживает структурированные выходы через response_format и JSON Schema для нескольких семейств моделей, и что вызов инструментов является альтернативой. В посте представлен рабочий процесс по извлекательию образцов, который сначала транскрибует аудио, а затем передаёт транскрипт в LLM с строгой схемой. Рекомендуется проверять выходы, повторять один раз при неудаче и использовать пустые поля или «неуточнённые» вместо того, чтобы заставлять модель угадывать.

Результаты бенчмарков представлены как ориентир для выбора модели, а не как гарантия для использования в производстве. В посте прямо говорится, что живая страница — источник правды и будет меняться по мере изменения моделей. Также отмечается, что живые карты бенчмарка не устанавливают минимум качества для самых дешёвых и быстрых вариантов, поэтому пользователям рекомендуется проверять рейтинг перед отправкой один из этих вариантов.

На момент публикации, указанной в исходном материале, следующий подтверждённый катализатор не был предоставлен.


Read More