Copied


Voice Standard Bench 对转录提取的大型语言模型进行排名

realtime news   Oct 28, 2026 17:11 1 Min Read


Voice Standard Bench发布了一份针对结构化数据提取大型语言模型的逐字稿比较,认为语音通话与PDF或网页存在不同的问题。在文章引用的 2026-10-28 结果中,顶尖模型的转录长度变化,而模式效度和基础性仍是评分的核心。

证据与背景

该文章由AssemblyAI于 2026-10-27 年发布,标注为截至 2026-10-28年的最新状态,指出基准测试评估了超过 50 个从语音转文本输出中提取信息的模型。它专注于固定的JSON形状,用于参与者、动作项、决策和命名实体,并且要求模型只输出对象,且所有键都存在。如果字段没有报告内容,基准测试会使用空数组或字符串“未指定”,而不是猜测或缺失键。

根据帖子中描述的方法,评分始于机械模式检查。未能返回有效JSON及所有必要键的输出会获得最差评分,并单独计入模式失败。有效输出随后由Claude Opus 5.5和GPT-5.6 SOL根据其基础性和完整性进行评判,二评委分别跟踪后合并。基准测试以四个转录长度运行:30秒、2分钟、15分钟和60分钟,每桶使用10个真实转录。

已发布的卡片显示,最佳模型随长度变化。对于 30秒的转录, gpt-5.6-SOL 得分 94。对于 2分钟的转录,nemotron-lightning-3p5-30b-a3b 列为 100,但帖子将该结果标记为异常值,因为模型记录了该桶中 15 错误请求,错误请求被排除在评分之外。其 2分钟中位响应时间为 18.1 秒,帖子注明其 30秒提取分数为 26。第二高的 2分钟得分是 gpt-5.6-luna和 gemini-4-argon,均为 91。

对于15分钟的支持电话,gpt-6-luna被列为85时性能最高的型号,而最便宜的入门型号是49时的nemotron-3-nano-30b-a3b,最快的是33时的qwen3.5-4b-32k-fast,中位响应时间为1.49秒。对于60分钟的会议,gpt-6.1-SOL 在 85领先,nemotron-3-nano-30b-a3b 52 的最低成本选项,gemini-3.5-flash-lite 在 59 时最快,中位响应时间为2.86秒。

文章利用这些结果来表达一个更狭窄的观点:转录长度改变了提取问题。它说,短输入更有利于小巧、快速、廉价的模型,而较长的转录则更重视上下文处理和完整性。在30秒时,标签表上的52模型中有43得分80或更高;在60分钟时,只有9个模型得分。同一篇文章指出,qwen3.5-4b-32k-fast分数在30秒时80,但在15分钟时降至33,说明了这一变化。

基准测试建议注意的

文章指出了转录提取中反复出现的四种失败模式:数字听错或拼写错误、拼写错误的名字和混淆、说话者归属,以及串联或不流畅。文章认为,训练出流畅文本的模型可能会虚构合理但缺乏支持的细节,尤其当输出是填充下游JSON字段时,问题尤为严重。

AssemblyAI还指出,其Gateway产品支持多个模型族的response_format和JSON模式结构化输出,工具调用是一个替代方案。文章中包含一个示例提取流程,先转录音频,然后将转录传递给具有严格模式的LLM。建议验证输出,失败时重试一次,使用空字段或“未指定”字段,而非强制模型猜测。

基准测试结果作为型号选择的指导,而非生产使用的保证。帖子明确表示,实时页面是真实信息的来源,随着模型变化会有所变化。它还指出,基准的实时卡不会对最便宜且最快的选项施加质量下限,因此用户被告知在发布一选前要先查看分数。

截至原著所引用的出版日期,下一个经验证的催化剂尚未提供。


Read More