Voice Standard Bench가 전사본 추출을 위한 LLM을 순위 매깁니다
Voice Standard Bench는 구조화된 데이터 추출을 위한 대형 언어 모델의 전사체별 비교 보고서를 발표했으며, 음성 통화는 PDF나 웹페이지와는 다른 문제를 일으킨다고 주장합니다. 게시물에서 인용한 2026-10-28 결과에서는 상위 모델이 대사체 길이에 따라 변하지만, 스키마의 타당성과 근거성이 점수의 중심에 남아 있습니다.
증거와 맥락
2026-10-27년에 AssemblyAI가 게시하고 2026-10-28년 기준으로 현재로 표시된 이 게시물은, 벤치마크가 음성-텍스트 출력에서 정보 추출을 50개 이상의 모델을 평가한다고 말합니다. 벤치마크는 참가자, 액션 아이템, 결정, 명명된 엔터티에 대해 고정된 JSON 도형에 초점을 맞추며, 모든 키가 포함된 객체만 출력하도록 요구합니다. 필드에 보고할 것이 없으면 벤치마크는 추측이나 누락된 키 대신 빈 배열이나 "unspecified" 문자열을 사용합니다.
게시물에서 설명한 방법론에 따르면, 점수 산정은 기계적 스키마 점검에서 시작됩니다. 필요한 모든 키가 포함된 유효한 JSON을 반환하지 못한 출력물은 최악의 루브릭 점수를 받으며, 스키마 실패로 별도로 집계됩니다. 유효한 출력은 Claude Opus 5.5와 GPT-5.6 SOL에 의해 근거성과 완전성으로 평가되며, 두 심사위원들은 별도로 추적된 후 합산됩니다. 벤치마크는 네 전사본 길이로 진행됩니다: 30초, 2분, 15분, 60분, 각 양동이당 10개의 실제 전사본을 사용합니다.
공개된 카드들은 최적의 모델이 길이에 따라 변함을 보여줍니다. 30초 전사본의 경우, gpt-5.6-SOL 점수는 94. 2분 전사본의 경우, nemotron-lightning-3p5-30b-a3b 100에 표시되지만, 해당 버킷에서 기록된 15 오류 요청과 오류 요청이 점수에서 제외되어 있어 이 결과를 이상치로 표시합니다. 2분 -분 중앙 응답 시간은 18.1 초이며, 게시물에서는 추출 점수가 30-초임을 언급 26. 다음으로 높은 2분 점수는 gpt-5.6-luna와 gemini-4-argon으로, 둘 다 91입니다.
15분 지원 통화에서는 gpt-6-luna가 85에서 가장 성능 좋은 모델로 표기되며, 가장 저렴한 입구는 49에서 nemotron-3-nano-30b-a3b이고, 가장 빠른 모델은 33에서 qwen3.5-4b-32k-fast이며, 중앙 응답 시간은 1.49초입니다. 60분 회의에서는 gpt-6.1-SOL가 85에서 선두이며, nemotron-3-a3b nano-30b가 52에서 가장 비용이 저렴한 옵션이며, gemini-3.5-flash-lite가 59에서 가장 빠른 2.86초 중앙값 응답 시간을 자랑합니다.
이 글은 이 결과를 통해 더 좁은 주장을 합니다: 전사체 길이가 추출 문제를 변화시킨다는 것입니다. 짧은 입력은 작고 빠르며 저렴한 모델에 유리하며, 긴 입력은 맥락 처리와 완전성에 더 큰 비중을 둔다고 합니다. 30초에서는 탭에 있는 52 모델 중 43가 80 이상을 기록하고; 60분에서는 9 모델만이 점수를 받습니다. 같은 게시물에서는 qwen3.5-4b-32k-fast가 30초에 80하지만 15분에 33으로 떨어지며 변화를 보여줍니다.
벤치마크가 주목해야 할 사항
이 논문은 전사 추출에서 반복적으로 발생하는 실패 모드가 네 가지를 지적합니다: 잘못 들리거나 철자가 빼린 숫자, 철자 이름 및 헤징, 화자 귀속, 그리고 횡설수설 또는 비유창성. 유창한 텍스트를 생성하도록 훈련된 모델이 그럴듯하지만 근거가 없는 세부사항을 발명할 수 있다고 주장하는데, 이는 특히 출력 중 JSON 필드를 채우기 위한 것일 때 문제가 됩니다.
AssemblyAI는 또한 자사 Gateway 제품이 여러 모델 계열에서 response_format 및 JSON 스키마를 통한 구조화된 출력을 지원하며, 툴 호출이 대안임을 언급합니다. 게시물에는 먼저 오디오를 전사한 후 엄격한 스키마를 가진 LLM에 전달하는 샘플 추출 워크플로우가 포함되어 있습니다. 출력 검증, 실패 시 한 번 재시도, 모델에 추측을 강요하기보다는 빈 필드나 '미지정' 필드를 사용하는 것을 권장합니다.
벤치마크 결과는 모델 선택을 위한 지침으로 제시되며, 실제 생산 사용을 보장하지 않습니다. 게시물에는 라이브 페이지가 진실의 출처이며 모델이 변경됨에 따라 변경된다고 명확히 명시되어 있습니다. 또한 벤치마크의 라이브 카드는 가장 저렴하고 빠른 옵션에 대해 품질 기준을 적용하지 않기 때문에, 사용자는 해당 픽을 한 발송하기 전에 점수를 확인하라고 안내합니다.
출처 자료에 인용된 출판일 기준으로, 다음 검증된 촉매는 제공되지 않았습니다.