AssemblyAI는 음성 팀이 워크로드 라우팅을 통해 LLM 비용을 절감할 수 있다고 말합니다

AssemblyAI는 음성 제품 팀이 모든 작업 부하를 기본적으로 프런티어 모델에 보내는 대신, 품질 요구사항을 충족하는 가장 작은 모델에 각 작업 후 작업을 매칭함으로써 LLM 비용을 줄일 수 있다고 밝혔습니다. AssemblyAI는 AssemblyAI 릴리스 자료에 따르면 음성 제품이 일반적으로 수행하는 작업에 대해 50개 이상의 모델을 평가하는 벤치마크인 Voice Standard 2026-10-13 Bench를 발표했습니다.

AssemblyAI가 공개한 내용

AssemblyAI는 Voice Standard Bench를 LLM 게이트웨이 상의 모델 순위 시스템으로 설명했습니다. 여기에는 전사자 정리, 요약, 정보 추출, 분류 등이 포함됩니다. 회사는 벤치마크가 네 전사체 길이로 모델을 평가하며, 팀이 고비용 모델이 불필요한 부분을 식별하는 데 도움을 주기 위한 것이라고 밝혔습니다. 관련 블로그 글은 2026-10-13에 게시되었으며, 가장 큰 음성 LLM 청구서는 음성 변환 이후 하위 처리에서 발생하는 경우가 많으며, 전사 자체에서 발생하는 것은 아니라고 주장합니다.

AssemblyAI는 또한 자사의 LLM 게이트웨이가 OpenAI, Anthropic, Google 등 다른 제공업체의 50개 이상의 모델을 OpenAI 호환 API를 통해 노출하고 있음을 강조했습니다. 저비용 옵션으로는 1백만 토큰당 $0.10 입력과 $0.50 출력의 Qwen3.5 4B Fast, $0.14 및 $0.40의 젬마 4 31B, $0.07 및 $0.30의 GPT OSS 20B, $0.05 및 $0.20의 네모트론 라이트닝 3.5 30B A3B 등이 있으며, 가격은 원문 자료에 2026-10-08 기준으로 명시되어 있습니다.

성적표 길이가 중요한 이유

회사는 녹취록 길이가 가장 적합한 모델을 바꿨다고 밝혔습니다. 벤치마크 표에서 AssemblyAI는 30초 기록에서 추천 선택이 96점수를 받았고, 작은 오픈 모델은 훨씬 낮은 비용으로 94 점수를, Gemma 4 31B 은 93점을 기록했습니다. 2분 대본에서는 추천 선택이 94점수를 받았고, 작은 모델들은 그 뒤를 이어갔습니다. 15 분에는 격차가 벌어졌고, 60 분에는 더 큰 모델들이 앞서 나갔으며, AssemblyAI는 GPT-6.1 SOL 최고 점수를 88 최고 점수와 일치하며 낮은 비용으로 권장 순위보다 낮은 가격을 기록했다고 밝혔습니다.

AssemblyAI는 구조화된 추출과 요약에도 동일한 패턴이 적용된다고 밝혔습니다. 모델은 종이상으로는 저렴해 보일 수 있지만, 변형된 JSON 파일, 거부 또는 타임아웃을 생성해 재시도와 다운스트림 실패를 유발할 경우 비용이 더 클 수 있다고 경고했습니다. 회사는 품질 점수가 성공적인 완료 횟수뿐만 아니라 이러한 실패도 포함한다고 밝혔습니다.

비용 예시와 운영 주의사항

한 예제에서, AssemblyAI는 10,000 지원 통화의 월 요약 비용을 각 통화당 약 15분씩 비교했으며, 입력 토큰이 3,200개, 출력 토큰이 300개를 가정할 때였습니다. 이러한 가정 하에 회사는 Claude Sonnet 5의 $141 비용을 계산했으며, Gemini 3.8 Flash의 $35, Gemma 4 31B의 $5.68, GPT-6 Luna의 $4.70 비용을 계산했습니다. AssemblyAI는 한 달에 1백만 건의 통화를 기준으로 지역 할증 없이 $568 $470 차이가 대략 $14,100 정도로 확대될 것이라고 밝혔습니다.

블로그 글에서는 팀들이 고객 기반과 사용 사례에 따라 어휘, 억양, 출력 요구사항이 다르기 때문에 자체 전사본에서 저렴한 모델을 테스트해야 한다고 말했습니다. 네 단계 프로세스를 권장했습니다: 토큰 사용 감사, 워크로드당 후보 두 세 선정, 실제 전사본에서 테스트, 그리고 백업 모델을 갖춘 상태에서 한 워크로드씩 마이그레이션하는 것입니다. AssemblyAI는 또한 일부 서드파티 모델이 계정 속도 제한이 높아도 갑작스러운 부하 시 용량 제약에 직면할 수 있다고 말했습니다.

타이밍 메모로, AssemblyAI는 LLM 게이트웨이의 클로드 소넷 4.5이 2026-11-30년에 퇴역할 예정이라 어떤 모델이 대체할지 재평가할 한 기회가 되었다고 밝혔습니다. 그 이후로는 원본 자료에 추가 촉매제가 제공되지 않았습니다.