AssemblyAI는 출시 전 음성 에이전트 부하 테스트를 상세히 설명합니다

AssemblyAI는 출시 전 음성 에이전트의 로드 테스트 방법에 관한 기술 가이드를 발표했으며, 단일 조용한 방 통화에서의 데모 성능이 생산 조건을 반영하지 않는다고 주장했습니다. 2026-10-20년에 게시된 이 게시물에서 회사는 팀들이 예상되는 최대 동시성 시점에서 가장 어려운 실제 통화를 전체 파이프라인에서 재플레이하고, 엔터티의 정확성, P95 지연, 거부된 연결, 완료된 작업당 비용을 측정해야 한다고 말합니다.

가이드에서 테스트하라고 하는 내용

기사에서는 부하 테스트가 음성 변환, LLM, 텍스트 음성 변환, 툴 호출, 전화 등 전체 음성 스택을 포함해야 하며, 동시성, 처리량, 세션 지속 시간을 분리해야 한다고 말합니다. 각 과정이 실패 방식이 다르기 때문입니다. AssemblyAI는 짧은 시간 내에 수백 건의 콜백 캠페인이 장기 동시 부하와 다른 한계에 도달할 수 있으며, 대부분의 팀은 첫 번째 사례만 테스트한다고 말합니다. 가이드는 또한 네가지 프로필을 권장합니다: 정상 상태, 선형 램프, 스파이크, 소크.

AssemblyAI의 예시는 깨끗한 오디오보다는 프로덕션과 유사한 입력에 초점을 맞춥니다. 게시물은 팀들이 8 kHz 전화 압축, 계정 번호나 확인 코드 같은 엔티티가 많은 콘텐츠, 실제 억양, 배경 소음, 중단, 잘못된 시작 등 최악의 통화에서 코퍼스를 구축해야 한다고 경고합니다. 또한 인간 전사 라벨에는 누락이나 정리가 있어 단어 오류 지표를 왜곡할 수 있으며, 음성 워크플로우 점수 평가 시 단어 정확도보다 엔티티 정확도를 우선시해야 한다고 경고합니다.

용량, 청구 및 고장 모드

기사에서는 테스트가 세션이 깔끔하게 종료되고 확대 속도가 제공업체의 한계 내에 머무른다는 것을 증명해야 한다고 말합니다. AssemblyAI의 스트리밍 및 음성 에이전트 API에서는 세션이 연결된 시간에 따라 청구되며, 가이드에는 계정별 용량이 관리된다고 합니다. 스트리밍의 경우, 게시물에는 분당 신규 세션 수에 제한이 있고 유료 계정에서는 자동 확장 가능하다고 되어 있습니다; Voice Agent API의 경우, 제한은 동시 세션에 있다고 합니다.

AssemblyAI는 또한 로드 테스트가 청구 동작을 고려해야 한다고 말합니다. 게시물에는 유휴 시간이 청구 가능하며, 명시적으로 종료되지 않은 스트리밍 세션은 세시간 후에 자동 종료되어 전체 기간 동안 청구될 수 있으며, 세션을 보내지 않고 Voice Agent 소켓을 닫으면 30초 동안 청구 가능한 재개 창이 생깁니다. 회사는 완료된 작업당 비용이 시간당 비용보다 더 나은 지표라고 말합니다. 왜냐하면 저렴하지만 덜 효과적인 에이전트가 실제로는 더 비쌀 수 있기 때문입니다.

참조 지표 및 벤치마크 수치

가이드는 평균이 아닌 백분위수를 보고할 것을 권장하며, 최종 처리 지연은 P95 500 ms 미만P95, 종단 간 턴 지연은 1.5초 미만, 도구 호출 왕복 시 500 ms 미만P95, 계획된 피크 및 0.5% 세션 이상 거부 없음 등 여러 지표에 대한 목표 임계값을 제시합니다. 또한 램프 페이즈와 서스테인페이즈 측정을 분리해야 하며, 램프 동안 지연이 악화될 수 있기 때문입니다.

정확성 비교를 설명하기 위해 어셈블리AI는 12,460 스크립트 시나리오에 대한 영어 음성 에이전트 벤치마크를 인용합니다. 이 벤치마크에서 Universal-3.6 Pro Realtime은 13.50% 및 30.1%의 Deepgram Flux EN, 7.78% 및 18.5%의 ElevenLabs Scribe v2, 8.64% 및 26.1%의 Deepgram Nova-3과 비교하여 5.19% 단어 오류율과 14.4% 엔터티 오류율을 기록했다고 밝혔습니다. 게시물에서는 또한 Deepgram Flux EN의 전화번호 하위 집합이 2.4% 대 11.5% 중 하나로 나타났다고 언급했습니다. 또한 Pipecat의 독립 오픈 STT 벤치마크를 언급하는데, 이 벤치마크는 0.80% 통합 의미 단어 오류율과 중간 307 ms 최종 성적 증명서 지연을 발견했다고 밝혔으며, 최고 서비스 간 작은 공백이 의미 없을 수 있다는 Pipecat의 견해도 언급합니다.

하네스 가이드 및 리밋 핸들링

AssemblyAI는 스트리밍 API와 음성 에이전트 API 모두에 대한 샘플 코드를 포함하고 있으며, 실시간 오디오 페이싱, 세션 확인 후 오디오 전송 기다림, 서버가 세션이 라이브 상태임을 확인한 후에만 피크 동시성 수를 계산하는 데 중점을 둡니다. 게시물에는 세션이 연결 시점에 거부될 수 있으며, 거부된 세션은 로드 테스트에서 재시도하지 않고 집계해야 한다고 명시되어 있습니다. 또한 오디오 청크는 API가 허용하는 크기 내에 있어야 하며, 테스트가 청구 가능한 세션을 유출하지 않도록 스트림을 명시적으로 종료해야 한다고 경고합니다.

기획 측면에서 회사는 팀들이 최신 기본값에 의존하지 않고 음성 모델을 고정하고, 동일한 말뭉치에서 대체 모델을 벤치마킹하며, 출시 전에 롤백 임계값을 설정해야 한다고 말합니다. 기사는 한 일간의 롤아웃 계획과 부하 및 동시성, 모니터링, 팀 자체 데이터에 대한 벤치마킹, 그리고 요금 제한, 청구 단위, 데이터 처리 지역, 지원 응답 목표 등 계약 질문을 포함하는 생산 준비 체크리스트로 마무리됩니다.