AssemblyAI startet Voice Standard Bench, um 50+ LLMs bei echten Audio-Aufgaben zu bewerten

AssemblyAI veröffentlichte Voice Standard Bench auf 2026-10-13, einen öffentlichen Benchmark, der laut einem an diesem Tag veröffentlichten Unternehmensblogbeitrag mehr als 50 Sprachmodelle bei Aufgaben bewertet, die üblicherweise nach der Sprach-zu-Text-Transkription ausgeführt werden. Der Benchmark bewertet Zusammenfassungen, Informationsextraktion, Textkorrektur und Diktat über vier Transkriptlängen hinweg – etwa 30 Sekunden, 2 Minuten, 15 Minuten und 60 Minuten – und berichtet Qualität, Reaktionszeit und Kosten pro Stunde Audio nebeneinander.

Die getesteten Modelle sind über das LLM-Gateway von AssemblyAI zugänglich, das laut Unternehmen nun mehr als 50 Modelle mit denselben API-Schlüsseln unterstützt, die Kunden für seinen Speech-to-Text-Service verwenden. Der Katalog enthält Frontier-Modelle großer Anbieter sowie Open-Source-Modelle, die auf der eigenen Infrastruktur von AssemblyAI gehostet werden und von denen einige vom Unternehmen als anderswo schwer zu finden beschrieben werden.

Benchmark-Methodik und Wertung

Laut dem Blogbeitrag vom 13. Oktober testet Voice Standard Bench Modelle an realen Speech-to-Text-Ausgaben, einschließlich Füllwörtern, Fehlstarts und Transkriptionsfehlern, bei produktionstypischen Längen. zwei Jurormodelle – Claude Opus 5.5 und GPT-5.6 SOL– bewerten jede Antwort anhand fester Rubriken für jede Aufgabe, wobei die Metriken auf eine 0–100 Skala normalisiert werden. Diktieraufgaben werden mechanisch mit bekannten korrekten Ergebnissen ohne Bewertungsmodell bewertet. AssemblyAI berichtet, dass Forscher in seinem Team Hunderte von Stichprobenwerten überprüft haben, um die Bewertungsaufgaben zu verfeinern.

Das Unternehmen gibt an, dass der Benchmark auch Formatfehler, Ablehnungen, Timeouts und Fehlerraten für jedes Modell und jede Aufgabenkombination erfasst. Modelle, die Zuverlässigkeitsprüfungen nicht bestehen, erscheinen in den veröffentlichten Diagrammen mit ihren Werten, sind aber nicht in den empfohlenen Picks enthalten.

Top-Performer nach Aufgabe und Optimierungspriorität

Die veröffentlichten Ergebnisse von AssemblyAI für den aktuellen Lauf zeigen unterschiedliche Modelle, die je nach Aufgabe und Optimierungsziel führen. Laut dem Beitrag vom 13 . Oktober 5.5 Claude Opus bei 98 Qualität am höchsten bewertet, während GPT-6 Luna 94 Qualität zum niedrigsten Preis innerhalb 8 Punkten hinter dem Höchstwert erreichte und GLM-5.3 Flash 91 Qualität mit der niedrigsten Latenz lieferte. Für die Informationsgewinnung 5 Claude Opus mit 87 Qualität angeführt, GPT-6 Luna mit 86 Qualität zum niedrigsten Preis und GPT-4.1 mit 79 Qualität mit der niedrigsten Latenz.

Bei der Textkorrektur erreichten drei OpenAI-Modelle –GPT-5.6 SOL, GPT-6 Astra und GPT-6.1 SOL– mit 91 Qualität den höchsten Score, während das Open-Source-gemma-4-31b-Modell 84 Qualität zum niedrigsten Preis erreichte und GPT-4.1 84 Qualität mit der geringsten Latenz lieferte. Für die Diktierung erzielten Claude Opus 4.6 und Gemini 3.5 Flash gleichauf 99 Qualität, wobei gemma-4 31b 97 Qualität zum niedrigsten Preis und GPT-4.1 93 Qualität mit niedrigster Latenz erreichten, laut den veröffentlichten Ergebnissen des Unternehmens.

Bei allen gleich gewichteten Aufgaben erzielte GPT-6 Astra 92 für die Gesamtqualität, GPT-6 Luna erreichte 90 Qualität zum niedrigsten Preis und lieferte 84 Qualität mit der niedrigsten Latenz, heißt es im Beitrag vom 13. Oktober GPT-4.1.

Kosten- und Geschwindigkeitskompromisse

Das Unternehmen berichtet, dass in der aktuellen Laufzeit das Top-Scoring-Modell 55 bis 65 Mal mehr pro Stunde Audio kostet als ein Modell innerhalb zwei Qualitätspunkte, außer bei einstündigen Transkripten, bei denen der Aufpreis auf etwa 5× begrenzt wird. Laut dem Blogbeitrag haben Open-Source-Modelle selten bei den Kosten gewonnen; GPT-6 Luna lag mit seiner Standard-Logikeinstellung bei jeder Transkriptlänge innerhalb eins Punkt des besten offenen Modells und kostete zwischen 0.4 und 1.6 Cent pro Stunde Audio, was bedeutet, dass offene Modelle, die es unterbieten, Bruchteile von einem Cent sparten und dabei mindestens 10 Qualitätspunkte über zwei Minuten hinaus aufgaben.

AssemblyAI gibt an, dass offene Modelle bei kurzen Transkripten schneller abschneiden. Bei 30-Sekunden-Eingaben wie Voicemails gemma-4 31b in weniger als eins Sekunde mit 93 Qualität im Vergleich zu GPT-6 Lunas 1.7 Sekunden, und bei zwei-Minuten-Anrufen antwortete es in 1.5 Sekunden mit 89 Qualität gegenüber 2.4 Sekunden bei GPT-6 Luna. Das Unternehmen berichtet, dass Qwen3.5 4B Fast das schnellste Modell in jeder Länge bis zu 15 Minuten war. Als jedoch die Transkripte sich der Sitzungslänge näherten, erhielten laut Beitrag vom 13. Oktober größere Modelle einen Qualitätsvorteil und die Geschwindigkeitslücke schloss sich.

Open-Source-Framework und Testwerkzeuge

Voice Standard Bench ist als Open-Source-Software verfügbar. AssemblyAI gibt im Beitrag vom 13 . Oktober an, dass Entwickler den Code von GitHub herunterladen, auf eigenen Transkripten ausführen und private Benchmark-Ergebnisse mit denselben Aufgaben, Bewertungsrastern und Bewertungsmodellen generieren können, die auf ihren eigenen Daten bewertet werden. Das Unternehmen berichtet, dass jedes Modell im Benchmark über das LLM Gateway mit einem bestehenden AssemblyAI-API-Schlüssel zugänglich ist.

AssemblyAI bietet laut Blogbeitrag außerdem Vergleichstools, die keinen Code benötigen: einen Playground-Vergleichsmodus, der eins Prompt mit mehreren Modellen ausführt und Antworten nebeneinander anzeigt; ein Speech-to-Text-Playground, der Transkripte direkt an ein LLM-Gateway-Modell sendet; und "Try in Gateway"-Links auf der Ergebnisseite, die den Playground mit einem vorinstallierten Modell und einer Aufgabeneingabe öffnen.

Das Unternehmen weist im Beitrag darauf hin, dass Benchmark-Ergebnisse aktualisiert werden, sobald neue Modelle auf LLM Gateway starten, wobei jeder Lauf auf der Ergebnisseite datiert wird. AssemblyAI warnt, dass seine Transkripte sich in Akzent, Domänenwortschatz, Prompt-Struktur und Kostenbeschränkungen von denen einzelner Nutzer unterscheiden können, und empfiehlt, Voice Standard Bench als Ausgangspunkt zu nutzen, um zwei oder drei Kandidatenmodelle für Tests auf proprietären Daten zu identifizieren.

Quelle: www.assemblyai.com.