Voice Standard Bench bewertet LLMs für die Transkript-Extraktion

Voice Standard Bench hat einen transkriptspezifischen Vergleich großer Sprachmodelle für strukturierte Datenextraktion veröffentlicht und argumentiert, dass gesprochene Anrufe andere Probleme als PDFs oder Webseiten darstellen. In den 2026-10-28 im Beitrag zitierten Ergebnissen ändert sich das oberste Modell je nach Transkriptlänge, während Schemavalidität und Groundedness im Mittelpunkt der Bewertung bleiben.

Beweise und Kontext

Der Beitrag, veröffentlicht von AssemblyAI auf 2026-10-27 und als aktuell seit 2026-10-28 bezeichnet, besagt, dass der Benchmark mehr als 50 Modelle zur Informationsextraktion aus der Sprache-zu-Text-Ausgabe bewertet. Er konzentriert sich auf eine feste JSON-Form für Teilnehmer, Aktionspunkte, Entscheidungen und benannte Entitäten und verlangt von Modellen, die nur das Objekt ausgeben, wobei jeder Schlüssel vorhanden ist. Wenn ein Feld nichts zu berichten hat, verwendet der Benchmark ein leeres Array oder die "unspecificified" String anstelle eines Tipps oder eines fehlenden Schlüssels.

Gemäß der im Beitrag beschriebenen Methodik beginnt die Bewertung mit einer mechanischen Schema-Prüfung. Ausgaben, die kein gültiges JSON mit allen erforderlichen Schlüsseln zurückgeben, erhalten die schlechteste Bewertungsbewertung und werden ebenfalls separat als Schemafehler gewertet. Gültige Ausgaben werden dann von Claude Opus 5.5 und GPT-5.6 SOL nach Bodenfestigkeit und Vollständigkeit bewertet, wobei die zwei Richter separat verfolgt und anschließend kombiniert werden. Der Benchmark läuft mit vier Transkriptlängen: 30 Sekunden, 2 Minuten, 15 Minuten und 60 Minuten, wobei 10 echte Transkripte pro Eimer verwendet werden.

Die veröffentlichten Karten zeigen, dass das beste Modell mit der Länge variiert. Für 30-Sekunden-Transkripte gpt-5.6 SOL 94. Für 2-minütige Transkripte wird Nemotron-lightning-3p5-30b-a3b mit 100 angegeben, aber der Beitrag markiert dieses Ergebnis als Ausreißer, weil das Modell 15 fehlerhafte Anfragen in diesem Bucket erfasst und fehlerhafte Anfragen vom Wert ausgeschlossen werden. Seine 2-Minuten-Median-Antwortzeit beträgt 18.1 Sekunden, und der Beitrag merkt an, dass sein 30-Sekunden-Extraktionswert 26 ist. Die nächsthöchsten 2-Minuten-Werte sind gpt-5.6-luna und gemini-4-argon, beide bei 91.

Für 15-minütige Support-Anrufe wird gpt-6-luna als leistungsstärkstes Modell bei 85 geführt, während der günstigste Eintrag nemotron-3 nano-30b a3b bei 49 und der schnellste qwen3.5 4b-32k-schneller mit 33 und einer mittleren Antwortzeit von 1.49-Sekunden ist. Für 60-Minuten-Meetings führt gpt-6.1 SOL bei 85, wobei nemotron-3 nano-30b a3b die kostengünstigste Option bei 52 und gemini-3.5-flash-lite die schnellste 59 mit einer mittleren Antwortzeit von 2.86 Sekunden ist.

Der Beitrag verwendet diese Ergebnisse, um einen enger gefassten Punkt zu machen: Die Transkriptlänge verändert das Extraktionsproblem. Es heißt, kurze Eingaben bevorzugen kleine, schnelle, günstige Modelle, während längere Transkripte mehr Wert auf Kontexthandhabung und Vollständigkeit legen. Bei 30 Sekunden erzielen 43 der 52 Modelle im Tab 80 oder höher; bei 60 Minuten erreichen nur 9 Modelle. Derselbe Beitrag sagt, qwen3.5 4b 32k-fast 80 bei 30 Sekunden bewertet, aber auf 33 bei 15 Minuten sinkt, was die Verschiebung veranschaulicht.

Was der Benchmark sagt, worauf man achten sollte

Der Artikel identifiziert vier wiederkehrende Fehlermodi bei der Transkriptextraktion: falsch gehörte oder geschriebene Zahlen, geschriebene Namen und Absicherung, Sprecherattribution sowie Austausch oder Unflüssigkeit. Er argumentiert, dass ein Modell, das darauf trainiert ist, flüssigen Text zu erzeugen, plausible, aber nicht belegten Details erfinden kann, was besonders problematisch ist, wenn die Ausgabe für nachgeschaltete JSON-Felder gedacht ist.

AssemblyAI weist außerdem darauf hin, dass sein Gateway-Produkt strukturierte Ausgaben über response_format und JSON-Schema für mehrere Modellfamilien unterstützt und dass das Tool-Aufruf eine Alternative darstellt. Der Beitrag enthält einen Workflow für Sample-Extraktion, der zuerst Audio transkribiert und dann an ein LLM mit strengem Schema weitergibt. Es wird empfohlen, Ausgaben zu validieren, bei einem Fehler einmal zu versuchen und leere Felder oder "unspecificed" zu verwenden, anstatt das Modell zum Raten zu zwingen.

Die Benchmark-Ergebnisse werden als Leitfaden für die Modellauswahl präsentiert, nicht als Garantie für die Produktionsnutzung. Der Beitrag sagt ausdrücklich, dass die Live-Seite die Wahrheitsquelle ist und sich mit der Modelländerung ändern wird. Außerdem wird erwähnt, dass die Live-Karten des Benchmarks keinen Qualitätsunterschrank für die günstigsten und schnellsten Optionen anlegen, sodass die Nutzer aufgefordert werden, die Punktzahl vor dem Versand eins dieser Picks zu überprüfen.

Zum Zeitpunkt des im Quellmaterial angegebenen Veröffentlichungsdatums wurde der nächste verifizierte Katalysator nicht bereitgestellt.