Was wir getan haben
Dieselben 24 englischen vorgelesenen Sätze durch sieben Sprachcodecs und zurück auf 16 kHz, mit ffmpeg: A-law (300 bis 3400 Hz bei 8 kHz), AMR-Schmalband mit 4,75 und 12,2 kbit/s, AMR-Breitband mit 12,65 kbit/s, GSM 6.10 und Opus im Sprachmodus mit 8 und 16 kbit/s. Zwei offene Spracherkenner, Whisper small und Whisper large-v3-turbo. Die Bedingungen wurden am 15. Oktober 2026 registriert, vor der ersten Transkription.
Die eigenen Messgrößen von AudioLab wurden danach an denselben Dateien gelesen, ohne ein Ergebnis eines Spracherkenners zu kennen. Dieses Lesen war explorativ: Es hatte keine Bestehenskriterien und ist kein vorab registrierter Test.
Das Ergebnis
Was es einen Spracherkenner kostet: bei keinem Codec ein klarer Unterschied, bei keinem der beiden Modelle. Die größte Änderung war AMR-Schmalband mit 4,75 kbit/s bei Whisper small: +1,8 Punkte, mit einem Intervall von +0,0 bis +4,5.
| Codec | Bandbreite, die AudioLab liest, Hz (Median, Bereich) | Label für verlustbehaftete Quellen | Änderung der WER, Punkte: Whisper small | Whisper large-v3-turbo |
|---|---|---|---|---|
| Nicht codiert (Referenz) | 7.992 (6.297 bis 7.992) | 24 verlustfrei, 0 verlustbehaftet | Referenz | Referenz |
| A-law, 8 kHz | 4.227 (4.047 bis 4.453) | 14 verlustfrei, 10 unbekannt, 0 verlustbehaftet | +0,0 (+0,0 bis +0,0), kein klarer Unterschied | −0,9 (−2,0 bis +0,0), kein klarer Unterschied |
| AMR-Schmalband, 4,75 kbit/s | 3.965 (3.773 bis 4.469) | 22 verlustfrei, 2 unbekannt, 0 verlustbehaftet | +1,8 (+0,0 bis +4,5), kein klarer Unterschied | −0,7 (−1,8 bis +0,0), kein klarer Unterschied |
| AMR-Schmalband, 12,2 kbit/s | 4.133 (3.797 bis 4.477) | 19 verlustfrei, 5 unbekannt, 0 verlustbehaftet | +1,1 (+0,0 bis +3,1), kein klarer Unterschied | −0,7 (−1,8 bis +0,0), kein klarer Unterschied |
| GSM 6.10 | 4.223 (4.016 bis 4.492) | 15 verlustfrei, 9 unbekannt, 0 verlustbehaftet | +0,5 (−1,3 bis +2,8), kein klarer Unterschied | −0,9 (−2,0 bis +0,0), kein klarer Unterschied |
| Opus, 8 kbit/s | 4.613 (4.328 bis 4.914) | 23 verlustfrei, 1 unbekannt, 0 verlustbehaftet | +0,2 (+0,0 bis +0,8), kein klarer Unterschied | −0,9 (−2,0 bis +0,0), kein klarer Unterschied |
| AMR-Breitband, 12,65 kbit/s | 7.273 (6.242 bis 7.672) | 24 verlustfrei, 0 verlustbehaftet | −0,5 (−1,6 bis +0,5), kein klarer Unterschied | −0,5 (−1,1 bis +0,0), kein klarer Unterschied |
| Opus, 16 kbit/s | 7.633 (6.125 bis 7.992) | 24 verlustfrei, 0 verlustbehaftet | −0,5 (−1,6 bis +0,5), kein klarer Unterschied | +0,0 (+0,0 bis +0,0), kein klarer Unterschied |
24 Sätze pro Zeile. Die Label-Zahlen beziehen sich auf die 24 Aufnahmen. Eine Änderung ist nur dann klar schlechter oder besser, wenn ihr 95-%-Intervall vollständig auf einer Seite von null liegt und sie mindestens 2 Punkte beträgt; keine tat das.
Was AudioLab liest: das Band, nicht den Codec. Die Bandbreite trennt Schmalband- von Breitbandaudio vollständig. Die fünf Schmalband-Bedingungen (A-law, beide AMR-Schmalband, GSM und Opus mit 8 kbit/s) lesen 3,8 bis 4,9 kHz, mit Medianen zwischen 4,0 und 4,6 kHz; die beiden Breitbandcodecs und die nicht codierten Sätze lesen 6,1 bis 8,0 kHz. Über 120 Schmalband- und 72 andere Aufnahmen liegt die Fläche unter der Kurve bei 1,000. Opus mit 8 kbit/s zählt als Schmalband: Das liest die Engine dafür, und wir haben es bestätigt, indem wir die Energie oberhalb des Bands gemessen haben, die fast null ist.
Was sie nicht liest: dass ein Codec verwendet wurde. Das Label für verlustbehaftete Quellen sagte bei diesen 168 Aufnahmen nie „verlustbehaftet“: 141 lasen sich als verlustfrei und 27 als unbekannt. Verlustfrei heißt hier, dass keine Wand eines Musikcodecs gefunden wurde, nicht, dass kein Codec verwendet wurde. Das Label für Audio, das von einer niedrigeren Abtastrate gedehnt wurde, fand die 8-kHz-Herkunft in 4 von 96 Aufnahmen durch die vier 8-kHz-Codecs, und die effektive Bittiefe las überall 16, weil die Ausgabe 16-Bit-Audio ist, was auch immer vorher geschah.
Also: AudioLab kann dir sagen, welches Band dein Audio wirklich hat, und genau das macht eine Schmalbandleitung mit einer Aufnahme. Es kann dir nicht sagen, dass ein Codec beteiligt war. Und für diese beiden Modelle kostete kein Codec etwas, das wir zeigen konnten; ob es für deinen Spracherkenner eine Rolle spielt, musst du mit ihm testen.
Wie weit das reicht
Echte Encoder über ffmpeg an vorgelesener englischer Sprache, 16 kHz, 24 Sätze pro Codec, Whisper small und large-v3-turbo auf einer CPU. Die Intervalle sind breit: Eine Änderung unter etwa 2 Punkten lässt sich nicht von keiner Änderung unterscheiden.
Was wir nicht getestet haben
- Echte Telefonanrufe: Das sind Dateien, die durch einen Encoder geschickt wurden, ohne Netzwerk, ohne Echo und ohne zweites Teilstück.
- Codecs, die verlorene Pakete verschleiern, und der Verlust selbst (siehe die Seite zum Paketverlust).
- Andere Codecs und Bitraten sowie Ketten aus mehreren Codecs.
- Andere Spracherkenner, Streaming-Spracherkenner und andere Sprachen.
- Wir haben vorab festgehalten, dass AMR-Schmalband mit 4,75 kbit/s schlechter sein würde als mit 12,2 kbit/s. Die Richtung stimmte, innerhalb des Rauschens.
Quellen und nächste Schritte
Studien in unserem Register: Stresstest v0.3, V03-ENG. Der Status jeder Messgröße steht auf /lenses und wie wir testen, steht auf /methodology.
Weitere Belege
- Pegel und Clipping
- Paketverlust
- Echo: in Vorbereitung
- Rauschen und SNR
- Eine konkurrierende Stimme
- Szenen-Messgrößen und Inhaltstyp
- Sprachdetektion
- Abschneiden am Anfang und Ende
- Raum und Nachhall
- Sagen Audio-Messgrößen Fehler voraus?
- Ein Bereinigungsschritt, vorher und nachher: in Vorbereitung
- Wo wir falsch lagen