Was wir getan haben
Dieselben 24 englischen vorgelesenen Sätze aus LibriSpeech test-clean in sechs neuen Bedingungen: leiser gestellt, sodass die Sprache auf einem aktiven Pegel von -40, -50 und -60 dBFS liegt, und um 12, 20 und 30 dB lauter gestellt und bei Vollaussteuerung hart geclippt. In den geclippten Dateien liegen im Median 0,2 %, 5,3 % und 25,4 % der Samples bei Vollaussteuerung. Zwei offene Spracherkenner, Whisper small und Whisper large-v3-turbo. Die Bedingungen, die Pegel und die Art, das Ergebnis zu lesen, wurden am 15. Oktober 2026 registriert, vor der ersten Transkription.
Die eigenen Messgrößen von AudioLab wurden danach an denselben Dateien gelesen, ohne ein Ergebnis eines Spracherkenners zu kennen. Dieses Lesen war explorativ: Es hatte keine Bestehenskriterien und ist kein vorab registrierter Test.
Das Ergebnis
Was es einen Spracherkenner kostet: nichts, was wir zeigen konnten. Keine der sechs Bedingungen machte für eines der beiden Modelle einen klaren Unterschied, nicht einmal mit einem Viertel geclippter Samples (für ein klar schlechteres Ergebnis braucht es ein Intervall über null und eine Änderung von mindestens 2 Punkten). Whisper gleicht die Aufnahme selbst im Pegel an, und das Clipping ist hier digital: ein harter Clip bei Vollaussteuerung.
Whisper small
| Bedingung | WER % | Änderung gegenüber sauber, Punkte (95-%-Intervall) | Einordnung |
|---|---|---|---|
| Sauber (Referenz) | 5,0 | entf. | Referenz |
| Sprache mit einem aktiven Pegel von -40 dBFS | 4,6 | −0,5 (−1,6 bis +0,5) | kein klarer Unterschied |
| Sprache mit einem aktiven Pegel von -50 dBFS | 4,3 | −0,7 (−1,7 bis +0,0) | kein klarer Unterschied |
| Sprache mit einem aktiven Pegel von -60 dBFS | 3,9 | −1,1 (−2,5 bis +0,0) | kein klarer Unterschied |
| +12 dB Verstärkung, hart bei Vollaussteuerung geclippt | 4,8 | −0,2 (−1,3 bis +0,7) | kein klarer Unterschied |
| +20 dB Verstärkung, hart bei Vollaussteuerung geclippt | 4,6 | −0,5 (−1,3 bis +0,0) | kein klarer Unterschied |
| +30 dB Verstärkung, hart bei Vollaussteuerung geclippt | 5,5 | +0,5 (−1,8 bis +3,3) | kein klarer Unterschied |
Whisper large-v3-turbo
| Bedingung | WER % | Änderung gegenüber sauber, Punkte (95-%-Intervall) | Einordnung |
|---|---|---|---|
| Sauber (Referenz) | 3,4 | entf. | Referenz |
| Sprache mit einem aktiven Pegel von -40 dBFS | 3,9 | +0,5 (+0,0 bis +1,3) | kein klarer Unterschied |
| Sprache mit einem aktiven Pegel von -50 dBFS | 3,9 | +0,5 (+0,0 bis +1,3) | kein klarer Unterschied |
| Sprache mit einem aktiven Pegel von -60 dBFS | 3,0 | −0,5 (−1,4 bis +0,0) | kein klarer Unterschied |
| +12 dB Verstärkung, hart bei Vollaussteuerung geclippt | 3,0 | −0,5 (−1,1 bis +0,0) | kein klarer Unterschied |
| +20 dB Verstärkung, hart bei Vollaussteuerung geclippt | 3,2 | −0,2 (−0,7 bis +0,0) | kein klarer Unterschied |
| +30 dB Verstärkung, hart bei Vollaussteuerung geclippt | 2,7 | −0,7 (−1,8 bis +0,0) | kein klarer Unterschied |
Englische vorgelesene Sprache, 24 Sätze pro Bedingung, in jeder Bedingung dieselben Sätze, sodass jede Aufnahme mit ihrer eigenen sauberen Fassung verglichen wird. Klar schlechter heißt: Das 95-%-Intervall der gepaarten Änderung liegt über null und die Änderung beträgt mindestens 2 Punkte. Kein klarer Unterschied heißt nicht, dass es keinen Unterschied gibt: Die Intervalle sind breit. Die Bedingungen und Pegel standen vor der ersten Transkription fest (vorab registriert am 15. Oktober 2026). Set stresstest-core-en-v03-new Version 0.3.
Was AudioLab liest: das Clipping, und den Pegel bis zu einem gewissen Punkt. Clipping wurde in 22 von 24 Aufnahmen bei +12 dB gefunden, in 24 von 24 bei +20 dB und in 24 von 24 bei +30 dB, und in keiner der 96 Aufnahmen ohne Clipping. Die beiden, die es bei +12 dB nicht markierte, enthalten keine Folge geclippter Samples: Eine hat kein Sample bei Vollaussteuerung und die andere nur zwei einzelne, und die Messgröße zählt Folgen von mindestens drei hintereinander. Über die 72 geclippten Dateien folgt die Zählung dem wahren Anteil mit einer Rangkorrelation von 0,96. Leichtes Clipping wird aus demselben Grund zu niedrig gelesen: Bei bis zu 1 Prozent geclippter Samples zählte sie etwa 0,7 der Samples bei Vollaussteuerung (Median). Die Zahl der geclippten Bereiche ist kein Maß dafür, wie viel geclippt ist: Der Median lag bei 20 Bereichen bei 5 Prozent geclippter Samples und bei 12 bei 25 Prozent, weil starkes Clipping die Abschnitte verschmelzen lässt.
Spitzenpegel, RMS-Pegel und Crest-Faktor stimmen mit unserer eigenen Zählung der Samples überein (größte Abweichung 0,000 dB). Der Sprachpegel folgt der Verstärkung: Bei einer Absenkung um 14 dB las er eine Änderung von 14,0 dB und bei 24 dB von 23,8 dB (Median). Bei -60 dBFS behält der Sprachdetektor nur etwa 9 Prozent der Sprache, und in 2 der 24 Aufnahmen keine, sodass der Pegel nur der Durchschnitt der lautesten Teile ist und 5,4 dB zu hoch liest (Median über die 22 Aufnahmen, die einen haben).
Also: AudioLab sieht das Clipping und, bis -50 dBFS, den Pegel, und die beiden Spracherkenner störte beides ebenfalls nicht. Die Messgrößen dienen dazu, den Schaden in deinen Aufnahmen zu finden, nicht dazu, vorherzusagen, was er deinen Spracherkenner kostet. Die meisten der Audiofehler, die wir messen, kosten diese beiden Modelle nichts; entscheidend ist, es für deinen zu wissen, und dafür ist der Stresstest da.
Wie weit das reicht
Vorgelesene englische Sprache, 24 Sätze pro Bedingung, Whisper small und large-v3-turbo auf einer CPU, daher sind die Intervalle breit: Eine Änderung unter etwa 2 Punkten lässt sich nicht von keiner Änderung unterscheiden. Die Pegel sind eine reine Verstärkung auf sauberen Aufnahmen, und das Clipping ist ein harter Clip bei Vollaussteuerung an lauter gestellten sauberen Aufnahmen.
Was wir nicht getestet haben
- Streaming-Spracherkenner und Voice-Agents, die live zuhören: Sie reagieren womöglich anders auf den Pegel.
- Andere Spracherkenner als die beiden offenen sowie andere Sprachen.
- Clipping an einem Mikrofon oder in einer analogen Stufe, weiches Clipping und Kompressoren.
- Aufnahmen, die leise sind, weil das Mikrofon weit weg ist: Dabei kommt mehr Rauschen dazu.
- Wir haben vorab festgehalten, dass das stärkste Clipping einen Spracherkenner klar etwas kosten würde. Das tat es nicht.
Quellen und nächste Schritte
Studien in unserem Register: Stresstest v0.3, V03-ENG. Der Status jeder Messgröße steht auf /lenses und wie wir testen, steht auf /methodology.
Weitere Belege
- Codecs
- Paketverlust
- Echo: in Vorbereitung
- Rauschen und SNR
- Eine konkurrierende Stimme
- Szenen-Messgrößen und Inhaltstyp
- Sprachdetektion
- Abschneiden am Anfang und Ende
- Raum und Nachhall
- Sagen Audio-Messgrößen Fehler voraus?
- Ein Bereinigungsschritt, vorher und nachher: in Vorbereitung
- Wo wir falsch lagen