Was wir getan haben
Dieselben 24 englischen vorgelesenen Sätze, bei denen die ersten 100, 250 und 500 ms der Sprache abgeschnitten wurden (alles vor dem Beginn der Sprache plus diese Zeit entfernt, mit einem harten Schnitt und ohne Fade) und bei denen die letzten 250 ms abgeschnitten wurden. Zwei offene Spracherkenner, Whisper small und Whisper large-v3-turbo. Die Bedingungen wurden am 15. Oktober 2026 registriert, vor der ersten Transkription.
Die eigenen Messgrößen von AudioLab wurden danach an denselben Dateien gelesen, ohne ein Ergebnis eines Spracherkenners zu kennen. Dieses Lesen war explorativ: Es hatte keine Bestehenskriterien und ist kein vorab registrierter Test.
Das Ergebnis
Was es einen Spracherkenner kostet: Der Anfang zählt, das Ende nicht. Das Abschneiden von 250 ms am Anfang war für beide Modelle klar schlechter, und 500 ms noch mehr, fast ausschließlich durch Wörter, die gar nicht geschrieben wurden: Bei 500 ms wurden 9,8 % der Referenzwörter gelöscht. Ein Schnitt von 100 ms am Anfang und einer von 250 ms am Ende machten keinen klaren Unterschied.
Whisper small
| Bedingung | WER % | Änderung gegenüber sauber, Punkte (95-%-Intervall) | Einordnung |
|---|---|---|---|
| Sauber (Referenz) | 5,0 | entf. | Referenz |
| Die ersten 100 ms der Sprache entfernt | 5,7 | +0,7 (−1,1 bis +3,0) | kein klarer Unterschied |
| Die ersten 250 ms der Sprache entfernt | 9,8 | +4,8 (+2,3 bis +7,6) | klar schlechter |
| Die ersten 500 ms der Sprache entfernt | 14,6 | +9,6 (+7,0 bis +12,5) | klar schlechter |
| Die letzten 250 ms der Sprache entfernt | 6,2 | +1,1 (−0,5 bis +2,8) | kein klarer Unterschied |
Whisper large-v3-turbo
| Bedingung | WER % | Änderung gegenüber sauber, Punkte (95-%-Intervall) | Einordnung |
|---|---|---|---|
| Sauber (Referenz) | 3,4 | entf. | Referenz |
| Die ersten 100 ms der Sprache entfernt | 5,0 | +1,6 (−0,4 bis +3,6) | kein klarer Unterschied |
| Die ersten 250 ms der Sprache entfernt | 8,2 | +4,8 (+2,4 bis +7,3) | klar schlechter |
| Die ersten 500 ms der Sprache entfernt | 13,5 | +10,0 (+6,8 bis +13,3) | klar schlechter |
| Die letzten 250 ms der Sprache entfernt | 4,3 | +0,9 (−0,5 bis +3,2) | kein klarer Unterschied |
Englische vorgelesene Sprache, 24 Sätze pro Bedingung, in jeder Bedingung dieselben Sätze, sodass jede Aufnahme mit ihrer eigenen sauberen Fassung verglichen wird. Klar schlechter heißt: Das 95-%-Intervall der gepaarten Änderung liegt über null und die Änderung beträgt mindestens 2 Punkte. Kein klarer Unterschied heißt nicht, dass es keinen Unterschied gibt: Die Intervalle sind breit. Die Bedingungen und Pegel standen vor der ersten Transkription fest (vorab registriert am 15. Oktober 2026). Set stresstest-core-en-v03-new Version 0.3.
Was AudioLab liest: einen lauten Rand. Der Pegel am Rand der Datei trennt einen abgeschnittenen Anfang von einem nicht abgeschnittenen: Die Fläche unter der Kurve beträgt 0,96 über die 72 abgeschnittenen und 24 nicht abgeschnittenen Anfänge (Mediane -29, -27 und -24 dBFS gegen -59 dBFS) und 0,97 für das Ende (Median -32 dBFS gegen -57 dBFS). Die Ja-Nein-Messgrößen sind gröber: „Am Anfang abgeschnitten“ traf zu bei 13, 18 und 20 von 24 Aufnahmen, die 100, 250 und 500 ms in die Sprache hinein abgeschnitten wurden (12, 15 und 18 mit dem Standard-Sprachdetektor), „am Ende abgeschnitten“ bei 17 von 24 (und 12 mit dem Standard), und keine von beiden traf je bei den 24 nicht abgeschnittenen Aufnahmen zu.
Ein Teil dessen, was die Ja-Nein-Messgrößen verpassen, liegt nicht an der Messgröße. Nach der eigenen Regel des Tests sind die ersten 20 ms der Datei nur bei 19 der 24 bei 100 ms abgeschnittenen Aufnahmen Sprache, weil ein harter Schnitt in einer Pause oder einem weichen Konsonanten landen kann. Wo er in Sprache landet, markiert die Messgröße die meisten: 13 dieser 19 bei 100 ms und 18 von 19 bei 500 ms.
Also: Das ist die eine Stelle, an der Messgröße und Kosten übereinstimmen. Ein hart abgeschnittener Anfang zeigt sich als lauter Rand, und das ist der Schaden, den ein Spracherkenner bezahlt. Nutze den Pegel am Rand statt des Ja oder Nein.
Wie weit das reicht
Vorgelesene englische Sprache, von Hand an bekannten Positionen abgeschnitten, 24 Sätze pro Bedingung, Whisper small und large-v3-turbo auf einer CPU. Die Intervalle sind breit: Eine Änderung unter etwa 2 Punkten lässt sich nicht von keiner Änderung unterscheiden.
Was wir nicht getestet haben
- Aufnahmen, die wirklich abgeschnitten wurden, durch einen Sprachdetektor, der zu spät öffnete, oder eine zu spät gedrückte Taste: Unsere wurden von Hand geschnitten.
- Streaming-Spracherkenner und Voice-Agents, deren Umgang mit dem Beginn einer Äußerung anders ist.
- Andere Spracherkenner und andere Sprachen.
- Wir haben vorab festgehalten, dass ein Schnitt von 250 ms am Ende einen Spracherkenner klar etwas kosten würde. Das tat er nicht.
Quellen und nächste Schritte
Studien in unserem Register: Stresstest v0.3, V03-ENG. Der Status jeder Messgröße steht auf /lenses und wie wir testen, steht auf /methodology.
Weitere Belege
- Pegel und Clipping
- Codecs
- Paketverlust
- Echo: in Vorbereitung
- Rauschen und SNR
- Eine konkurrierende Stimme
- Szenen-Messgrößen und Inhaltstyp
- Sprachdetektion
- Raum und Nachhall
- Sagen Audio-Messgrößen Fehler voraus?
- Ein Bereinigungsschritt, vorher und nachher: in Vorbereitung
- Wo wir falsch lagen