Was wir getan haben
Das ist die Beschreibung des Tests, wie sie im Status der SNR-Messgröße auf /lenses steht. Wir zeigen sie wörtlich (im englischen Original), damit diese Seite nicht mehr sagen kann als der Status.
Predicting speech-recognition errors: in our own test of 10 October 2026: 16 invented Dutch citizen reports (street and number, town, surname, phone, email), read by 3 synthetic voices in 13 conditions (clean, telephone band, street noise and babble at 10 and 5 dB, television, four measured reverberation times, combinations): 624 recordings, 1,248 transcriptions by Whisper small and large-v3-turbo, 48 per condition and model, margin about 13 points. It did not predict errors in street, number and town (AUC 0.52 to 0.55; 0.50 is a coin flip). Synthetic voices, Whisper only, simulated telephone band, Dutch text; real speakers, other recognisers and languages are untested. Das Ergebnis
Die SNR-Messgröße sagte Fehler bei Straße, Nummer und Ort nicht voraus: AUC 0,52 bis 0,55, wobei 0,50 ein Münzwurf ist. Wir sagen deshalb: Nutze die SNR-Zahl nicht, um die Genauigkeit der Spracherkennung vorherzusagen.
Eine Messgröße des Audios sagt dir etwas über das Audio. Was ein Spracherkenner daraus macht, hängt vom Spracherkenner ab. Um den Spracherkenner selbst zu messen, lass dieselben Aufnahmen vor und nach einer Änderung durch ihn laufen: Dafür ist der Stresstest da.
Wie weit das reicht
Niederländische Bürgermeldungen, von synthetischen Stimmen vorgelesen, mit Whisper small und large-v3-turbo, in 13 Bedingungen einschließlich eines simulierten Telefonbands: 624 Aufnahmen und 1.248 Transkriptionen, 48 pro Bedingung und Modell, mit einer Marge von etwa 13 Punkten.
Was wir nicht getestet haben
- Echte Sprecher.
- Andere Spracherkenner als die beiden Whisper-Modelle.
- Andere Sprachen als Niederländisch.
Quellen und nächste Schritte
Weitere Belege
- Pegel und Clipping
- Codecs
- Paketverlust
- Echo: in Vorbereitung
- Rauschen und SNR
- Eine konkurrierende Stimme
- Szenen-Messgrößen und Inhaltstyp
- Sprachdetektion
- Abschneiden am Anfang und Ende
- Raum und Nachhall
- Ein Bereinigungsschritt, vorher und nachher: in Vorbereitung
- Wo wir falsch lagen