Wat we deden
Dit is de beschrijving van de toets zoals die in de status van de SNR-maat op /lenses staat. We tonen hem woord voor woord (in het Engels, zoals hij in het register staat), zodat deze pagina niet meer kan zeggen dan de status.
Predicting speech-recognition errors: in our own test of 10 October 2026: 16 invented Dutch citizen reports (street and number, town, surname, phone, email), read by 3 synthetic voices in 13 conditions (clean, telephone band, street noise and babble at 10 and 5 dB, television, four measured reverberation times, combinations): 624 recordings, 1,248 transcriptions by Whisper small and large-v3-turbo, 48 per condition and model, margin about 13 points. It did not predict errors in street, number and town (AUC 0.52 to 0.55; 0.50 is a coin flip). Synthetic voices, Whisper only, simulated telephone band, Dutch text; real speakers, other recognisers and languages are untested.
De uitkomst
De SNR-maat voorspelde fouten niet bij straat, nummer en plaats: AUC 0,52 tot 0,55, waar 0,50 een muntworp is. We zeggen daarom: gebruik het SNR-getal niet om de nauwkeurigheid van spraakherkenning te voorspellen.
Een maat van de audio zegt iets over de audio. Wat een spraakherkenner ermee doet, hangt af van de spraakherkenner. Om de spraakherkenner zelf te meten, draai je dezelfde opnames er voor en na een wijziging doorheen: daar is de stresstest voor.
Hoe ver dit reikt
Nederlandse burgermeldingen voorgelezen door synthetische stemmen, met Whisper small en large-v3-turbo, in 13 condities waaronder een gesimuleerde telefoonband: 624 opnames en 1.248 transcripties, 48 per conditie en model, met een marge van ongeveer 13 punten.
Wat we niet hebben getoetst
- Echte sprekers.
- Andere spraakherkenners dan de twee Whisper-modellen.
- Andere talen dan Nederlands.
Bronnen en volgende stappen
Ander bewijs
- Niveau en clipping
- Codecs
- Pakketverlies
- Echo: in voorbereiding
- Ruis en SNR
- Een concurrerende stem
- Scènematen en inhoudstype
- Spraakdetectie
- Afkapping aan het begin en einde
- Ruimte en galm
- Een opschoonstap, voor en na: in voorbereiding
- Waar we ernaast zaten