Ce que nous avons fait
Ceci est la description du test telle qu’elle figure dans le statut de la mesure du SNR sur /lenses. Nous la montrons mot pour mot (en anglais, comme dans le registre), pour que cette page ne puisse pas en dire plus que le statut.
Predicting speech-recognition errors: in our own test of 10 October 2026: 16 invented Dutch citizen reports (street and number, town, surname, phone, email), read by 3 synthetic voices in 13 conditions (clean, telephone band, street noise and babble at 10 and 5 dB, television, four measured reverberation times, combinations): 624 recordings, 1,248 transcriptions by Whisper small and large-v3-turbo, 48 per condition and model, margin about 13 points. It did not predict errors in street, number and town (AUC 0.52 to 0.55; 0.50 is a coin flip). Synthetic voices, Whisper only, simulated telephone band, Dutch text; real speakers, other recognisers and languages are untested.
Le résultat
La mesure du SNR n’a pas prédit les erreurs sur la rue, le numéro et la ville : AUC de 0,52 à 0,55, où 0,50 correspond à pile ou face. Nous disons donc : n’utilisez pas le nombre du SNR pour prédire la précision de la reconnaissance de la parole.
Une mesure de l’audio vous renseigne sur l’audio. Ce qu’un moteur de reconnaissance en fait dépend du moteur. Pour mesurer le moteur de reconnaissance lui-même, faites passer les mêmes enregistrements par lui avant et après un changement : c’est à cela que sert le test de résistance.
Jusqu’où cela va
Des signalements de citoyens en néerlandais, lus par des voix synthétiques, avec Whisper small et large-v3-turbo, dans 13 conditions dont une bande téléphonique simulée : 624 enregistrements et 1 248 transcriptions, 48 par condition et par modèle, avec une marge d’environ 13 points.
Ce que nous n’avons pas testé
- De vrais locuteurs.
- D’autres moteurs de reconnaissance que les deux modèles Whisper.
- D’autres langues que le néerlandais.
Sources et étapes suivantes
Autres preuves
- Niveau et écrêtage
- Codecs
- Perte de paquets
- Écho : en préparation
- Bruit et SNR
- Une voix concurrente
- Mesures de scène et type de contenu
- Détection de la parole
- Coupure au début et à la fin
- Pièce et réverbération
- Une étape de nettoyage, avant et après : en préparation
- Là où nous nous sommes trompés