Ce que nous avons fait
Trois études ont demandé à quel point l’estimation est proche du vrai rapport. Toutes mélangent la parole et du bruit à un rapport connu, si bien que la bonne réponse est connue. La première est descriptive ; les deux autres ont fixé leurs critères de réussite à l’avance.
- SNR-1. 680 mélanges : 40 enregistrements lus de LibriSpeech dev-clean, chacun propre et avec quatre bruits DEMAND à 20, 10, 5 et 0 dB.
- SNR-2. 1 344 enregistrements : 48 énoncés synthétiques dans neuf environnements DEMAND à 20, 10 et 5 dB, plus des témoins propres. Elle a testé un estimateur hybride contre un seuil fixé à l’avance.
- SNR-3. 520 mélanges de LibriSpeech test-clean avec trois environnements qui ne figuraient dans aucun jeu de développement : une place de ville, une rue à forte circulation et un métro. Elle a testé une correction qui s’applique en dessous de 16 dB, en plus du second détecteur de parole.
Séparément, le test de résistance mesure ce que le bruit coûte à un moteur de reconnaissance : 24 phrases anglaises lues dans les mêmes conditions, pour deux modèles Whisper ouverts.
Le résultat
L’estimation par défaut se lit trop haut aux faibles rapports (SNR-1). Avec un bruit de cuisine, l’erreur moyenne était de +1,2 dB à 20 dB, +4,1 dB à 10 dB, +6,8 dB à 5 dB et +10,7 dB à 0 dB. Avec un bruit de couloir, elle était de +3,4, +6,9, +9,0 et +12,5 dB. Le niveau de bruit lui-même se lisait de 2,6 à 5,4 dB trop bas dans la cuisine, et jusqu’à 8,5 dB trop bas dans le couloir. Lorsque le vrai rapport est de 10 à 30 dB, l’estimation s’écarte d’au plus 6 dB dans 90 % des cas ; en dessous, elle se lit trop haut.
Un estimateur hybride n’a pas été adopté (SNR-2). Il a manqué son premier seuil : le 90e centile de l’erreur à 10 dB était de 6,21 dB contre un seuil de 6,0, et à 10 dB il surcorrigeait, de 3,4 dB en moyenne. Le test a bien confirmé SNR-1 : l’estimation par défaut se lisait +1,6 dB trop haut à 20 dB, +3,2 dB à 10 dB et +5,6 dB à 5 dB.
Une correction a été adoptée en option (SNR-3). Les quatre critères ont été atteints. À 5 dB, l’erreur moyenne est passée de +5,95 dB à +1,87 dB, et le 90e centile de 7,44 dB à 2,98 dB. À 10 dB, le 90e centile est passé de 5,28 dB à 2,01 dB sans surcorrection ; à 20 dB et sur les enregistrements propres, rien n’a changé. La mesure reste Validé, avec sa marge.
Ce que le bruit coûte à un moteur de reconnaissance
Whisper small
| Condition | WER % | Variation par rapport au propre, points (intervalle à 95 %) | Interprétation |
|---|---|---|---|
| Propre (référence) | 5,0 | s. o. | référence |
| Bruit de rue au niveau de la parole (0 dB) | 5,9 | +0,9 (−0,9 à +3,7) | pas de différence nette |
| Bruit de restaurant, 5 dB sous la parole | 11,4 | +6,4 (+1,9 à +12,2) | nettement pire |
| Bruit de restaurant au niveau de la parole (0 dB) | 33,8 | +28,8 (+19,5 à +40,1) | nettement pire |
Whisper large-v3-turbo
| Condition | WER % | Variation par rapport au propre, points (intervalle à 95 %) | Interprétation |
|---|---|---|---|
| Propre (référence) | 3,4 | s. o. | référence |
| Bruit de rue au niveau de la parole (0 dB) | 4,1 | +0,7 (−0,3 à +1,9) | pas de différence nette |
| Bruit de restaurant, 5 dB sous la parole | 7,1 | +3,6 (+1,7 à +5,8) | nettement pire |
| Bruit de restaurant au niveau de la parole (0 dB) | 22,6 | +19,2 (+10,8 à +30,6) | nettement pire |
Parole lue en anglais, 24 phrases par condition, les mêmes phrases dans chaque condition, si bien que chaque enregistrement est comparé à sa propre version propre. Nettement pire signifie que l’intervalle à 95 % de la variation appariée est au-dessus de zéro et que la variation atteint au moins 2 points. Pas de différence nette ne signifie pas aucune différence : les intervalles sont larges. Les conditions ont été choisies après un premier essai avec Whisper small. Jeu stresstest-core-en version 0.2.
Jusqu’où cela va
La marge de plus ou moins 6 dB vaut pour de la parole lue avec un bruit de fond constant à un vrai rapport de 10 à 30 dB. Avec le second détecteur de parole, elle vaut à partir d’environ 5 dB pour une place de ville et pour une rue à forte circulation, et, en regroupant cuisine, salon, couloir et cafétéria (90e centile de 4,4 dB à 5 dB). À 10 dB, la valeur regroupée sur ces quatre environnements est de 6,25 dB et un métro atteint 7,3 dB. À 0 dB, l’estimation se lit encore environ 6 dB trop haut. Sans l’option, la marge ne vaut qu’à partir de 10 dB.
Les nombres sur les moteurs de reconnaissance viennent d’un petit test aux intervalles larges : le bruit de rue au niveau de la parole n’a fait aucune différence nette, le bruit de restaurant si.
Ce que nous n’avons pas testé
- De vraies conversations et de vraies lignes téléphoniques.
- Le bruit d’une vraie télévision ou de musique derrière le locuteur.
- D’autres langues, et d’autres moteurs de reconnaissance que les deux modèles Whisper.
- Si l’estimation prédit les enregistrements qu’un moteur de reconnaissance transcrit mal : dans notre propre test, la mesure du SNR ne l’a pas fait. Voir Les mesures audio prédisent-elles les erreurs ?
Sources et étapes suivantes
Études dans notre registre : SNR-1, SNR-2, SNR-3, test de résistance v0.2. Le statut de chaque mesure se trouve sur /lenses et notre façon de tester sur /methodology.
Autres preuves
- Niveau et écrêtage
- Codecs
- Perte de paquets
- Écho : en préparation
- Une voix concurrente
- Mesures de scène et type de contenu
- Détection de la parole
- Coupure au début et à la fin
- Pièce et réverbération
- Les mesures audio prédisent-elles les erreurs ?
- Une étape de nettoyage, avant et après : en préparation
- Là où nous nous sommes trompés