Ce que nous avons fait
Les mêmes 24 phrases anglaises lues de LibriSpeech test-clean dans six nouvelles conditions : baissées pour que la parole se situe à un niveau actif de -40, -50 et -60 dBFS, et montées de 12, 20 et 30 dB puis écrêtées durement à pleine échelle. Dans les fichiers écrêtés, une médiane de 0,2 %, 5,3 % et 25,4 % des échantillons sont à pleine échelle. Deux moteurs de reconnaissance ouverts, Whisper small et Whisper large-v3-turbo. Les conditions, les niveaux et la façon de lire le résultat ont été enregistrés le 15 octobre 2026, avant la première transcription.
Les mesures d’AudioLab ont été lues ensuite sur les mêmes fichiers, sans connaître le résultat d’un moteur de reconnaissance. Cette lecture était exploratoire : elle n’avait pas de critères de réussite et ce n’est pas un test dont le protocole était enregistré à l’avance.
Le résultat
Ce que cela coûte à un moteur de reconnaissance : rien que nous ayons pu montrer. Aucune des six conditions n’a fait de différence nette pour l’un ou l’autre modèle, pas même avec un quart des échantillons écrêtés (une lecture nettement pire exige un intervalle au-dessus de zéro et une variation d’au moins 2 points). Whisper met lui-même l’enregistrement au bon niveau, et l’écrêtage est ici numérique : un écrêtage dur à pleine échelle.
Whisper small
| Condition | WER % | Variation par rapport au propre, points (intervalle à 95 %) | Interprétation |
|---|---|---|---|
| Propre (référence) | 5,0 | s. o. | référence |
| Parole à un niveau actif de -40 dBFS | 4,6 | −0,5 (−1,6 à +0,5) | pas de différence nette |
| Parole à un niveau actif de -50 dBFS | 4,3 | −0,7 (−1,7 à +0,0) | pas de différence nette |
| Parole à un niveau actif de -60 dBFS | 3,9 | −1,1 (−2,5 à +0,0) | pas de différence nette |
| +12 dB de gain, écrêtage dur à pleine échelle | 4,8 | −0,2 (−1,3 à +0,7) | pas de différence nette |
| +20 dB de gain, écrêtage dur à pleine échelle | 4,6 | −0,5 (−1,3 à +0,0) | pas de différence nette |
| +30 dB de gain, écrêtage dur à pleine échelle | 5,5 | +0,5 (−1,8 à +3,3) | pas de différence nette |
Whisper large-v3-turbo
| Condition | WER % | Variation par rapport au propre, points (intervalle à 95 %) | Interprétation |
|---|---|---|---|
| Propre (référence) | 3,4 | s. o. | référence |
| Parole à un niveau actif de -40 dBFS | 3,9 | +0,5 (+0,0 à +1,3) | pas de différence nette |
| Parole à un niveau actif de -50 dBFS | 3,9 | +0,5 (+0,0 à +1,3) | pas de différence nette |
| Parole à un niveau actif de -60 dBFS | 3,0 | −0,5 (−1,4 à +0,0) | pas de différence nette |
| +12 dB de gain, écrêtage dur à pleine échelle | 3,0 | −0,5 (−1,1 à +0,0) | pas de différence nette |
| +20 dB de gain, écrêtage dur à pleine échelle | 3,2 | −0,2 (−0,7 à +0,0) | pas de différence nette |
| +30 dB de gain, écrêtage dur à pleine échelle | 2,7 | −0,7 (−1,8 à +0,0) | pas de différence nette |
Parole lue en anglais, 24 phrases par condition, les mêmes phrases dans chaque condition, si bien que chaque enregistrement est comparé à sa propre version propre. Nettement pire signifie que l’intervalle à 95 % de la variation appariée est au-dessus de zéro et que la variation atteint au moins 2 points. Pas de différence nette ne signifie pas aucune différence : les intervalles sont larges. Les conditions et les niveaux ont été fixés avant la première transcription (protocole enregistré à l’avance le 15 octobre 2026). Jeu stresstest-core-en-v03-new version 0.3.
Ce qu’AudioLab lit : l’écrêtage, et le niveau jusqu’à un certain point. L’écrêtage a été trouvé dans 22 enregistrements sur 24 à +12 dB, 24 sur 24 à +20 dB et 24 sur 24 à +30 dB, et dans aucun des 96 enregistrements sans écrêtage. Les deux qu’il n’a pas signalés à +12 dB ne contiennent aucune suite d’échantillons écrêtés : l’un n’a aucun échantillon à pleine échelle et l’autre seulement deux isolés, et la mesure compte les suites d’au moins trois d’affilée. Sur les 72 fichiers écrêtés, le comptage suit la vraie proportion avec une corrélation de rang de 0,96. Un écrêtage léger se lit bas pour la même raison : avec jusqu’à 1 pour cent des échantillons écrêtés, la mesure a compté environ 0,7 pour cent des échantillons à pleine échelle (médiane). Le nombre de zones écrêtées n’est pas une mesure de l’ampleur de l’écrêtage : la médiane était de 20 zones avec 5 pour cent des échantillons écrêtés et de 12 avec 25 pour cent, parce qu’un écrêtage fort fait fusionner les tronçons.
La crête, le niveau RMS et le facteur de crête concordent avec notre propre comptage des échantillons (écart maximal de 0,000 dB). Le niveau de la parole suit le gain : pour une baisse de 14 dB, il a lu une variation de 14,0 dB et pour 24 dB, 23,8 dB (médiane). À -60 dBFS, le détecteur de parole ne garde qu’environ 9 pour cent de la parole, et dans 2 enregistrements sur 24 aucune, si bien que le niveau est la moyenne des seules parties les plus fortes et se lit 5,4 dB trop haut (médiane sur les 22 enregistrements qui en ont une).
Donc : AudioLab voit l’écrêtage et, jusqu’à -50 dBFS, le niveau, et les deux moteurs de reconnaissance n’en ont souffert ni l’un ni l’autre. Les mesures servent à trouver les dégâts dans vos enregistrements, pas à prédire ce qu’ils coûtent à votre moteur de reconnaissance. La plupart des défauts audio que nous mesurons ne coûtent rien à ces deux modèles ; ce qui compte, c’est de le savoir pour le vôtre, et c’est à cela que sert le test de résistance.
Jusqu’où cela va
De la parole lue en anglais, 24 phrases par condition, Whisper small et large-v3-turbo sur un CPU, donc les intervalles sont larges : une variation inférieure à environ 2 points ne se distingue pas d’une absence de variation. Les niveaux sont un simple gain appliqué à des enregistrements propres, et l’écrêtage est un écrêtage dur à pleine échelle d’enregistrements propres montés en niveau.
Ce que nous n’avons pas testé
- Les moteurs de reconnaissance en flux continu et les agents vocaux qui écoutent en direct : ils peuvent réagir différemment au niveau.
- D’autres moteurs de reconnaissance que les deux ouverts, et d’autres langues.
- L’écrêtage à un micro ou dans un étage analogique, l’écrêtage doux et les compresseurs.
- Les enregistrements faibles parce que le micro est loin : davantage de bruit s’y ajoute.
- Nous avions consigné à l’avance que l’écrêtage le plus fort coûterait nettement à un moteur de reconnaissance. Ce n’a pas été le cas.
Sources et étapes suivantes
Études dans notre registre : test de résistance v0.3, V03-ENG. Le statut de chaque mesure se trouve sur /lenses et notre façon de tester sur /methodology.
Autres preuves
- Codecs
- Perte de paquets
- Écho : en préparation
- Bruit et SNR
- Une voix concurrente
- Mesures de scène et type de contenu
- Détection de la parole
- Coupure au début et à la fin
- Pièce et réverbération
- Les mesures audio prédisent-elles les erreurs ?
- Une étape de nettoyage, avant et après : en préparation
- Là où nous nous sommes trompés