Ce que nous avons fait
Les mêmes 24 phrases anglaises lues, avec les 100, 250 et 500 premières ms de la parole coupées (tout ce qui précède le début de la parole, plus ce temps, retiré par une coupure franche et sans fondu) et avec les 250 dernières ms coupées. Deux moteurs de reconnaissance ouverts, Whisper small et Whisper large-v3-turbo. Les conditions ont été enregistrées le 15 octobre 2026, avant la première transcription.
Les mesures d’AudioLab ont été lues ensuite sur les mêmes fichiers, sans connaître le résultat d’un moteur de reconnaissance. Cette lecture était exploratoire : elle n’avait pas de critères de réussite et ce n’est pas un test dont le protocole était enregistré à l’avance.
Le résultat
Ce que cela coûte à un moteur de reconnaissance : le début compte, la fin non. Couper 250 ms au début était nettement pire pour les deux modèles, et 500 ms davantage, presque entièrement à cause de mots qui n’ont pas été écrits du tout : 9,8 % des mots de référence ont été supprimés à 500 ms. Une coupure de 100 ms au début et une de 250 ms à la fin n’ont fait aucune différence nette.
Whisper small
| Condition | WER % | Variation par rapport au propre, points (intervalle à 95 %) | Interprétation |
|---|---|---|---|
| Propre (référence) | 5,0 | s. o. | référence |
| Les 100 premières ms de parole supprimées | 5,7 | +0,7 (−1,1 à +3,0) | pas de différence nette |
| Les 250 premières ms de parole supprimées | 9,8 | +4,8 (+2,3 à +7,6) | nettement pire |
| Les 500 premières ms de parole supprimées | 14,6 | +9,6 (+7,0 à +12,5) | nettement pire |
| Les 250 dernières ms de parole supprimées | 6,2 | +1,1 (−0,5 à +2,8) | pas de différence nette |
Whisper large-v3-turbo
| Condition | WER % | Variation par rapport au propre, points (intervalle à 95 %) | Interprétation |
|---|---|---|---|
| Propre (référence) | 3,4 | s. o. | référence |
| Les 100 premières ms de parole supprimées | 5,0 | +1,6 (−0,4 à +3,6) | pas de différence nette |
| Les 250 premières ms de parole supprimées | 8,2 | +4,8 (+2,4 à +7,3) | nettement pire |
| Les 500 premières ms de parole supprimées | 13,5 | +10,0 (+6,8 à +13,3) | nettement pire |
| Les 250 dernières ms de parole supprimées | 4,3 | +0,9 (−0,5 à +3,2) | pas de différence nette |
Parole lue en anglais, 24 phrases par condition, les mêmes phrases dans chaque condition, si bien que chaque enregistrement est comparé à sa propre version propre. Nettement pire signifie que l’intervalle à 95 % de la variation appariée est au-dessus de zéro et que la variation atteint au moins 2 points. Pas de différence nette ne signifie pas aucune différence : les intervalles sont larges. Les conditions et les niveaux ont été fixés avant la première transcription (protocole enregistré à l’avance le 15 octobre 2026). Jeu stresstest-core-en-v03-new version 0.3.
Ce qu’AudioLab lit : un bord fort. Le niveau au bord du fichier sépare un début coupé d’un début non coupé : l’aire sous la courbe est de 0,96 sur les 72 débuts coupés et les 24 non coupés (médianes de -29, -27 et -24 dBFS contre -59 dBFS), et de 0,97 pour la fin (médiane de -32 dBFS contre -57 dBFS). Les mesures oui ou non sont plus grossières : « coupé au début » était vrai pour 13, 18 et 20 enregistrements sur 24 coupés 100, 250 et 500 ms à l’intérieur de la parole (12, 15 et 18 avec le détecteur de parole par défaut), « coupé à la fin » pour 17 sur 24 (et 12 avec le détecteur par défaut), et aucune des deux n’a jamais été vraie pour les 24 enregistrements non coupés.
Une partie de ce que les mesures oui ou non manquent ne vient pas de la mesure. Selon la règle propre au test, les 20 premières ms du fichier sont de la parole dans seulement 19 des 24 enregistrements coupés à 100 ms, parce qu’une coupure franche peut tomber dans une pause ou une consonne douce. Là où elle tombe bien dans la parole, la mesure signale la plupart d’entre eux : 13 de ces 19 à 100 ms et 18 sur 19 à 500 ms.
Donc : c’est le seul endroit où la mesure et le coût se rejoignent. Un début coupé franchement apparaît comme un bord fort, et c’est le dommage que paie un moteur de reconnaissance. Utilisez le niveau au bord plutôt que le oui ou non.
Jusqu’où cela va
De la parole lue en anglais coupée à la main à des positions connues, 24 phrases par condition, Whisper small et large-v3-turbo sur un CPU. Les intervalles sont larges : une variation inférieure à environ 2 points ne se distingue pas d’une absence de variation.
Ce que nous n’avons pas testé
- Les enregistrements réellement coupés, par un détecteur de voix qui s’est ouvert tard ou un bouton pressé tard : les nôtres ont été coupés à la main.
- Les moteurs de reconnaissance en flux continu et les agents vocaux, dont la gestion du début d’un énoncé est différente.
- D’autres moteurs de reconnaissance et d’autres langues.
- Nous avions consigné à l’avance qu’une coupure de 250 ms à la fin coûterait nettement à un moteur de reconnaissance. Ce n’a pas été le cas.
Sources et étapes suivantes
Études dans notre registre : test de résistance v0.3, V03-ENG. Le statut de chaque mesure se trouve sur /lenses et notre façon de tester sur /methodology.
Autres preuves
- Niveau et écrêtage
- Codecs
- Perte de paquets
- Écho : en préparation
- Bruit et SNR
- Une voix concurrente
- Mesures de scène et type de contenu
- Détection de la parole
- Pièce et réverbération
- Les mesures audio prédisent-elles les erreurs ?
- Une étape de nettoyage, avant et après : en préparation
- Là où nous nous sommes trompés