Ce que nous avons fait
L’étude (DR-1) a fixé ses cinq critères de réussite à l’avance et a mesuré sur des données sur lesquelles elle n’avait pas été développée.
- Ce qui compte comme un trou. Un tronçon de silence numérique de 8 à 500 ms qui n’est pas au bord de l’enregistrement et qui coupe dans du son : le niveau juste avant et juste après est à moins de 20 dB du niveau actif. Une pause naturelle s’éteint d’abord progressivement, elle n’est donc pas comptée.
- Trous construits. 40 enregistrements lus de LibriSpeech test-clean (40 locuteurs) dans six conditions, avec et sans bruit DEMAND, et avec des pauses naturelles de silence numérique comme négatifs difficiles. Chaque trou que nous avons fait a une place et une longueur connues.
- La situation de perte de paquets de notre jeu de scénarios. Des voix synthétiques avec des paquets de 20 ms, une probabilité de perte de 6 % par paquet et une perte d’un à trois paquets, mis à zéro. Les enregistrements sans trous, y compris des voix synthétiques qui ont des pauses naturelles de silence numérique, ont servi de négatifs.
Séparément, le test de résistance a retiré environ 10 % des paquets (20 ms chacun) de 24 phrases anglaises lues, sans dissimulation, pour deux modèles Whisper ouverts.
Le résultat
DR-1 : les cinq critères ont été atteints. 99,9 % de précision sur 8 406 trous, 99,8 % des 8 411 trous tombés dans du son trouvés, et aucune fausse alarme sur 1 615 enregistrements sans trous. Les trois mesures ont le statut Validé, avec une base analytique.
Le comptage est une borne inférieure. Environ 60 % des trous que nous avons faits sont tombés dans du son. Une perte à l’intérieur d’une pause ne se distingue pas de la pause, elle n’est donc pas comptée. Une perte qu’un codec a dissimulée ne laisse aucun trou à trouver, et le silence AMR n’est pas compté non plus.
Ce que la perte de paquets coûte à un moteur de reconnaissance
Whisper small
| Condition | WER % | Variation par rapport au propre, points (intervalle à 95 %) | Interprétation |
|---|---|---|---|
| Propre (référence) | 5,0 | s. o. | référence |
| Environ 10 % de perte de paquets (paquets de 20 ms, sans dissimulation) | 4,8 | −0,2 (−1,3 à +0,7) | pas de différence nette |
Whisper large-v3-turbo
| Condition | WER % | Variation par rapport au propre, points (intervalle à 95 %) | Interprétation |
|---|---|---|---|
| Propre (référence) | 3,4 | s. o. | référence |
| Environ 10 % de perte de paquets (paquets de 20 ms, sans dissimulation) | 3,6 | +0,2 (−0,7 à +1,3) | pas de différence nette |
Parole lue en anglais, 24 phrases par condition, les mêmes phrases dans chaque condition, si bien que chaque enregistrement est comparé à sa propre version propre. Nettement pire signifie que l’intervalle à 95 % de la variation appariée est au-dessus de zéro et que la variation atteint au moins 2 points. Pas de différence nette ne signifie pas aucune différence : les intervalles sont larges. Les conditions ont été choisies après un premier essai avec Whisper small. Jeu stresstest-core-en version 0.2.
Jusqu’où cela va
Des trous de silence numérique au milieu du son, dans de la parole lue en anglais et dans des voix synthétiques, avec et sans bruit. Les nombres sur les moteurs de reconnaissance viennent d’un petit test : environ 10 % de perte dans des paquets de 20 ms, sans dissimulation, n’ont fait aucune différence nette pour l’un ou l’autre modèle.
Ce que nous n’avons pas testé
- Les trous qu’un codec a dissimulés, et le silence qu’un codec AMR insère.
- La vraie perte réseau, et de vrais appels téléphoniques.
- Ce que la perte de paquets avec dissimulation, le cas habituel dans un vrai appel, coûte à un moteur de reconnaissance.
- D’autres moteurs de reconnaissance et d’autres langues.
Sources et étapes suivantes
Études dans notre registre : DR-1, test de résistance v0.2. Le statut de chaque mesure se trouve sur /lenses et notre façon de tester sur /methodology.
Autres preuves
- Niveau et écrêtage
- Codecs
- Écho : en préparation
- Bruit et SNR
- Une voix concurrente
- Mesures de scène et type de contenu
- Détection de la parole
- Coupure au début et à la fin
- Pièce et réverbération
- Les mesures audio prédisent-elles les erreurs ?
- Une étape de nettoyage, avant et après : en préparation
- Là où nous nous sommes trompés