Ce que nous avons fait
Les deux études ont fixé leurs critères de réussite à l’avance et ont utilisé des enregistrements dont la parole est marquée mot par mot, si bien que la bonne réponse est connue.
- VAD-1, le premier détecteur. 40 enregistrements lus de LibriSpeech dev-clean avec alignement des mots, chacun dans 17 conditions : propre, et quatre bruits DEMAND à 20, 10, 5 et 0 dB. Cela fait 680 mélanges.
- VAD-2, un détecteur avec hystérésis. 40 nouveaux enregistrements de LibriSpeech test-clean dans les mêmes 17 conditions (680 mélanges), et les 1 344 enregistrements de notre étude de scène.
- Les mesures de début et de fin ont été vérifiées contre des signaux construits dont la réponse est connue : un son au début se lit à son niveau à 1 dB près, et un fichier qui commence au milieu de la parole est repéré.
Le résultat
VAD-1 : aucun critère n’a été atteint. Sur de la parole propre, le F1 pour les trames de parole était de 0,92, mais la part de parole se lisait en moyenne 12,5 points de pourcentage trop bas (le seuil était de 4) et la pureté des pauses était de 0,69 (le seuil était de 0,95) : les débuts et fins de mots doux passent sous le seuil. Avec un bruit constant, le F1 était de 0,90 ou mieux jusqu’à 20 dB et de 0,79 à 0,90 à 10 dB ; à 5 dB et en dessous, il n’est pas fiable. À 0 dB avec un bruit de salon ou de cafétéria, il classe presque tout en parole, et les mesures de pauses ne renvoient rien dans 82 à 85 % des enregistrements.
VAD-2 : l’hystérésis a atteint les cinq critères. Sur de la parole propre et à 20 et 10 dB, le F1 est passé de 0,878 à 0,941, la pureté des pauses de 0,608 à 0,756 et l’erreur moyenne de la part de parole de 0,170 à 0,082. À 5 dB, le F1 est passé de 0,637 à 0,773. C’est une amélioration, pas une solution : les seuils d’origine (pureté de 0,95, erreur de 0,04) restent hors d’atteinte.
Ce que cela signifie pour les mesures. Toutes les mesures de parole et de pauses restent indicatives (Proxy) : à titre d’information seulement, jamais un contrôle réussi ou échoué. Le détecteur amélioré est une option dans l’API (speechDetector: "k2") et le contrôle de ce site l’utilise ; il devient le détecteur par défaut le 15 janvier 2027. Les mesures de début et de fin ont le statut Validé.
Jusqu’où cela va
De la parole lue en anglais avec un bruit de fond constant. La détection de la parole, et tout ce qui s’y appuie (l’estimation du bruit, les mesures de pauses, les mesures de scène), donne une indication jusqu’à un rapport signal/bruit d’environ 10 dB et est faible en dessous.
Ce que coûte à un moteur de reconnaissance un début coupé, un arrêt tardif ou une pause comptée comme de la parole n’est pas encore publié. Ce sera ajouté ici lorsque ses nombres seront dans notre registre.
Ce que nous n’avons pas testé
- De vraies conversations et de la parole téléphonique.
- De la télévision ou de la musique derrière le locuteur.
- Le comportement en flux continu et la vraie alternance des tours de parole.
- D’autres langues.
- Ce que ces erreurs coûtent à un moteur de reconnaissance.
Sources et étapes suivantes
Études dans notre registre : VAD-1, VAD-2. Le statut de chaque mesure se trouve sur /lenses et notre façon de tester sur /methodology.
Autres preuves
- Niveau et écrêtage
- Codecs
- Perte de paquets
- Écho : en préparation
- Bruit et SNR
- Une voix concurrente
- Mesures de scène et type de contenu
- Coupure au début et à la fin
- Pièce et réverbération
- Les mesures audio prédisent-elles les erreurs ?
- Une étape de nettoyage, avant et après : en préparation
- Là où nous nous sommes trompés