Ce que nous avons fait
- 24 phrases de LibriSpeech test-clean, en anglais, lues par 24 locuteurs différents. Les mêmes 24 phrases se retrouvent dans chaque condition, si bien que chaque enregistrement est comparé à sa propre version propre.
- Huit conditions : propre, bande téléphonique, bruit de rue, bruit de restaurant à deux niveaux, une seconde voix à deux niveaux, et environ 10 % de perte de paquets sans dissimulation. Le bruit vient des enregistrements DEMAND. La seconde voix est un autre locuteur de LibriSpeech qui lit un autre texte. Un niveau de 0 dB signifie aussi fort que la parole ; 5 dB signifie 5 dB plus bas.
- Deux modèles Whisper ouverts, small et large-v3-turbo, exécutés sur un ordinateur local. Nous indiquons le taux d’erreur sur les mots (WER) avec une seule façon fixe de normaliser le texte, consignée par écrit pour qu’une autre équipe obtienne le même nombre.
- Pour chaque condition, nous indiquons la variation du WER par rapport au propre, en points de pourcentage, avec un intervalle à 95 % obtenu par bootstrap sur les 24 phrases.
- Les conditions ont été choisies après un premier essai avec Whisper small. Certaines ne se distinguaient pas du propre, nous les avons donc remplacées par d’autres qui s’en distinguaient. Le jeu dit donc quelque chose de ce qui affecte Whisper, pas de tous les systèmes.
Le résultat
Le bruit de restaurant et une seconde voix coûtent le plus. Au niveau de la parole, une seconde voix a fait monter le taux d’erreur d’environ 40 points pour les deux modèles. Le bruit de rue au niveau de la parole, la bande téléphonique et environ 10 % de perte de paquets sans dissimulation n’ont fait aucune différence nette.
Whisper small
| Condition | WER % | Variation par rapport au propre, points (intervalle à 95 %) | Interprétation |
|---|---|---|---|
| Propre (référence) | 5,0 | s. o. | référence |
| Bande téléphonique, 300 à 3400 Hz, mu-law | 5,3 | +0,2 (+0,0 à +0,8) | pas de différence nette |
| Bruit de rue au niveau de la parole (0 dB) | 5,9 | +0,9 (−0,9 à +3,7) | pas de différence nette |
| Bruit de restaurant, 5 dB sous la parole | 11,4 | +6,4 (+1,9 à +12,2) | nettement pire |
| Bruit de restaurant au niveau de la parole (0 dB) | 33,8 | +28,8 (+19,5 à +40,1) | nettement pire |
| Une seconde voix, 5 dB sous la parole | 10,5 | +5,5 (+0,6 à +11,9) | nettement pire |
| Une seconde voix au niveau de la parole (0 dB) | 46,6 | +41,5 (+22,3 à +62,7) | nettement pire |
| Environ 10 % de perte de paquets (paquets de 20 ms, sans dissimulation) | 4,8 | −0,2 (−1,3 à +0,7) | pas de différence nette |
Whisper large-v3-turbo
| Condition | WER % | Variation par rapport au propre, points (intervalle à 95 %) | Interprétation |
|---|---|---|---|
| Propre (référence) | 3,4 | s. o. | référence |
| Bande téléphonique, 300 à 3400 Hz, mu-law | 2,5 | −0,9 (−2,0 à +0,0) | pas de différence nette |
| Bruit de rue au niveau de la parole (0 dB) | 4,1 | +0,7 (−0,3 à +1,9) | pas de différence nette |
| Bruit de restaurant, 5 dB sous la parole | 7,1 | +3,6 (+1,7 à +5,8) | nettement pire |
| Bruit de restaurant au niveau de la parole (0 dB) | 22,6 | +19,2 (+10,8 à +30,6) | nettement pire |
| Une seconde voix, 5 dB sous la parole | 8,2 | +4,8 (−0,2 à +14,1) | pas de différence nette |
| Une seconde voix au niveau de la parole (0 dB) | 43,6 | +40,2 (+19,6 à +64,2) | nettement pire |
| Environ 10 % de perte de paquets (paquets de 20 ms, sans dissimulation) | 3,6 | +0,2 (−0,7 à +1,3) | pas de différence nette |
Parole lue en anglais, 24 phrases par condition, les mêmes phrases dans chaque condition, si bien que chaque enregistrement est comparé à sa propre version propre. Nettement pire signifie que l’intervalle à 95 % de la variation appariée est au-dessus de zéro et que la variation atteint au moins 2 points. Pas de différence nette ne signifie pas aucune différence : les intervalles sont larges. Les conditions ont été choisies après un premier essai avec Whisper small. Jeu stresstest-core-en version 0.2.
Parfois, c’est la seconde voix qui est transcrite
À niveau égal, dans 6 enregistrements sur 24, les deux modèles ont transcrit surtout la phrase de l’autre locuteur au lieu de celle du locuteur cible. Avec la seconde voix 5 dB plus bas, cela s’est produit dans 0 enregistrements sur 24 pour Whisper small et dans 1 sur 24 pour Whisper large-v3-turbo. Dans les six autres conditions, cela s’est produit dans 0 enregistrements sur 288.
Comment nous avons compté. Un enregistrement compte lorsque la transcription est plus proche de la phrase de l’autre locuteur que de celle du locuteur cible, et qu’au moins la moitié des mots de l’autre phrase sont justes. C’est notre propre règle pour un petit test ; ce n’est pas une mesure normalisée.
Jusqu’où cela va
Ceci couvre de la parole lue en anglais avec une seconde voix dans la même langue, mélangée à un niveau connu, pour deux modèles ouverts. Comme les intervalles sont larges, une seconde voix 5 dB sous la parole est nettement pire pour un modèle et pas pour l’autre.
Ce que nous n’avons pas testé
- Une vraie télévision. Notre seconde voix est une personne qui lit dans la même langue, mélangée à un niveau connu. Une télévision ajoute de la musique, des effets, la réverbération de la pièce où elle joue et de la compression, et elle change avec le programme.
- D’autres moteurs de reconnaissance et d’autres langues, y compris ceux qui se trouvent dans les agents vocaux commerciaux.
- De vrais appels : de vrais réseaux téléphoniques, de vraies conversations, des interruptions, des accents et des dialectes. La bande téléphonique, ici, est un filtre et un codec, pas un appel.
- L’ampleur des effets pour vous. 24 phrases par condition, c’est peu. Lisez les intervalles, pas seulement les nombres.
- Si une étape de nettoyage ou d’amélioration devant le moteur de reconnaissance aide. Le jeu peut le montrer, en l’exécutant avec et sans cette étape. Nous ne publions pas encore de résultat à ce sujet.
Où se situe AudioLab
AudioLab ne détecte pas de seconde voix ni de télévision dans un enregistrement. Le test de résistance est une façon de mesurer votre propre moteur de reconnaissance ou agent dans des conditions connues : les mêmes enregistrements, exécutés avant et après un changement, avec un rapport apparié. Il est en préparation ; le jeu et l’exécuteur ne sont pas encore publiés et il n’y a pas de date.
Sources et étapes suivantes
Études dans notre registre : test de résistance v0.2. Le statut de chaque mesure se trouve sur /lenses et notre façon de tester sur /methodology.
Autres preuves
- Niveau et écrêtage
- Codecs
- Perte de paquets
- Écho : en préparation
- Bruit et SNR
- Mesures de scène et type de contenu
- Détection de la parole
- Coupure au début et à la fin
- Pièce et réverbération
- Les mesures audio prédisent-elles les erreurs ?
- Une étape de nettoyage, avant et après : en préparation
- Là où nous nous sommes trompés