Maintenant votre propre enregistrement
Le check mesure dans votre navigateur et ne téléverse pas votre audio. Il ne prédit pas combien de mots un moteur de reconnaissance se trompera ; la portée de ce test est indiquée dans son statut.
Vous livrez de l’audio issu d’un agent ou d’un modèle de synthèse vocale ? Le check sortant ajoute la loudness, le true peak et vos propres limites ; la vue QC montre le même fichier lane par lane (démo de 40 secondes, guide d’une page). Vous pensez qu’un nombre est faux ? Dites-le-nous ; ce que nous confirmons va sur Là où nous nous sommes trompés.
Les mêmes mesures dans un pipeline
Un enregistrement, ou jusqu’à 20 dans un appel batch, depuis l’API hébergée ou via MCP dans votre agent. Avec measureStatus, chaque mesure arrive avec son statut, et sa marge là où nous en avons mesuré une ; avec round, les nombres sont arrondis à ce que vaut la mesure.
curl https://audiolab.tools/v1/voicelab/qa \
-H "Authorization: Bearer $AUDIOLAB_KEY" \
-H "Content-Type: application/json" \
-d '{"url":"https://example.com/call.wav","measureStatus":true,"round":true}'Valeurs par défaut jusqu’au 15 janvier 2027, et les guides
L’API répond encore avec son premier détecteur de parole et son premier modèle de contenu jusqu’au 15 janvier 2027 ; le site utilise déjà les plus récents. Envoyez speechDetector « k2 » (routes voice) et contentModel « v2 » (signallab et profils) pour obtenir les mêmes nombres que dans le navigateur. Avec k2, la part de parole se lit environ 5 à 14 points plus haut, selon le bruit, et le SNR des enregistrements bruités se lit plus bas, plus près de la vraie valeur.
Comparer l’audio d’agents vocaux L’API et ses contrôles publiés Se connecter via MCP
Votre audio. Le check dans votre navigateur mesure sur votre appareil et votre audio n’est pas téléversé. L’API et le serveur MCP reçoivent l’audio sur l’API hébergée dans l’UE et seuls des nombres reviennent ; un fichier que vous téléversez pour une analyse plus large est supprimé dans l’heure. Les enregistrements de personnes que vous n’avez pas le droit d’envoyer à un service hébergé relèvent du check dans le navigateur, ou d’une installation locale dont nous pouvons discuter.
De l’audio qui ne doit pas quitter votre réseau ? Parlez-nous d’une installation locale ou auto-hébergée. Ce n’est pas encore un produit standard, et nous ne promettons ni date ni prix.
Le rapport d’exemple complet
La sortie réelle du moteur sur l’un de nos enregistrements d’exemple. Chaque nombre porte son statut, sa marge là où nous en avons mesuré une, et ce qu’il dit et ne dit pas.
speech-female-pangram.mp3 · 15,1 s
Niveau et écrêtage
Trop faible ou saturé, c’est le défaut le moins cher à repérer.
-23,2 dBFS
Utilisable comme contrôle réussi ou échoué.
Ce que cela dit et ne dit pas
Correspond au RMS d’une tonalité connue (-9,07 contre -9,03 dB) et suit une baisse de 12 dB. C’est la moyenne sur les trames que le détecteur de parole classe en parole, si bien qu’un détecteur qui compte davantage de débuts et fins de mots faibles la baisse : avec le détecteur K2 (voir Taux de parole), elle se lit 0,5 dB plus bas sur de l’audio propre et jusqu’à 1,4 dB plus bas dans le bruit (136 mélanges de test).
-5,3 dBFS
Utilisable comme contrôle réussi ou échoué.
Ce que cela dit et ne dit pas
Correspond au true peak d’un enregistrement propre.
0
Utilisable comme contrôle réussi ou échoué.
Ce que cela dit et ne dit pas
Voit 3 pour cent d’échantillons bloqués, et aucun sur un enregistrement propre normalisé.
Bruit
De combien la parole dépasse le bruit qui l’entoure. Lisez la marge : avec le détecteur de parole utilisé ici, l’estimation tient à partir d’environ 5 dB, et en dessous elle est trop haute.
36,5 dB
Marge : ±6 dB
Utilisable comme contrôle réussi ou échoué, dans sa marge.
Ce que cela dit et ne dit pas
Pas un prédicteur de la précision de la reconnaissance vocale.
-59,7 dBFS
Utilisable comme contrôle réussi ou échoué.
Ce que cela dit et ne dit pas
Monte quand on ajoute du bruit ; les bruits de fond tombent sur le vrai niveau d’un bruit synthétique stationnaire. Sur 40 enregistrements lus avec un vrai bruit de fond (SNR-1, 12 octobre 2026), elle se situe 1 à 8 dB sous le niveau moyen de ce bruit, parce qu’elle lit le dixième le plus faible des trames.
Trous dans l’audio
Des trous de silence numérique au milieu du son, comme des paquets perdus. Une borne inférieure : une perte dissimulée par le codec ne laisse aucun trou à trouver.
0
Utilisable comme contrôle réussi ou échoué.
Ce que cela dit et ne dit pas
Pas le nombre de paquets perdus : une perte dans une pause ou un passage calme ne se distingue pas d’une pause, et une perte masquée par le codec ne laisse aucun trou. C’est une borne inférieure : dans le test de perte de paquets, 1 539 des 2 554 trous créés coupaient du son.
0,00 s
Utilisable comme contrôle réussi ou échoué.
Ce que cela dit et ne dit pas
Pas la part de l’enregistrement qui a été perdue : seuls les trous qui coupent du son sont additionnés, et une perte dans une pause ou un passage calme ne compte pas.
Hauteur et qualité de la voix
La hauteur de la voix et la part harmonique du son.
218 Hz
Marge : ±3 pour cent
Utilisable comme contrôle réussi ou échoué, dans sa marge.
Ce que cela dit et ne dit pas
Pas une note et pas une mesure de l’âge ou du sexe du locuteur : la médiane sur tout l’enregistrement.
16,2 dB
Utilisable comme contrôle réussi ou échoué.
Ce que cela dit et ne dit pas
Pas le bruit de fond seul : elle compte tout ce qui ne se répète pas d’une période à l’autre, jitter et shimmer compris. Pas le HNR de Praat à la décimale : la même définition sur un autre tracker, en médiane sur les trames voisées pondérées par l’énergie.
Mesuré avec le moteur que le check utilise, décodé ici avec ffmpeg et, dans le check en direct, avec votre navigateur : les derniers chiffres peuvent donc différer pour le même fichier. Les mesures seulement indicatives sont omises ici, comme dans le check en direct tant que vous ne les demandez pas.
Ce que signifient les mots
- Validé
- Testé contre une norme ou une valeur connue, avec la source citée.
- Proxy
- Approche quelque chose. Seule la direction est testée, ou les seuils ont été choisis à la main.
- Bêta
- Pas encore de test contre une vérité terrain. Cela peut être juste ; ce n’est pas démontré. Cela peut changer.
- Retiré
- A échoué à son test. Reste dans le journal des changements, n’est plus affiché comme résultat.
Un statut Validé avec une base analytique signifie que le calcul est juste sur un signal dont la réponse est connue. Cela ne signifie pas que le nombre a un sens sur un enregistrement réel ; la base de chaque mesure est sur /lenses.
« Ce que cela coûte à un moteur de reconnaissance » vient de notre test de résistance : parole lue en anglais, 24 phrases par condition, deux modèles Whisper ouverts. C’est un petit test aux intervalles larges, et ses conditions ont été choisies après un premier essai avec un modèle, donc il dit ce qui affecte ces modèles, pas ce qui affecte tous les systèmes. « Pas encore publié » veut dire exactement cela : les nombres ne sont pas encore sur ce site.
Là où les preuves sont épaisses, et là où elles sont minces
Onze étapes du microphone à la transcription, et une douzième pour ce que nous ne couvrons pas. Nous avons testé le bruit, la détection de la parole, la perte de paquets, les pièces et la hauteur plusieurs fois, y compris des tests qui ont échoué. Le niveau et l’écrêtage, ainsi que la bande passante et l’origine, sont vérifiés sur le calcul mais pas encore sur ce qu’ils coûtent à un moteur de reconnaissance. Les codecs, l’écho, la coupure au début et à la fin, et l’effet de la réverbération sur la reconnaissance sont minces ou absents. Cliquez sur une étape pour la lire.
| Étape | Ce qu’AudioLab lit | Testé contre des valeurs connues | Coût pour un moteur de reconnaissance | Preuves |
|---|---|---|---|---|
| 1. Enregistrement et niveau Testé : Signaux normalisés, signaux connus, enregistrements construits. Coût pour un moteur de reconnaissance : Mesuré, petit test. | Validé 18 | Signaux normalisés, signaux connus, enregistrements construits | Mesuré, petit test | Niveau et écrêtage |
| 2. Bande passante, codec et origine Testé : Signaux connus, codecs vocaux. Coût pour un moteur de reconnaissance : Mesuré, petit test. | Validé 5 | Signaux connus, codecs vocaux | Mesuré, petit test | Codecs |
| 3. Réseau : paquets perdus Testé : Trous construits, 8 406. Coût pour un moteur de reconnaissance : Mesuré, petit test. | Validé 3 | Trous construits, 8 406 | Mesuré, petit test | Perte de paquets |
| 4. Écho et copie retardée de la voix Testé : Copies construites, 284. Coût pour un moteur de reconnaissance : Pas encore publié. | Validé 3 | Copies construites, 284 | Pas encore publié | Écho: en préparation |
| 5. Bruit Testé : Mélanges à rapport connu. Coût pour un moteur de reconnaissance : Mesuré, petit test. | Validé 5Proxy 1 | Mélanges à rapport connu | Mesuré, petit test | Bruit et SNR |
| 6. Une autre voix, télévision, brouhaha, musique Testé : En partie, avec des ratés. Coût pour un moteur de reconnaissance : Mesuré, petit test. | Proxy 13 | En partie, avec des ratés | Mesuré, petit test | Une voix concurrenteMesures de scène et type de contenu |
| 7. Détection de la parole et début et fin d’un énoncé Testé : En partie, avec des ratés. Coût pour un moteur de reconnaissance : Mesuré, petit test. | Validé 4Proxy 5 | En partie, avec des ratés | Mesuré, petit test | Détection de la paroleCoupure au début et à la fin |
| 8. Pièce et réverbération Testé : Pièces réelles, claquement et sweep. Coût pour un moteur de reconnaissance : Pas encore publié. | Validé 2Proxy 1Retiré 1 | Pièces réelles, claquement et sweep | Pas encore publié | Pièce et réverbération |
| 9. La voix et sa qualité Testé : Voix construites et réelles. Coût pour un moteur de reconnaissance : s. o.. | Validé 2Proxy 2Bêta 2 | Voix construites et réelles | s. o. | - |
| 10. Le moteur de reconnaissance lui-même Testé : Sans objet. Coût pour un moteur de reconnaissance : Voir les étapes 5 et 6. | Aucune mesure | Sans objet | Voir les étapes 5 et 6 | Les mesures audio prédisent-elles les erreurs ?Une étape de nettoyage, avant et après: en préparation |
| 11. Le matériel de test lui-même Testé : Sans objet. Coût pour un moteur de reconnaissance : s. o.. | Aucune mesure | Sans objet | s. o. | - |
| 12. Ce que nous ne couvrons pas Testé : Non couvert. Coût pour un moteur de reconnaissance : s. o.. | Aucune mesure | Non couvert | s. o. | - |
Le parcours, étape par étape
Étape 1
Enregistrement et niveau
Trop faible, écrêté, un décalage DC, un bourdonnement ou un son continu.
Ce qu’AudioLab lit
18 mesures : 18 Validé
Afficher les mesures
- CrêteValidé
- Niveau RMSValidé
- Facteur de crêteValidé
- Loudness intégréeValidé
- Maximum à court termeValidé
- Plage de loudnessValidé
- True peakValidé
- Maximum momentanéValidé
- Échantillons écrêtésValidé
- Présence d’écrêtageValidé
- Régions écrêtéesValidé
- Écrêtage de la phraseValidé
- Décalage continuValidé
- Ronflement secteurValidé
- Fréquence du secteurValidé
- Proéminence tonaleValidé
- Fréquence tonaleValidé
- TonalitéValidé
Ce que nous avons testé
Loudness testée contre les signaux de test EBU Tech 3341 et 3342 : au pire 0,06 LU d’écart, dans les 0,1 LU que tolère la norme. True peak testé contre des cas de test de la BS.1770 (un son de 997 Hz et un cas de crête inter-échantillons), à +0,2 et -0,4 dB près. Les autres mesures testées contre des signaux construits dont la réponse est connue : cela montre que le calcul est juste, pas ce que le nombre signifie sur un enregistrement réel. Puis lues une fois sur 24 phrases lues, baissées en niveau et écrêtées (pas un test dont le protocole était enregistré à l’avance) : l’écrêtage a été trouvé dans tous les enregistrements contenant une suite d’échantillons écrêtés et dans aucun des 96 qui n’en contenaient pas ; le niveau de la parole suit le gain vers le bas jusqu’à -50 dBFS, et à -60 dBFS le détecteur de parole perd la plus grande partie de la parole.
Études dans notre registre : EBU Tech 3341 et 3342, BS.1770, test de résistance v0.3, V03-ENG.
Ce que cela coûte à un moteur de reconnaissance
| Condition | Variation du WER, Whisper small | Variation du WER, Whisper large-v3-turbo |
|---|---|---|
| Parole à un niveau actif de -40 dBFS | −0,5 points, pas de différence nette | +0,5 points, pas de différence nette |
| Parole à un niveau actif de -50 dBFS | −0,7 points, pas de différence nette | +0,5 points, pas de différence nette |
| Parole à un niveau actif de -60 dBFS | −1,1 points, pas de différence nette | −0,5 points, pas de différence nette |
| +12 dB de gain, écrêtage dur à pleine échelle | −0,2 points, pas de différence nette | −0,5 points, pas de différence nette |
| +20 dB de gain, écrêtage dur à pleine échelle | −0,5 points, pas de différence nette | −0,2 points, pas de différence nette |
| +30 dB de gain, écrêtage dur à pleine échelle | +0,5 points, pas de différence nette | −0,7 points, pas de différence nette |
Parole lue en anglais, 24 phrases par condition, variation par rapport à l’audio propre. Un petit test aux intervalles larges ; les conditions et les niveaux ont été fixés avant la première transcription (protocole enregistré à l’avance). Aucune condition de niveau bas ou d’écrêtage n’a fait de différence nette pour l’un ou l’autre moteur de reconnaissance, pas même avec un quart des échantillons écrêtés.
Ce que nous ne savons pas
Des enregistrements réels qui écrêtent au micro (les nôtres sont écrêtés numériquement), les moteurs de reconnaissance en flux continu (streaming), et d’autres moteurs que les deux ouverts.
Les preuves
Étape 2
Bande passante, codec et origine
La bande téléphonique, une source avec pertes (lossy), un audio de 8 kHz étiré à 16 kHz, des morceaux collés ensemble.
Ce qu’AudioLab lit
5 mesures : 5 Validé
Afficher les mesures
- Bande passanteValidé
- Source avec perteValidé
- Profondeur de bits effectiveValidé
- Suréchantillonné depuisValidé
- Raccords de bande passanteValidé
Ce que nous avons testé
Contre des signaux construits dont la réponse est connue. La plage de chaque mesure est sur /lenses. Puis lues une fois sur 168 enregistrements de parole lue passés par sept codecs vocaux (pas un test dont le protocole était enregistré à l’avance) : la bande passante séparait entièrement la sortie en bande étroite de la sortie en large bande, l’étiquette de source avec pertes n’a jamais dit « lossy », et l’origine 8 kHz a été trouvée dans 4 enregistrements sur 96 passés par les codecs 8 kHz.
Études dans notre registre : test de résistance v0.3, V03-ENG.
Ce que cela coûte à un moteur de reconnaissance
| Condition | Variation du WER, Whisper small | Variation du WER, Whisper large-v3-turbo |
|---|---|---|
| Bande téléphonique, 300 à 3400 Hz, mu-law | +0,2 points, pas de différence nette | −0,9 points, pas de différence nette |
| Bande téléphonique 300 à 3400 Hz, A-law 8 kHz | +0,0 points, pas de différence nette | −0,9 points, pas de différence nette |
| AMR-NB 4,75 kbit/s | +1,8 points, pas de différence nette | −0,7 points, pas de différence nette |
| AMR-NB 12,2 kbit/s | +1,1 points, pas de différence nette | −0,7 points, pas de différence nette |
| AMR-WB 12,65 kbit/s | −0,5 points, pas de différence nette | −0,5 points, pas de différence nette |
| GSM 6.10 | +0,5 points, pas de différence nette | −0,9 points, pas de différence nette |
| Opus 8 kbit/s (voip) | +0,2 points, pas de différence nette | −0,9 points, pas de différence nette |
| Opus 16 kbit/s (voip) | −0,5 points, pas de différence nette | +0,0 points, pas de différence nette |
Parole lue en anglais, 24 phrases par condition, variation par rapport à l’audio propre. Un petit test aux intervalles larges ; la condition téléphonique vient du premier jeu, dont les conditions ont été choisies après un premier essai avec un modèle ; les autres ont été fixées avant la première transcription (protocole enregistré à l’avance). Aucun codec n’a fait de différence nette pour l’un ou l’autre moteur de reconnaissance.
Ce que nous ne savons pas
De vraies lignes téléphoniques, les codecs avec dissimulation de perte de paquets, et d’autres codecs que ces sept.
Les preuves
Étape 3
Réseau : paquets perdus
Des trous de silence numérique au milieu de la parole, un son haché.
Ce qu’AudioLab lit
3 mesures : 3 Validé
Afficher les mesures
- CoupuresValidé
- Durée des coupuresValidé
- Plus longue coupureValidé
Ce que nous avons testé
99,9 % de précision sur 8 406 trous construits, 99,8 % des trous tombés dans du son retrouvés, et aucune fausse alarme sur 1 615 enregistrements sans trous. Le compte est une borne inférieure : environ 60 % des trous construits tombaient dans du son, et un trou à l’intérieur d’une pause ne se distingue pas d’une pause.
Études dans notre registre : DR-1.
Ce que cela coûte à un moteur de reconnaissance
| Condition | Variation du WER, Whisper small | Variation du WER, Whisper large-v3-turbo |
|---|---|---|
| Environ 10 % de perte de paquets (paquets de 20 ms, sans dissimulation) | −0,2 points, pas de différence nette | +0,2 points, pas de différence nette |
Parole lue en anglais, 24 phrases par condition, variation par rapport à l’audio propre. Un petit test aux intervalles larges ; les conditions ont été choisies après un premier essai avec un modèle. Aucune dissimulation n’a été simulée ; les réseaux réels dissimulent généralement.
Ce que nous ne savons pas
Les trous qu’un codec a dissimulés, et le silence AMR, ne sont pas vus. La perte réelle sur un réseau n’a pas été testée.
Les preuves
Étape 4
Écho et copie retardée de la voix
La voix revient ; une voix doublée.
Ce qu’AudioLab lit
3 mesures : 3 Validé
Afficher les mesures
Validé sur des copies construites depuis le 20 octobre 2026, aussi via l’API (profil chain) et le serveur MCP.
Ce que nous avons testé
282 copies construites sur 284 retrouvées, le retard à 2 ms près dans chacune et le niveau à 2 dB près pour les copies numériques simples, et aucune copie signalée dans aucun des 332 enregistrements qui n’en contenaient pas, dont 120 de parole lue réelle. Il a fallu trois tests aux critères fixés au préalable ; les deux premiers signalaient des copies qui n’existaient pas.
Ce que cela coûte à un moteur de reconnaissance
Pas encore publié.
Ce que nous ne savons pas
Un écho réel dans des enregistrements réels, une musique avec une boucle, un écho avec un fort second tap, et le niveau d’une copie passée par une pièce (il se lit plus bas).
Les preuves
- Écho: en préparation
Étape 5
Bruit
Un bruit de fond qui rend les mots plus difficiles à entendre.
Ce qu’AudioLab lit
6 mesures : 5 Validé, 1 Proxy
Afficher les mesures
- Bruit de fondValidé
- Rapport signal/bruitValidé
- SNR segmentalValidé
- SNR par phraseValidé
- SNR des pires phrasesValidé
- Parole au-dessus du fondProxy
Ce que nous avons testé
De la parole mélangée à du bruit à des rapports connus, dans trois études (680 et 520 enregistrements de parole lue, 1 344 de parole synthétique). Avec le détecteur par défaut, l’estimation est environ 3 à 7 dB trop haute à 10 dB et 6 à 9 dB trop haute à 5 dB. Un second détecteur avec correction, proposé en option, ramène l’erreur moyenne à 5 dB de +5,95 à +1,87 dB sur trois environnements non utilisés pendant le développement. En dessous de 5 dB, elle reste trop haute.
Études dans notre registre : SNR-1, SNR-2, SNR-3.
Ce que cela coûte à un moteur de reconnaissance
| Condition | Variation du WER, Whisper small | Variation du WER, Whisper large-v3-turbo |
|---|---|---|
| Bruit de rue au niveau de la parole (0 dB) | +0,9 points, pas de différence nette | +0,7 points, pas de différence nette |
| Bruit de restaurant, 5 dB sous la parole | +6,4 points, nettement pire | +3,6 points, nettement pire |
| Bruit de restaurant au niveau de la parole (0 dB) | +28,8 points, nettement pire | +19,2 points, nettement pire |
Parole lue en anglais, 24 phrases par condition, variation par rapport à l’audio propre. Un petit test aux intervalles larges ; les conditions ont été choisies après un premier essai avec un modèle.
Ce que nous ne savons pas
Des conversations réelles et des lignes téléphoniques. En dessous de 5 dB, l’estimation est trop haute.
Les preuves
Étape 6
Une autre voix, télévision, brouhaha, musique
Une télévision, un second locuteur, du brouhaha ou de la musique derrière le locuteur.
Ce qu’AudioLab lit
13 mesures : 13 Proxy
Afficher les mesures
- Ce qui remplit les pausesProxy
- Programme en arrière-planProxy
- Voix ou notes dans les pausesProxy
- Mouvement spectral dans les pausesProxy
- Tonalité stable dans les pausesProxy
- Bruit de fond constantProxy
- Grondement dans les pausesProxy
- Bande de la parole dans les pausesProxy
- Dispersion du niveau des pausesProxy
- Intelligibilité (proxy)Proxy
- Score d’intelligibilité (proxy)Proxy
- Parole au-dessus du fondProxy
- Type de contenuProxy
AudioLab ne détecte ni une seconde voix ni une télévision.
Ce que nous avons testé
Type de contenu testé sur 600 fragments de parole, de musique et de bruit : faible, et le bruit est rarement appelé bruit. Mesures de scène testées sur 1 344 enregistrements dans neuf environnements : deux séparent le brouhaha du bruit de machine, une fonctionne à l’envers. L’étiquette « mixte » est rarement utilisée là où elle devrait l’être.
Études dans notre registre : CT-1, CT-2, SC-1, MX-1.
Ce que cela coûte à un moteur de reconnaissance
| Condition | Variation du WER, Whisper small | Variation du WER, Whisper large-v3-turbo |
|---|---|---|
| Une seconde voix, 5 dB sous la parole | +5,5 points, nettement pire | +4,8 points, pas de différence nette |
| Une seconde voix au niveau de la parole (0 dB) | +41,5 points, nettement pire | +40,2 points, nettement pire |
Parole lue en anglais, 24 phrases par condition, variation par rapport à l’audio propre. Un petit test aux intervalles larges ; les conditions ont été choisies après un premier essai avec un modèle. À niveau égal, dans 6 enregistrements sur 24, les deux modèles transcrivent surtout l’autre locuteur au lieu du locuteur cible.
Ce que nous ne savons pas
Une vraie télévision, d’autres moteurs de reconnaissance, d’autres langues.
Étape 7
Détection de la parole et début et fin d’un énoncé
Débuts coupés, un arrêt tardif ou précoce, des pauses comptées comme de la parole.
Ce qu’AudioLab lit
9 mesures : 4 Validé, 5 Proxy
Afficher les mesures
- Taux de paroleProxy
- Durée de paroleProxy
- Durée de silenceProxy
- Segments de paroleProxy
- Pauses longuesProxy
- Coupé au débutValidé
- Coupé à la finValidé
- Niveau au débutValidé
- Niveau à la finValidé
Ce que nous avons testé
Le premier détecteur de parole a manqué tous les critères sur la parole lue : la part de parole lue était environ 12,5 points trop basse. Un second détecteur à hystérésis, proposé en option, remplit ses cinq critères mais pas la barre d’origine. Les mesures de début et de fin testées contre des signaux construits, et une fois sur des phrases lues coupées de 100 à 500 ms dans la parole (pas un test dont le protocole était enregistré à l’avance) : le niveau au bord séparait coupé et non coupé, les mesures oui ou non en ont attrapé 13 à 20 sur 24.
Études dans notre registre : VAD-1, VAD-2, test de résistance v0.3, V03-ENG.
Ce que cela coûte à un moteur de reconnaissance
| Condition | Variation du WER, Whisper small | Variation du WER, Whisper large-v3-turbo |
|---|---|---|
| Les 100 premières ms de parole supprimées | +0,7 points, pas de différence nette | +1,6 points, pas de différence nette |
| Les 250 premières ms de parole supprimées | +4,8 points, nettement pire | +4,8 points, nettement pire |
| Les 500 premières ms de parole supprimées | +9,6 points, nettement pire | +10,0 points, nettement pire |
| Les 250 dernières ms de parole supprimées | +1,1 points, pas de différence nette | +0,9 points, pas de différence nette |
Parole lue en anglais, 24 phrases par condition, variation par rapport à l’audio propre. Un petit test aux intervalles larges ; les conditions et les niveaux ont été fixés avant la première transcription (protocole enregistré à l’avance). Couper le début de la parole a coûté cher à un moteur de reconnaissance : 250 et 500 ms étaient nettement pires pour les deux, presque uniquement à cause de mots supprimés. 100 ms au début et 250 ms à la fin n’ont pas fait de différence nette.
Ce que nous ne savons pas
Le comportement en flux continu et les vrais tours de parole, et des enregistrements réellement coupés (les nôtres l’ont été à la main).
Les preuves
Étape 8
Pièce et réverbération
Une pièce réverbérante brouille les mots.
Ce qu’AudioLab lit
4 mesures : 2 Validé, 1 Proxy, 1 Retiré
Afficher les mesures
Le temps de réverbération se mesure à partir d’un claquement de mains ou d’un balayage (sweep). Il n’est pas disponible à partir de la parole.
Ce que nous avons testé
Temps de réverbération par bande d’octave identique à celui de notre application RoomLab, sur 385 réponses impulsionnelles réelles. Un claquement simulé contre la réponse impulsionnelle nue, 155 pièces : erreur médiane de 3,9 %, 86 % à 10 % près. La mesure de queue fondée sur la parole ne suivait la pièce que partiellement (corrélation de rang 0,56 sur 24 pièces réelles, barre à 0,70), et un score de réverbération antérieur a été retiré.
Études dans notre registre : RM-1, TD-1.
Ce que cela coûte à un moteur de reconnaissance
Pas encore publié.
Ce que nous ne savons pas
Le temps de réverbération à partir de la parole. ISO 3382.
Les preuves
Étape 9
La voix et sa qualité
Hauteur, rugosité, brillance. Surtout pertinent pour contrôler la sortie d’une voix synthétique.
Ce qu’AudioLab lit
6 mesures : 2 Validé, 2 Proxy, 2 Bêta
Afficher les mesures
- Hauteur tonaleValidé
- Rapport harmoniques/bruitValidé
- JitterBêta
- ShimmerBêta
- Brillance de la voixProxy
- Risque de sibilanceProxy
Ce que nous avons testé
Hauteur sur 1 092 voix construites avec une réponse exacte : 0,0 % d’erreurs grossières à l’état propre et au plus 1,9 % sous bruit ou dans la seule bande téléphonique, jusqu’à 5,9 % pour les voyelles quand les deux sont combinés à 10 dB. Sur de la parole réelle, 97,97 % de 48 817 trames à moins de 20 % d’un second suiveur de hauteur. Le rapport harmoniques/bruit : 18 sur 19 à 1,5 dB près. La gigue (jitter) et le shimmer ont manqué leurs barres de peu.
Études dans notre registre : PT-1 à PT-4.
Ce que cela coûte à un moteur de reconnaissance
Sans objet pour la reconnaissance. Utile pour contrôler la sortie d’une voix synthétique.
Ce que nous ne savons pas
Le naturel d’une voix, et l’émotion (volontairement non proposée).
Étape 10
Le moteur de reconnaissance lui-même
Mots, nombres, noms et adresses erronés.
Ce qu’AudioLab lit
AudioLab mesure l’audio, pas le moteur de reconnaissance. Le test de résistance mesure le moteur de reconnaissance.
Ce que nous avons testé
Test de résistance v0.2 : parole lue en anglais, deux modèles Whisper, huit conditions. Dans notre propre test, la mesure du SNR ne prédisait pas les erreurs de transcription ; la portée de ce test est indiquée dans son statut sur /lenses.
Ce que cela coûte à un moteur de reconnaissance
Voir les étapes 5 et 6.
Ce que nous ne savons pas
D’autres moteurs de reconnaissance, des conversations réelles, le dialecte, la parole d’enfants, la parole clinique.
Les preuves
- Les mesures audio prédisent-elles les erreurs ?
- Une étape de nettoyage, avant et après: en préparation
Étape 11
Le matériel de test lui-même
Un appelant synthétique oriente le résultat.
Ce que nous avons testé
Les voix synthétiques peuvent porter une structure que la parole réelle n’a pas, et un détecteur qui gère la parole réelle peut y déclencher de fausses alarmes. Testez un détecteur sur des voix réelles et synthétiques si les deux interviennent dans votre usage.
Ce que cela coûte à un moteur de reconnaissance
Sans objet.
Ce que nous ne savons pas
Si les voix synthétiques sont neutres pour tous les détecteurs.
Étape 12
Ce que nous ne couvrons pas
La latence, les tours de parole, les interruptions (barge-in), le naturel d’une voix synthétique, la compréhension et l’intention, les vraies lignes téléphoniques, le streaming, et les langues autres que l’anglais et le néerlandais.
Ce que nous avons testé
Rien. Cela sort de ce qu’AudioLab mesure ou a testé.
Ce que cela coûte à un moteur de reconnaissance
Sans objet.
Ce que nous ne savons pas
Tout cela.
Nous publions les tests qui ont échoué
Un score de réverbération qui ne suivait pas la réverbération a été retiré. L’affirmation selon laquelle une mesure fondée sur la parole mesure la pièce elle-même a été barrée, parce qu’elle ne suivait la pièce que partiellement. Notre premier détecteur de parole a manqué tous les critères, et notre premier modèle de type de contenu n’appelait presque jamais le bruit du bruit. La gigue (jitter) et le shimmer ont manqué leurs barres de peu et ne sont pas proposés. C’est pourquoi l’on peut se fier aux nombres qui restent.
Par où commencer, selon votre rôle
Une équipe d’agent vocal
Vous livrez un agent qui écoute au téléphone ou dans un navigateur. Commencez par les étapes 1, 3, 5, 6 et 7, puis soumettez au test de résistance le moteur de reconnaissance que vous utilisez.
Un évaluateur de moteurs de reconnaissance
Vous comparez ou réglez des moteurs de reconnaissance. Les étapes 5, 6 et 10 montrent ce que le bruit et une seconde voix coûtent à deux modèles ouverts, et le test de résistance apparie chaque exécution.
Qualité en centre d’appels
Vous examinez des appels à grande échelle. Lancez les étapes 1, 2, 3 et 5 en lot via l’API, avec le statut à côté de chaque nombre, et la marge là où nous en avons mesuré une.
Un constructeur de jeux de données
Vous collectez ou achetez des données vocales. Les étapes 1, 2, 5 et 9 vous disent quels fichiers regarder en premier.
Un ingénieur téléphonie ou temps réel
Vous exploitez le chemin que prend l’audio : codecs, bande passante et paquets perdus. L’étape 2 montre ce qu’AudioLab lit de la bande et ce que sept codecs vocaux coûtent à deux moteurs de reconnaissance ouverts, et l’étape 3 les trous que des paquets perdus peuvent laisser et ce que coûte une perte simulée.
Soumettre votre propre moteur de reconnaissance ou agent au test de résistance
Le check regarde un enregistrement. Le test de résistance regarde votre système : les mêmes enregistrements dans des conditions connues, la variation du taux d’erreur sur les mots par rapport à l’audio propre pour chaque condition, et un rapport avant-après apparié pour chaque changement que vous faites.
- Un ensemble fixe. 24 phrases en anglais dans huit conditions : propre, bande téléphonique, bruit de rue, bruit de restaurant, une seconde voix et perte de paquets. 192 enregistrements, environ 20 minutes d’audio.
- Un runner sur votre propre machine. Il appelle votre moteur de reconnaissance ou agent avec une commande que vous lui donnez, ou un point d’accès compatible OpenAI. Votre clé et vos réponses restent chez vous ; rien ne nous est envoyé.
- Un rapport que vous pouvez comparer. Pour chaque condition, la variation par rapport à l’audio propre avec un intervalle à 95 % et un test des signes exact, et une comparaison appariée avec votre exécution précédente : nettement pire, nettement meilleur, ou pas de changement net.
- Un moyen de tester un changement. Une mise à jour de modèle, de nouveaux réglages, ou une étape de nettoyage devant le moteur de reconnaissance : lancez l’ensemble avec et sans, et comparez, y compris sur des enregistrements qui allaient bien.
Statut : en préparation. L’ensemble et le runner ne sont pas encore publiés et il n’y a pas de date. Les conditions sont des conditions de test que nous mélangeons ; AudioLab ne les détecte pas dans vos enregistrements. Voyez à quoi ressemblait une exécution sur deux modèles Whisper ouverts, et ce qu’elle ne peut pas vous dire.
Lire un rapport du runner : le tableau de bord du test de résistance.