Aller au contenu
Se connecter

Voice AI / preuves

Là où nous nous sommes trompés

Sept choses où nous nous sommes trompés, ce que le test a montré, et ce que nous avons fait pour chacune. C’est la liste qui rend les autres nombres dignes de confiance.

Chaque mesure de ce site est testée contre quelque chose dont la réponse est connue, et certains tests échouent. Nous ne le cachons pas : nous changeons le statut de la mesure, nous supprimons l’affirmation, et nous gardons les nombres. Ce sont celles qui comptent pour l’audio en route vers un moteur de reconnaissance.

  1. 1. Un score de réverbération qui ne suivait pas la réverbération

    Ce que nous affirmions.
    Un score tiré de la parole, censé suivre à quel point une pièce est réverbérante.
    Ce que le test a montré.
    Testé le 27 septembre 2026 contre 24 pièces aux temps de réverbération mesurés : une corrélation de rang de 0,06 et une AUC de 0,52, et il monte avec le bruit.
    Ce qui a changé.
    Retiré partout. Il reste sur /lenses comme retiré, pour que personne ne tombe sur un ancien nombre et ne s’y fie.

    Pièce et réverbération

  2. 2. Une mesure fondée sur la parole dont nous disions qu’elle mesure la pièce elle-même

    Ce que nous affirmions.
    Que la décroissance en queue d’une phrase mesure la pièce elle-même.
    Ce que le test a montré.
    Contre 24 vraies pièces, sa corrélation de rang avec le temps de réverbération mesuré était de 0,56 (le seuil était de 0,70) ; l’autre mesure avait 0,303 et ne montrait aucune relation.
    Ce qui a changé.
    Les deux mesures sont seulement indicatives, et la phrase qui disait qu’elles mesurent la pièce elle-même a été supprimée.

    Pièce et réverbération

  3. 3. Notre premier détecteur de parole

    Ce que nous affirmions.
    Que nous trouvons où se trouve la parole, et donc la part de parole et les pauses.
    Ce que le test a montré.
    Aucun critère n’a été atteint. La part de parole se lisait en moyenne 12,5 points de pourcentage trop bas, et la pureté des pauses était de 0,69 contre un seuil de 0,95.
    Ce qui a changé.
    Toutes les mesures de parole et de pauses sont devenues indicatives. Un détecteur avec hystérésis est meilleur et est proposé en option, mais il n’atteint pas non plus les seuils d’origine.

    Détection de la parole

  4. 4. Une estimation du rapport signal/bruit qui se lisait trop haut, et une correction que nous n’avons pas adoptée

    Ce que nous affirmions.
    Le rapport signal/bruit de la parole.
    Ce que le test a montré.
    À 0 dB, l’estimation se lisait en moyenne 10,7 dB trop haut avec un bruit de cuisine et 12,5 dB avec un bruit de couloir. Un estimateur hybride qui corrigeait 5 dB surcorrigeait à 10 dB et a manqué son seuil (90e centile de 6,21 dB contre 6,0).
    Ce qui a changé.
    L’hybride n’a pas été adopté. Une correction sur le détecteur amélioré l’a été, en option. En dessous de 5 dB, l’estimation se lit encore trop haut, et la marge le dit.

    Bruit et SNR

  5. 5. Le type de contenu et l’étiquette « mixte »

    Ce que nous affirmions.
    Que nous pouvons distinguer la parole, la musique et le bruit, et que la parole sur de la musique est appelée mixte.
    Ce que le test a montré.
    Le premier modèle a appelé bruit le bruit dans 3 fragments sur 200. « Mixte » a été utilisé dans 29 enregistrements sur 100 de parole sur de la musique 6 dB plus faible, où le seuil était de 80.
    Ce qui a changé.
    Les deux sont seulement indicatifs. Un second modèle est meilleur dans toutes les classes et est proposé en option, mais il rate encore plus de la moitié du bruit stationnaire.

    Mesures de scène et type de contenu

  6. 6. Un score de stationnarité qui fonctionnait à l’envers

    Ce que nous affirmions.
    Qu’un score sépare le bruit de machine constant du brouhaha changeant.
    Ce que le test a montré.
    Il attribuait à un brouhaha dense un score plus stationnaire qu’à un lave-linge : AUC de 0,23 à 20 dB et de 0,27 à 10 dB contre un seuil de 0,80. La mesure du genre de fond a échoué aussi.
    Ce qui a changé.
    Les deux sont seulement indicatifs, et le score s’appelle désormais « Bruit de fond constant », pas « machine ».

    Mesures de scène et type de contenu

  7. 7. Jitter et shimmer

    Ce que nous affirmions.
    Des mesures de rugosité de la voix sur de la parole continue.
    Ce que le test a montré.
    Les deux ont manqué leurs seuils de peu (par exemple une corrélation de rang de 0,74 contre 0,75 pour le jitter). Sur de la vraie parole continue, elles lisent deux à trois fois la norme clinique d’une voyelle tenue, où aucune vérité n’existe.
    Ce qui a changé.
    Bêta : non proposées par l’API ni par le serveur MCP.

    Le statut de chaque mesure

Sources et étapes suivantes

Autres preuves