Mesures de scène et type de contenu : ce qu’elles peuvent et ne peuvent pas vous dire

CT-1, le premier modèle de type de contenu, a échoué. La parole a été trouvée avec un rappel de 0,82 et une précision de 0,56 ; la musique avec 0,46 et 0,65 ; le bruit dans 3 fragments sur 200 (rappel de 0,015). La musique et le bruit ont souvent été pris pour de la parole : 55 fragments de musique sur 200 et 75 fragments de bruit sur 200. La confiance a à peine baissé quand la réponse était fausse (de 0,76 à 0,62). Sur de la parole lue propre, la réponse était juste dans 98 à 100 % des cas.

CT-2, le second modèle, est meilleur mais n’a pas atteint son critère. Rappel de la parole de 0,985 et précision de 0,952 (premier modèle : 0,820 et 0,558) ; musique 0,950 et 0,864 (premier modèle : 0,455 et 0,495) ; rappel du bruit stationnaire de 0,444 (40 sur 90 : place de ville 23 sur 30, rue à forte circulation 4, métro 13) avec une précision de 1,000. Les 50 ratés sont tous classés inconnus, jamais parole ni musique. Il a battu le premier modèle dans toutes les classes ; le bruit est celle qui a manqué son seuil. C’est une option dans l’API, et le premier modèle y reste le modèle par défaut jusqu’au 15 janvier 2027.

MX-1 : l’étiquette « mixte » est à peine utilisée là où elle devrait l’être. Pour de la parole sur de la musique 6 dB plus faible, elle a été utilisée dans 29 cas sur 100 (le seuil était de 80), et pour de la musique aussi forte que la parole dans 36 cas sur 100. Elle a été utilisée à tort sur 23 enregistrements sur 200 qui n’étaient pas un mélange (0,115, le seuil était d’au plus 0,10). La musique instrumentale pure a été appelée musique dans 34 cas sur 100.

SC-1 : deux mesures de scène fonctionnent, une fonctionne à l’envers. La part de l’énergie des pauses dans la bande de la parole et dans la bande basse sépare le brouhaha du bruit de machine : AUC de 0,803 et 0,807 à 20 dB, 0,867 et 0,919 à 10 dB (avec le second détecteur de parole 0,878 et 0,901, et 0,943 et 0,968). Le score de stationnarité a échoué et se lit à l’envers : AUC de 0,23 à 20 dB et de 0,27 à 10 dB contre un seuil de 0,80, parce qu’un brouhaha dense obtient un score plus stationnaire qu’un lave-linge. La mesure du genre de fond a échoué aussi : une machine se lit le plus souvent comme instable.

Toutes ces mesures sont Proxy : à titre d’information seulement, jamais un contrôle réussi ou échoué. Le score de stationnarité s’appelle désormais « Bruit de fond constant », pas « machine ».

Le type de contenu tient pour de la parole lue propre et constitue une première indication pour la musique et le bruit. Les mesures de scène disent quelque chose de groupes d’environnements, pas d’un fichier précis.

• Une télévision ou de la musique derrière un locuteur dans une vraie pièce : l’étude de scène a utilisé de la parole synthétique et ni télévision ni musique.
• De vraies conversations, et d’autres langues.
• AudioLab ne reconnaît pas le bruit de machine, et il ne détecte pas de seconde voix ni de télévision.