Évaluer les modèles d'IA audio : un guide pratique des mesures qui comptent

Vous avez livré une fonctionnalité d’IA audio. Un modèle qui débruite des podcasts, sépare des stems, super-résout des mémos vocaux, génère de la musique, masterise des mixages : choisissez celui qui correspond à votre semaine. Et maintenant : est-il bon ? La nouvelle version était-elle meilleure que l’ancienne ? Meilleure que le concurrent ? Meilleure que rien ?

Bien répondre à ces questions est plus difficile qu’il n’y paraît. L’audio est perceptuel : deux algorithmes peuvent produire des signaux mathématiquement très différents qui sonnent à l’identique, ou des signaux mathématiquement presque identiques qui sonnent radicalement différemment. La mauvaise stratégie d’évaluation peut vous laisser livrer une régression que 80 % des auditeurs remarquent, alors que chaque métrique de votre tableau de bord s’affiche en vert.

Cet article est le manuel de travail que nous utilisons dans les labs AudioLab lorsque nous jugeons un modèle d’IA audio. Pas exhaustif (il y a 400 pages de littérature derrière chacune des lignes ci-dessous), mais suffisant pour prendre une décision go/no-go défendable sans trois mois de détour académique.

Le cadre à deux axes

Toute évaluation d’IA audio vit dans une matrice 2×2 :

	Peu coûteux à exécuter	Coûteux à exécuter
Suit la perception	(le plus souvent vide)	Tests d’écoute subjectifs
Ne suit pas la perception	Métriques objectives	Analyse spécialisée

Le quadrant en bas à gauche (les métriques objectives peu coûteuses) est l’endroit où la plupart des équipes produit passent 95 % de leur temps. En haut à droite (les tests d’écoute subjectifs) est ce sur quoi les labs de recherche audio bâtissent leur réputation. L’astuce est de savoir lesquelles utiliser, quand, et quelles combinaisons triangulent honnêtement.

Métriques objectives : rapides, scalables, souvent mensongères

Les classiques

• PESQ (ITU-T P.862). MOS prédit pour la parole en bande étroite et en bande large. Validé contre des dégradations de qualité télécom : artefacts de codec, perte de paquets, bruit additif. Sature fortement au-dessus de ~4 MOS, ce qui signifie qu’il ne peut pas distinguer « vraiment bon » d’« excellent ». Largement supplanté par POLQA pour les nouveaux travaux, mais PESQ reste le cheval de trait parce qu’il est gratuit et que tout le monde l’a déjà intégré.
• POLQA (ITU-T P.863). Le successeur de PESQ. Plage de validation plus large, gère mieux les codecs modernes, moins sujet au décalage de gain. Sous licence, ce qui est la vraie raison pour laquelle la plupart des projets open source citent encore PESQ.
• STOI (Short-Time Objective Intelligibility). Un prédicteur d’intelligibilité fondé sur la corrélation. Peu coûteux, bien corrélé aux scores d’intelligibilité humains pour la parole en bande étroite dans le bruit. Moins fiable pour la musique ou pour les jugements de « finition » où l’intelligibilité est déjà à 100 %.
• SI-SDR (Scale-Invariant Signal-to-Distortion Ratio). La référence pour la séparation de sources. Compare la référence et l’estimation après mise à l’échelle optimale. Invariant à l’échelle : un décalage de gain ne devrait pas plomber une séparation parfaitement bonne.

La nouvelle génération

• DNSMOS / NISQA. Des réseaux de neurones entraînés à prédire les scores MOS subjectifs. Sans référence : vous n’avez pas besoin d’un signal cible propre. Le bon choix lorsque vous évaluez la suppression de bruit ou le rehaussement de la parole sur des enregistrements du monde réel où aucune vérité terrain n’existe.
• VISQOL. Le modèle perceptuel de Google pour la parole comme pour l’audio. Open source, bien maintenu, gère un large éventail de dégradations.
• CDPAM (Contrastive Deep Perceptual Audio Metric). Une distance perceptuelle apprise pour l’audio général. Utile pour les contrôles de cohérence du type « le modèle a-t-il changé quelque chose qu’une personne remarquerait ? ».

Quand les métriques objectives s’effondrent

Trois modes de défaillance reviennent :

1. Matériel hors distribution. PESQ a été validé sur de la parole de ligne téléphonique. Lancez-le sur de l’opéra et vous obtenez des chiffres, mais ces chiffres ne signifient pas ce qu’ils signifient sur de la parole de ligne téléphonique. Les métriques classiques sont spécifiques à un domaine, même lorsque leurs auteurs ne l’avaient pas prévu.
2. Saturation dans la plage « bonne ». La plupart des métriques de parole distinguent bien le mauvais de l’acceptable, et mal l’acceptable du bon. Une fois que votre modèle produit une sortie réellement de haute qualité, la métrique objective plafonne et cesse de vous dire quelle version est meilleure.
3. Détournement. Toute métrique unique est détournable. Un modèle peut apprendre à produire des sorties qui maximisent PESQ sans produire des sorties que les humains préfèrent. La littérature à ce sujet est inconfortable ; voir les débats perceptuel-contre-PESQ des années 2020 pour des exemples.

La position défendable : utilisez 2–3 métriques objectives complémentaires, traitez-les comme un filtre de triage, et ne criez jamais victoire sur la seule base de métriques objectives.

Tests d’écoute subjectifs : lents, coûteux, la vérité terrain

MUSHRA (ITU-R BS.1534)

Le test de référence pour l’audio de haute qualité. Les auditeurs comparent 5 à 8 versions du même contenu (référence cachée, ancre cachée, une version de basse qualité, et les systèmes testés) et notent chacune de 0 à 100. La référence cachée démasque les auditeurs inattentifs (quiconque la note en dessous de 90 est exclu). L’ancre calibre l’échelle.

La force de MUSHRA est sa haute sensibilité dans la plage de haute qualité, précisément là où PESQ s’effondre. C’est le bon outil quand vous essayez de discriminer entre deux modèles qui sont tous deux plutôt bons.

Chiffres pratiques : 15 à 20 auditeurs, 8 à 12 items par session, ~45 minutes par auditeur. La variabilité entre auditeurs est réelle ; vous voulez un plan de test qui vous permette de faire une analyse à effets mixtes.

Test ABX

Le test « y a-t-il une différence audible ? » le plus propre possible. L’auditeur entend A, B, puis X ; il doit déterminer si X = A ou X = B. La significativité statistique à p < 0,05 nécessite environ 30 identifications correctes sur 40 essais. ABX est l’étalon-or pour prouver qu’une différence audible existe. Il ne vous dit rien sur laquelle est meilleure ; c’est une question distincte.

Quand quelqu’un vous dit « je n’entends pas la différence entre FLAC et MP3 à 320 kbps », il formule une affirmation ABX. La plupart des gens qui pensent pouvoir l’entendre ne le peuvent pas, une fois qu’ils doivent le faire en aveugle. Il en va de même pour l’IA audio : nombre des différences sur lesquelles les équipes produit se torturent disparaissent sous ABX.

Test MOS

Le test subjectif le plus simple : présenter un échantillon, demander aux auditeurs de le noter de 1 à 5. Moins coûteux que MUSHRA, sensibilité plus faible. Raisonnable pour des questions du type « le nouveau suppresseur de bruit est-il meilleur que l’ancien en production » où vous pouvez faire passer des centaines d’items.

Le piège : les scores MOS ne sont pas à échelle d’intervalle. Un 3 n’est pas « à mi-chemin entre 2 et 4 ». L’analyse statistique doit utiliser des méthodes ordinales, sinon vous surestimerez la confiance.

Tests d’écoute participatifs (crowdsourcing)

Des plateformes comme Prolific et Amazon MTurk vous permettent de faire passer des tests de type MOS à grande échelle et à grande vitesse : des centaines d’auditeurs, des résultats en quelques heures. Les compromis :

• Aucun contrôle sur les conditions d’écoute. Casque contre haut-parleurs d’ordinateur portable contre haut-parleurs de téléphone ruinent la cohérence. Atténuez avec des contrôles d’attention (un son caché qu’ils doivent identifier) et une qualification des auditeurs.
• Expertise auto-déclarée. Les participants ne sont pas des auditeurs critiques formés. Pour des jugements de qualité grossiers, c’est correct ; pour un travail nuancé sur l’équilibre spectral, non.
• Limites de durée des stimuli. Les participants ne resteront pas assis pendant des sessions de test de 20 minutes. Concevez pour des durées d’attention de 5 minutes.

Pour la plupart des équipes produit, un test MOS participatif bien conçu vaut largement mieux qu’aucun test d’écoute, et de loin.

Triangulation : le manuel qui fonctionne réellement

L’idée à plus fort levier : ne jouez jamais une release sur un seul chiffre. Triangulez.

Étape 1 : Métriques d’intégration continue

Chaque commit s’exécute contre un jeu d’évaluation fixe avec 2–3 métriques objectives peu coûteuses. Le travail consiste à attraper les régressions, pas à proclamer des améliorations. Une baisse de 5 % du PESQ bloque le merge ; une baisse de 2 % est signalée pour revue humaine.

Étape 2 : Écoute avant la release

Avant de promouvoir un modèle en production, effectuez une petite passe d’écoute par des experts (4 à 6 auditeurs formés, plan MUSHRA, le contenu réel que vous livrez, pas la suite de benchmarks). Si les experts ne peuvent pas classer de façon fiable le nouveau modèle au-dessus de l’ancien, la release s’arrête.

Étape 3 : Évaluation par la foule

Pour les releases grand public, un test MOS participatif sur plus de 100 auditeurs. Confirme le verdict des experts à grande échelle, attrape les problèmes liés à du matériel que les experts n’avaient pas inclus.

Étape 4 : Surveillance en production

Après la release, des métriques sans référence automatisées (DNSMOS, NISQA) sur le trafic de production. Elles sont bruitées au niveau de l’échantillon individuel, mais inébranlables au niveau de la population. Une baisse d’une semaine sur l’autre du DNSMOS moyen est un signal réel.

Les pièges

Une liste non exhaustive d’erreurs d’évaluation qui coûtent cher aux équipes produit :

• S’entraîner sur le jeu de test. Cela paraît évident ; cela arrive tout le temps. Surtout quand l’équipe qui construit le modèle et l’équipe qui choisit le jeu d’évaluation sont les mêmes personnes.
• Évaluer sur trop peu de matériel. Cinq clips ne sont pas un jeu d’évaluation. Quarante est le minimum opérationnel pour toute affirmation quantitative.
• Sélectionner les cas d’échec. « Regarde comme ça sonne mal sur ce clip ! » est un outil de débogage, pas une évaluation. La version honnête rend compte de la distribution complète.
• Confondre perte perceptuelle et qualité perceptuelle. Un modèle entraîné avec une fonction de perte perceptuelle n’est pas la même chose qu’un modèle qui produit une sortie perceptuellement meilleure. La perte est un moyen ; le test est la fin.
• Comparaisons de pommes et d’oranges. Votre modèle à 48 kHz contre la baseline à 16 kHz vous dit que le modèle rééchantillonne ; il ne vous dit rien sur la question de savoir si le modèle est meilleur.
• Lire trop de choses dans 0,1 MOS. PESQ et POLQA ont une variance de mesure. Une différence de 0,1 MOS est du bruit. Faites passer plus d’échantillons ou utilisez un test sensible.

Avec quoi AudioLab évalue

Pour les labs en activité :

• MixLab Analyzer. Aucune évaluation de modèle : c’est un outil de mesure. Les chiffres sont validés contre des signaux de référence EBU R128 et nous publions les bandes de concordance sur la page de méthodologie.
• VoiceLab QA. Score composite évalué contre un jeu interne de 200 clips avec annotations d’experts. Précision/rappel rapportés sur la page de méthodologie.
• SignalLab Indexer. F1 d’étiquetage de régions contre un jeu de vérité terrain de 1000 clips avec trois annotateurs par clip (accord inter-annotateurs rapporté à côté du F1).
• HearLab Companion. Aucune revendication clinique ; aucune évaluation clinique. Le composant de sous-titrage rapporte le WER contre un benchmark public ; le reste est un travail d’UX et reçoit une évaluation UX.

Le résumé honnête

L’évaluation de l’IA audio est plus difficile que l’évaluation de la classification d’images, plus difficile que l’évaluation de benchmarks de NLP, et bien plus difficile que ne le suggèrent les commodes classements à chiffre unique de nombreuses model cards. Les équipes qui s’y prennent bien font tourner plusieurs méthodes, instrumentent la production et cessent d’essayer de comprimer la qualité sonore en un seul flottant.

Les équipes qui s’y prennent mal partagent en général trois habitudes : une métrique, un jeu d’évaluation et aucun test d’écoute. Éviter ces trois habitudes, c’est 80 % du travail.

Essayez les démos AudioLab → · Lisez la page de méthodologie → · Parcourez le glossaire →