Audio-AI-modellen evalueren: een praktische gids voor metingen die ertoe doen

Je hebt een audio-AI-functie uitgebracht. Een model dat podcasts ontruist, stems scheidt, spraakmemo’s superresolutie geeft, muziek genereert, mixen mastert: kies degene die bij jouw week past. En nu: is het goed? Was de nieuwe versie beter dan de oude? Beter dan de concurrent? Beter dan niets?

Die vragen goed beantwoorden is lastiger dan het lijkt. Audio is perceptueel: twee algoritmes kunnen signalen produceren die wiskundig enorm verschillen en toch identiek klinken, of signalen die wiskundig vrijwel identiek zijn en compleet anders klinken. De verkeerde evaluatiestrategie laat je een regressie uitbrengen die 80% van de luisteraars opmerkt, terwijl elke metriek op je dashboard groen oplicht.

Dit stuk is het werkdraaiboek dat we in de AudioLab-labs gebruiken wanneer we een audio-AI-model beoordelen. Niet uitputtend (achter elke regel hieronder gaat 400 pagina’s literatuur schuil), maar genoeg om een verdedigbare go/no-go-beslissing te nemen zonder drie maanden academische omweg.

Het twee-assenkader

Elke audio-AI-evaluatie leeft in een 2×2:

	Goedkoop uit te voeren	Duur uit te voeren
Volgt perceptie	(grotendeels leeg)	Subjectieve luistertests
Volgt perceptie niet	Objectieve metrieken	Gespecialiseerde analyse

Het kwadrant linksonder (goedkope objectieve metrieken) is waar de meeste productteams 95% van hun tijd doorbrengen. Rechtsboven (subjectieve luistertests) is waar audio-onderzoekslabs hun reputatie op bouwen. De kunst is weten welke je gebruikt, wanneer, en welke combinaties eerlijk trianguleren.

Objectieve metrieken: snel, schaalbaar, vaak liegend

De klassiekers

• PESQ (ITU-T P.862). Voorspelde MOS voor smalband- en breedbandspraak. Gevalideerd tegen telecomwaardige verstoringen: codec-artefacten, pakketverlies, additieve ruis. Verzadigt sterk boven ~4 MOS, wat betekent dat het “echt goed” niet van “uitstekend” kan onderscheiden. Grotendeels vervangen door POLQA voor nieuw werk, maar PESQ blijft het werkpaard omdat het gratis is en iedereen het al heeft geïntegreerd.
• POLQA (ITU-T P.863). De opvolger van PESQ. Breder validatiebereik, gaat beter om met moderne codecs, minder gevoelig voor gain-mismatch. Met licentie, wat de echte reden is dat de meeste opensourceprojecten nog steeds PESQ citeren.
• STOI (Short-Time Objective Intelligibility). Een op correlatie gebaseerde verstaanbaarheidsvoorspeller. Goedkoop, goed gecorreleerd met menselijke verstaanbaarheidsscores voor smalbandspraak in ruis. Minder betrouwbaar voor muziek of voor “afwerkings”-oordelen waar de verstaanbaarheid al 100% is.
• SI-SDR (Scale-Invariant Signal-to-Distortion Ratio). De standaard voor bronscheiding. Vergelijkt referentie en schatting na optimale schaling. Schaalinvariant, want gain-mismatch zou een prima scheiding niet de grond in moeten boren.

De nieuwere lichting

• DNSMOS / NISQA. Neurale netwerken die getraind zijn om subjectieve MOS-scores te voorspellen. Referentievrij: je hebt geen schoon doelsignaal nodig. De juiste keuze wanneer je ruisonderdrukking of spraakverbetering evalueert op opnames uit de praktijk waar geen ground truth bestaat.
• VISQOL. Het perceptuele model van Google voor zowel spraak als audio. Opensource, goed onderhouden, gaat met een breed scala aan verstoringen om.
• CDPAM (Contrastive Deep Perceptual Audio Metric). Een aangeleerde perceptuele afstand voor algemene audio. Nuttig voor “heeft het model iets veranderd dat een mens zou opmerken?”-sanity-checks.

Wanneer objectieve metrieken het laten afweten

Drie faalmodi keren steeds terug:

1. Out-of-distribution-materiaal. PESQ is gevalideerd op telefoonlijnspraak. Draai het op opera en je krijgt getallen, maar die getallen betekenen niet wat ze op telefoonlijnspraak betekenen. De klassieke metrieken zijn domeinspecifiek, zelfs als hun makers dat niet zo bedoelden.
2. Verzadiging in het “goede” bereik. De meeste spraakmetrieken onderscheiden slecht van oké goed, en oké van goed slecht. Zodra je model werkelijk hoogwaardige output produceert, vlakt de objectieve metriek af en stopt het je te vertellen welke versie beter is.
3. Spel spelen. Elke afzonderlijke metriek is te bespelen. Een model kan leren output te produceren die PESQ maximaliseert zonder output te produceren die mensen verkiezen. De literatuur hierover is ongemakkelijk; zie de perceptueel-versus-PESQ-debatten van de jaren 2020 voor voorbeelden.

Het verdedigbare standpunt: gebruik 2–3 complementaire objectieve metrieken, behandel ze als een triagefilter, en roep nooit de overwinning uit op basis van objectieve metrieken alleen.

Subjectieve luistertests: traag, duur, de ground truth

MUSHRA (ITU-R BS.1534)

De standaardtest voor hoogwaardige audio. Luisteraars vergelijken 5–8 versies van dezelfde content (verborgen referentie, verborgen anker en de systemen die getest worden) en geven elke een score van 0–100. De verborgen referentie betrapt onoplettende luisteraars (wie het lager dan 90 scoort, wordt uitgesloten). Het anker kalibreert de schaal.

De kracht van MUSHRA is een hoge gevoeligheid in het hoogwaardige bereik, precies waar PESQ omvalt. Het is het juiste gereedschap wanneer je probeert te onderscheiden tussen twee modellen die allebei behoorlijk goed zijn.

Praktische getallen: 15–20 luisteraars, 8–12 items per sessie, ~45 minuten per luisteraar. Variabiliteit tussen luisteraars is reëel; je wilt een testopzet die je een mixed-effects-analyse laat doen.

ABX-testen

De schoonst mogelijke “is er een hoorbaar verschil?”-test. De luisteraar hoort A, B, dan X, en moet vaststellen of X = A of X = B. Statistische significantie bij p < 0,05 vereist ongeveer 30 correcte identificaties op 40 pogingen. ABX is de gouden standaard om te bewijzen dat een hoorbaar verschil bestaat. Het zegt je niets over welke beter is; dat is een aparte vraag.

Wanneer iemand je vertelt “ik hoor het verschil niet tussen FLAC en 320 kbps MP3”, doet die persoon een ABX-bewering. De meeste mensen die denken dat ze het kunnen horen, kunnen het niet, zodra ze het blind moeten doen. Hetzelfde geldt voor audio-AI: veel van de verschillen waar productteams zich druk om maken, verdwijnen onder ABX.

MOS-testen

De simpelste subjectieve test: presenteer een sample, vraag luisteraars het van 1–5 te beoordelen. Goedkoper dan MUSHRA, lagere gevoeligheid. Redelijk voor “is de nieuwe ruisonderdrukker beter dan de oude in productie”-vragen waar je honderden items kunt draaien.

De haak: MOS-scores zijn niet op intervalschaal. Een 3 is niet “halverwege tussen 2 en 4”. Statistische analyse moet ordinale methoden gebruiken, anders overschat je je betrouwbaarheid.

Crowdsourced luistertests

Platforms zoals Prolific en Amazon MTurk laten je MOS-achtige tests op schaal en met snelheid draaien: honderden luisteraars, resultaten binnen uren. De afwegingen:

• Geen controle over luisteromstandigheden. Koptelefoon versus laptopspeakers versus telefoonspeakers verwoesten de consistentie. Verzacht dit met aandachtschecks (een verborgen toon die ze moeten identificeren) en luisteraarskwalificatie.
• Zelfgekozen expertise. Crowdworkers zijn geen getrainde kritische luisteraars. Voor grove kwaliteitsoordelen is dat prima; voor genuanceerd werk aan spectrale balans niet.
• Limieten op stimuluslengte. Crowdworkers zitten geen testsessies van 20 minuten uit. Ontwerp voor aandachtsspannes van 5 minuten.

Voor de meeste productteams verslaat een goed ontworpen crowdsourced MOS-test met een ruime marge helemaal geen luistertest.

Triangulatie: het draaiboek dat echt werkt

Het idee met de hoogste hefboomwerking: zet nooit een release in op één getal. Trianguleer.

Fase 1: Continuous-integration-metrieken

Elke commit draait tegen een vaste evaluatieset met 2–3 goedkope objectieve metrieken. De taak is regressies opvangen, niet verbeteringen uitroepen. Een daling van 5% in PESQ blokkeert de merge; een daling van 2% wordt gemarkeerd voor menselijke beoordeling.

Fase 2: Luisteren vóór release

Voordat je een model naar productie promoveert, draai je een kleine luisterronde met experts (4–6 getrainde luisteraars, MUSHRA-opzet, de daadwerkelijke content die je uitlevert, niet de benchmarksuite). Als experts het nieuwe model niet betrouwbaar boven het oude kunnen rangschikken, stopt de release.

Fase 3: Crowd-evaluatie

Voor releases gericht op consumenten een crowdsourced MOS-test met 100+ luisteraars. Bevestigt het oordeel van de experts op schaal, vangt problemen op met materiaal dat de experts niet hadden meegenomen.

Fase 4: Productiemonitoring

Na de release geautomatiseerde referentievrije metrieken (DNSMOS, NISQA) op productieverkeer. Deze zijn ruisig op het niveau van het afzonderlijke sample, maar rotsvast op populatieniveau. Een week-op-week daling in de gemiddelde DNSMOS is een echt signaal.

De valkuilen

Een niet-uitputtende lijst van evaluatiefouten die productteams duur komen te staan:

• Trainen op de testset. Klinkt vanzelfsprekend; gebeurt voortdurend. Vooral wanneer het team dat het model bouwt en het team dat de evaluatieset kiest dezelfde mensen zijn.
• Evalueren op te weinig materiaal. Vijf clips is geen evaluatieset. Veertig is het werkbare minimum voor elke kwantitatieve bewering.
• Cherry-picken van faalgevallen. “Kijk hoe slecht het op deze clip klinkt!” is een debug-gereedschap, geen evaluatie. De eerlijke versie rapporteert de volledige verdeling.
• Perceptueel verlies verwarren met perceptuele kwaliteit. Een model dat getraind is met een perceptuele verliesfunctie is niet hetzelfde als een model dat perceptueel betere output produceert. Het verlies is een middel; de test is het doel.
• Appels-met-peren-vergelijkingen. Jouw model op 48 kHz versus de baseline op 16 kHz vertelt je dat het model resamplet; het vertelt je niets over de vraag of het model beter is.
• Te veel betekenis hechten aan 0,1 MOS. PESQ en POLQA hebben meetvariantie. Een verschil van 0,1 MOS is ruis. Draai meer samples of gebruik een gevoelige test.

Waarmee AudioLab evalueert

Voor de werkende labs:

• MixLab Analyzer. Geen modelevaluaties; het is een meetinstrument. De getallen zijn gevalideerd tegen EBU R128-referentiesignalen en we publiceren de overeenstemmingsbanden op de methodologiepagina.
• VoiceLab QA. Samengestelde score geëvalueerd tegen een interne set van 200 clips met annotaties van experts. Gerapporteerde precisie/recall op de methodologiepagina.
• SignalLab Indexer. Region-labelling-F1 tegen een ground-truth-set van 1000 clips met drie annotatoren per clip (inter-annotator-overeenstemming gerapporteerd naast de F1).
• HearLab Companion. Geen klinische claims; geen klinische evaluatie. De ondertitelingscomponent rapporteert WER tegen een publieke benchmark; de rest is UX-werk en krijgt UX-evaluatie.

De eerlijke samenvatting

Audio-AI-evaluatie is lastiger dan evaluatie van beeldclassificatie, lastiger dan evaluatie van NLP-benchmarks, en veel lastiger dan de handige enkele-getalleaderboards in veel model cards doen vermoeden. De teams die het goed doen, draaien meerdere methoden, instrumenteren productie en stoppen met proberen geluidskwaliteit in één float samen te persen.

De teams die het verkeerd doen, delen meestal drie gewoonten: één metriek, één evaluatieset en geen luistertests. Die drie gewoonten vermijden is 80% van het werk.

Probeer de AudioLab-demo’s → · Lees de methodologiepagina → · Blader door de woordenlijst →