Nu je eigen opname
De check meet in je browser en uploadt je audio niet. Hij voorspelt niet hoeveel woorden een spraakherkenner fout zal hebben; de reikwijdte van die toets staat in zijn status.
Audio uit een agent of een text-to-speech-model verstuurd? De uitgaande check voegt loudness, true peak en je eigen limieten toe; de QC-weergave toont hetzelfde bestand lane voor lane (demo van 40 seconden, gids van één pagina). Denk je dat een getal niet klopt? Vertel het ons; wat we bevestigen komt op Waar we ernaast zaten.
Dezelfde maten in een pipeline
Eén opname, of tot 20 in één batch-aanroep, via de gehoste API of via MCP in je agent. Met measureStatus komt elke maat met zijn status, en zijn marge waar we er een hebben gemeten; met round worden de getallen afgerond op wat de meting waard is.
curl https://audiolab.tools/v1/voicelab/qa \
-H "Authorization: Bearer $AUDIOLAB_KEY" \
-H "Content-Type: application/json" \
-d '{"url":"https://example.com/call.wav","measureStatus":true,"round":true}'Standaarden tot 15 januari 2027, en de gidsen
De API antwoordt tot 15 januari 2027 nog met zijn eerste spraakdetector en zijn eerste contentmodel; de site gebruikt al de nieuwere. Stuur speechDetector "k2" (voice-routes) en contentModel "v2" (signallab en profielen) om dezelfde getallen als in de browser te krijgen. Met k2 leest het spraakaandeel ongeveer 5 tot 14 punten hoger, afhankelijk van de ruis, en leest de SNR in ruisachtige opnames lager, dichter bij de ware waarde.
Voice-agent-audio vergelijken De API en zijn gepubliceerde checks Verbind via MCP
Je audio. De check in je browser meet op je apparaat en je audio wordt niet geüpload. De API en de MCP-server ontvangen de audio bij de in de EU gehoste API en er komen alleen getallen terug; een bestand dat je uploadt voor een grotere analyse wordt binnen een uur verwijderd. Opnames van mensen die je niet naar een gehoste dienst mag sturen horen in de browsercheck, of in een lokale opzet waarover we kunnen praten.
Audio die je netwerk niet mag verlaten? Praat met ons over een lokale of zelf gehoste opzet. Het is nog geen standaardproduct, en we beloven geen datum en geen prijs.
Het volledige voorbeeldrapport
De echte uitvoer van de engine op een van onze voorbeeldopnames. Elk getal draagt zijn status, zijn marge waar we er een hebben gemeten, en wat het wel en niet zegt.
speech-female-pangram.mp3 · 15,1 s
Niveau en clipping
Te zacht of overstuurd is de goedkoopste fout om te vinden.
-23,2 dBFS
Bruikbaar als pass- of fail-controle.
Wat het wel en niet zegt
Komt overeen met de RMS van een bekende toon (-9,07 tegen -9,03 dB) en volgt een daling van 12 dB. Het is het gemiddelde over de frames die de spraakdetector spraak noemt, dus een detector die meer van de zachte woordbeginnen en woordeinden meetelt verlaagt het: met de K2-detector (zie Spraakaandeel) leest het 0,5 dB lager op schone audio en tot 1,4 dB lager in ruis (136 testmengsels).
-5,3 dBFS
Bruikbaar als pass- of fail-controle.
Wat het wel en niet zegt
Komt overeen met de true peak van een schone opname.
0
Bruikbaar als pass- of fail-controle.
Wat het wel en niet zegt
Ziet 3 procent vastzittende samples, en geen op een genormaliseerde schone opname.
Ruis
Hoe ver de spraak boven de ruis eromheen uitkomt. Lees de marge: met de hier gebruikte spraakdetector houdt het stand vanaf ongeveer 5 dB, en daaronder leest de schatting te hoog.
36,5 dB
Marge: ±6 dB
Bruikbaar als pass- of fail-controle, binnen de marge.
Wat het wel en niet zegt
Geen voorspeller van de nauwkeurigheid van spraakherkenning.
-59,7 dBFS
Bruikbaar als pass- of fail-controle.
Wat het wel en niet zegt
Stijgt met toegevoegde ruis; ruisvloeren landen op het ware niveau van stationaire synthetische ruis. Op 40 voorgelezen opnames met echte achtergrondruis (SNR-1, 12 oktober 2026) zit het 1 tot 8 dB onder het gemiddelde niveau van die ruis, omdat het de stilste tiende van de frames leest.
Gaten in de audio
Gaten van digitale stilte midden in geluid, zoals verloren pakketten. Een ondergrens: een verlies dat de codec heeft verborgen laat geen gat achter om te vinden.
0
Bruikbaar als pass- of fail-controle.
Wat het wel en niet zegt
Niet het aantal verloren pakketten: een verlies in een pauze of een stil stuk is niet van een pauze te onderscheiden, en een verlies dat de codec heeft verborgen laat geen gat achter. Het is een ondergrens: in de pakketverliestest sneden 1.539 van de 2.554 gemaakte gaten in geluid.
0,00 s
Bruikbaar als pass- of fail-controle.
Wat het wel en niet zegt
Niet het aandeel van de opname dat verloren ging: alleen gaten die in geluid sneden worden opgeteld, en een verlies in een pauze of een stil stuk telt niet.
Toonhoogte en stemkwaliteit
De toonhoogte van de stem en hoeveel van het geluid harmonisch is.
218 Hz
Marge: ±3 procent
Bruikbaar als pass- of fail-controle, binnen de marge.
Wat het wel en niet zegt
Geen noot en geen maat voor de leeftijd of het geslacht van de spreker: de mediaan over de hele opname.
16,2 dB
Bruikbaar als pass- of fail-controle.
Wat het wel en niet zegt
Niet de achtergrondruis alleen: het telt alles wat zich niet van periode tot periode herhaalt, jitter en shimmer inbegrepen. Niet de HNR van Praat op de decimaal: dezelfde definitie op een andere tracker, als mediaan over de voiced frames gewogen naar energie.
Gemeten met de engine die de check gebruikt, hier gedecodeerd met ffmpeg en in de live check met je browser, dus de laatste cijfers kunnen verschillen voor hetzelfde bestand. Maten die alleen indicatief zijn, zijn hier weggelaten, net als in de live check totdat je erom vraagt.
Wat de woorden betekenen
- Gevalideerd
- Getoetst tegen een norm of een bekende waarde, met de bron erbij.
- Proxy
- Benadert iets. Alleen de richting is getoetst, of de drempels zijn met de hand gekozen.
- Beta
- Nog geen grondwaarheidstest. Het kan kloppen; het is niet aangetoond. Het kan veranderen.
- Ingetrokken
- Faalde de toets. Blijft in de changelog, wordt niet meer als resultaat getoond.
Een status Gevalideerd met een analytische basis betekent dat de berekening klopt op een signaal met een bekend antwoord. Het betekent niet dat het getal een betekenis heeft op een echte opname; de basis van elke maat staat op /lenses.
“Wat het een spraakherkenner kost” komt uit onze stresstest: Engelse voorgelezen spraak, 24 zinnen per conditie, twee open Whisper-modellen. Het is een kleine toets met brede intervallen, en de condities zijn gekozen na een eerste proef met één model, dus hij zegt waar deze modellen gevoelig voor zijn, niet waar elk systeem gevoelig voor is. “Nog niet gepubliceerd” betekent precies dat: de getallen staan nog niet op deze site.
Waar het bewijs dik is, en waar het dun is
Elf stappen van de microfoon naar het transcript, en een twaalfde voor wat we niet dekken. We hebben ruis, spraakdetectie, pakketverlies, ruimtes en toonhoogte meerdere keren getoetst, ook toetsen die faalden. Niveau en clipping, en bandbreedte en herkomst, zijn gecontroleerd op de berekening maar nog niet op wat ze een spraakherkenner kosten. Codecs, echo, afkapping aan het begin en einde, en het effect van galm op herkenning zijn dun of ontbreken. Klik op een stap om hem te lezen.
| Stap | Wat AudioLab leest | Getoetst tegen bekende waarden | Kosten voor een spraakherkenner | Bewijs |
|---|---|---|---|---|
| 1. Opname en niveau Getoetst: Normsignalen, bekende signalen, gebouwde opnames. Kosten voor een spraakherkenner: Gemeten, kleine toets. | Gevalideerd 18 | Normsignalen, bekende signalen, gebouwde opnames | Gemeten, kleine toets | Niveau en clipping |
| 2. Bandbreedte, codec en herkomst Getoetst: Bekende signalen, spraakcodecs. Kosten voor een spraakherkenner: Gemeten, kleine toets. | Gevalideerd 5 | Bekende signalen, spraakcodecs | Gemeten, kleine toets | Codecs |
| 3. Netwerk: verloren pakketten Getoetst: Gebouwde gaten, 8.406. Kosten voor een spraakherkenner: Gemeten, kleine toets. | Gevalideerd 3 | Gebouwde gaten, 8.406 | Gemeten, kleine toets | Pakketverlies |
| 4. Echo en een vertraagde kopie van de stem Getoetst: Gebouwde kopieën, 284. Kosten voor een spraakherkenner: Nog niet gepubliceerd. | Gevalideerd 3 | Gebouwde kopieën, 284 | Nog niet gepubliceerd | Echo: in voorbereiding |
| 5. Ruis Getoetst: Mengsels met een bekende verhouding. Kosten voor een spraakherkenner: Gemeten, kleine toets. | Gevalideerd 5Proxy 1 | Mengsels met een bekende verhouding | Gemeten, kleine toets | Ruis en SNR |
| 6. Een andere stem, televisie, geroezemoes, muziek Getoetst: Gedeeltelijk, met missers. Kosten voor een spraakherkenner: Gemeten, kleine toets. | Proxy 13 | Gedeeltelijk, met missers | Gemeten, kleine toets | Een concurrerende stemScènematen en inhoudstype |
| 7. Spraakdetectie en het begin en einde van een uiting Getoetst: Gedeeltelijk, met missers. Kosten voor een spraakherkenner: Gemeten, kleine toets. | Gevalideerd 4Proxy 5 | Gedeeltelijk, met missers | Gemeten, kleine toets | SpraakdetectieAfkapping aan het begin en einde |
| 8. Ruimte en galm Getoetst: Echte ruimtes, klap en sweep. Kosten voor een spraakherkenner: Nog niet gepubliceerd. | Gevalideerd 2Proxy 1Ingetrokken 1 | Echte ruimtes, klap en sweep | Nog niet gepubliceerd | Ruimte en galm |
| 9. De stem en de kwaliteit ervan Getoetst: Gebouwde en echte stemmen. Kosten voor een spraakherkenner: n.v.t.. | Gevalideerd 2Proxy 2Beta 2 | Gebouwde en echte stemmen | n.v.t. | - |
| 10. De spraakherkenner zelf Getoetst: Niet van toepassing. Kosten voor een spraakherkenner: Zie stap 5 en 6. | Geen maat | Niet van toepassing | Zie stap 5 en 6 | Voorspellen audiomaten fouten?Een opschoonstap, voor en na: in voorbereiding |
| 11. Het testmateriaal zelf Getoetst: Niet van toepassing. Kosten voor een spraakherkenner: n.v.t.. | Geen maat | Niet van toepassing | n.v.t. | - |
| 12. Wat we niet dekken Getoetst: Niet gedekt. Kosten voor een spraakherkenner: n.v.t.. | Geen maat | Niet gedekt | n.v.t. | - |
Het pad, stap voor stap
Stap 1
Opname en niveau
Te zacht, geclipt, een DC-offset, brom of een constante toon.
Wat AudioLab leest
18 maten: 18 Gevalideerd
Toon de maten
- PiekGevalideerd
- RMS-niveauGevalideerd
- CrestfactorGevalideerd
- Integrated loudnessGevalideerd
- Short-term maxGevalideerd
- Loudness rangeGevalideerd
- True peakGevalideerd
- Momentary maxGevalideerd
- Geclipte samplesGevalideerd
- Heeft clippingGevalideerd
- ClippinggebiedenGevalideerd
- Clipping per fraseGevalideerd
- DC-offsetGevalideerd
- NetbromGevalideerd
- NetfrequentieGevalideerd
- ToonprominentieGevalideerd
- ToonfrequentieGevalideerd
- TonaliteitGevalideerd
Wat we hebben getoetst
Loudness getoetst tegen de testsignalen van EBU Tech 3341 en 3342: in het slechtste geval 0,06 LU ernaast, binnen de 0,1 LU die de norm toestaat. True peak getoetst tegen testgevallen uit BS.1770 (een toon van 997 Hz en een geval met een inter-samplepiek), binnen +0,2 en -0,4 dB. De andere maten getoetst tegen geconstrueerde signalen met een bekend antwoord: dat laat zien dat de berekening klopt, niet wat het getal op een echte opname betekent. Daarna eenmalig gelezen op 24 voorgelezen zinnen die zachter gezet en geclipt waren (geen voorgeregistreerde toets): clipping werd gevonden in elke opname met een reeks geclipte samples en in geen van de 96 zonder; het spraakniveau volgt de versterking omlaag tot -50 dBFS, en bij -60 dBFS verliest de spraakdetector het grootste deel van de spraak.
Studies in ons register: EBU Tech 3341 en 3342, BS.1770, stresstest v0.3, V03-ENG.
Wat het een spraakherkenner kost
| Conditie | Verandering in WER, Whisper small | Verandering in WER, Whisper large-v3-turbo |
|---|---|---|
| Spraak op een actief niveau van -40 dBFS | −0,5 punten, geen duidelijk verschil | +0,5 punten, geen duidelijk verschil |
| Spraak op een actief niveau van -50 dBFS | −0,7 punten, geen duidelijk verschil | +0,5 punten, geen duidelijk verschil |
| Spraak op een actief niveau van -60 dBFS | −1,1 punten, geen duidelijk verschil | −0,5 punten, geen duidelijk verschil |
| +12 dB versterking, hard geclipt op full scale | −0,2 punten, geen duidelijk verschil | −0,5 punten, geen duidelijk verschil |
| +20 dB versterking, hard geclipt op full scale | −0,5 punten, geen duidelijk verschil | −0,2 punten, geen duidelijk verschil |
| +30 dB versterking, hard geclipt op full scale | +0,5 punten, geen duidelijk verschil | −0,7 punten, geen duidelijk verschil |
Engelse voorgelezen spraak, 24 zinnen per conditie, verandering ten opzichte van de schone opname. Een kleine toets met brede intervallen; de condities en niveaus zijn vastgelegd vóór de eerste transcriptie (voorgeregistreerd). Geen zachte of geclipte conditie maakte een duidelijk verschil voor een van beide spraakherkenners, zelfs niet met een kwart van de samples geclipt.
Wat we niet weten
Echte opnames die bij de microfoon clippen (de onze zijn digitaal geclipt), streamende spraakherkenners en andere spraakherkenners dan de twee open.
Het bewijs
Stap 2
Bandbreedte, codec en herkomst
De telefoonband, een bron met verlies (lossy), 8 kHz-audio opgerekt naar 16 kHz, aan elkaar geplakte stukken.
Wat AudioLab leest
5 maten: 5 Gevalideerd
Toon de maten
- BandbreedteGevalideerd
- Lossy bronGevalideerd
- Effectieve bitdiepteGevalideerd
- Geüpsampled vanafGevalideerd
- BandbreedtenadenGevalideerd
Wat we hebben getoetst
Getoetst tegen geconstrueerde signalen met een bekend antwoord. Het bereik van elke maat staat op /lenses. Daarna eenmalig gelezen op 168 opnames van voorgelezen spraak door zeven spraakcodecs (geen voorgeregistreerde toets): de bandbreedte scheidde smalband- van breedbanduitvoer volledig, het label voor een lossy bron zei nooit lossy, en de 8 kHz-herkomst werd gevonden in 4 van 96 opnames via de 8 kHz-codecs.
Studies in ons register: stresstest v0.3, V03-ENG.
Wat het een spraakherkenner kost
| Conditie | Verandering in WER, Whisper small | Verandering in WER, Whisper large-v3-turbo |
|---|---|---|
| Telefoonband, 300 tot 3400 Hz, mu-law | +0,2 punten, geen duidelijk verschil | −0,9 punten, geen duidelijk verschil |
| Telefoonband 300 tot 3400 Hz, A-law 8 kHz | +0,0 punten, geen duidelijk verschil | −0,9 punten, geen duidelijk verschil |
| AMR-NB 4,75 kbit/s | +1,8 punten, geen duidelijk verschil | −0,7 punten, geen duidelijk verschil |
| AMR-NB 12,2 kbit/s | +1,1 punten, geen duidelijk verschil | −0,7 punten, geen duidelijk verschil |
| AMR-WB 12,65 kbit/s | −0,5 punten, geen duidelijk verschil | −0,5 punten, geen duidelijk verschil |
| GSM 6.10 | +0,5 punten, geen duidelijk verschil | −0,9 punten, geen duidelijk verschil |
| Opus 8 kbit/s (voip) | +0,2 punten, geen duidelijk verschil | −0,9 punten, geen duidelijk verschil |
| Opus 16 kbit/s (voip) | −0,5 punten, geen duidelijk verschil | +0,0 punten, geen duidelijk verschil |
Engelse voorgelezen spraak, 24 zinnen per conditie, verandering ten opzichte van de schone opname. Een kleine toets met brede intervallen; de telefoonconditie komt uit de eerste set, waarvan de condities zijn gekozen na een eerste proef met één model; de andere zijn vastgelegd vóór de eerste transcriptie (voorgeregistreerd). Geen codec maakte een duidelijk verschil voor een van beide spraakherkenners.
Wat we niet weten
Echte telefoonlijnen, codecs met verbergen van pakketverlies en andere codecs dan deze zeven.
Het bewijs
Stap 3
Netwerk: verloren pakketten
Gaten van digitale stilte midden in de spraak, hakkelend geluid.
Wat AudioLab leest
3 maten: 3 Gevalideerd
Toon de maten
- DropoutsGevalideerd
- DropouttijdGevalideerd
- Langste dropoutGevalideerd
Wat we hebben getoetst
99,9% precisie op 8.406 gebouwde gaten, 99,8% van de gaten die in geluid vielen gevonden, en geen valse alarmen op 1.615 opnames zonder gaten. Het aantal is een ondergrens: ongeveer 60% van de gaten die we bouwden viel in geluid, en een gat in een pauze is niet van een pauze te onderscheiden.
Studies in ons register: DR-1.
Wat het een spraakherkenner kost
| Conditie | Verandering in WER, Whisper small | Verandering in WER, Whisper large-v3-turbo |
|---|---|---|
| Ongeveer 10% pakketverlies (pakketten van 20 ms, geen verberging) | −0,2 punten, geen duidelijk verschil | +0,2 punten, geen duidelijk verschil |
Engelse voorgelezen spraak, 24 zinnen per conditie, verandering ten opzichte van de schone opname. Een kleine toets met brede intervallen; de condities zijn gekozen na een eerste proef met één model. Er is geen verberging gesimuleerd; echte netwerken verbergen meestal wel.
Wat we niet weten
Gaten die een codec heeft verborgen, en AMR-stilte, worden niet gezien. Echt netwerkverlies is niet getoetst.
Het bewijs
Stap 4
Echo en een vertraagde kopie van de stem
De stem komt terug; een dubbele stem.
Wat AudioLab leest
3 maten: 3 Gevalideerd
Toon de maten
- Slapback- of echovertragingGevalideerd
- Slapback- of echoniveauGevalideerd
- Slapback- of echoscoreGevalideerd
Gevalideerd op gebouwde kopieën sinds 20 oktober 2026, ook via de API (chain-profiel) en de MCP-server.
Wat we hebben getoetst
282 van de 284 gebouwde kopieën gevonden, de vertraging binnen 2 ms in elke kopie en het niveau binnen 2 dB bij gewone digitale kopieën, en geen kopie gemeld in een van de 332 opnames zonder kopie, waarvan 120 echte voorgelezen spraak. Er waren drie toetsen nodig, telkens met vooraf vastgelegde criteria; de eerste twee meldden kopieën die er niet waren.
Wat het een spraakherkenner kost
Nog niet gepubliceerd.
Wat we niet weten
Echte echo in echte opnames, muziek met een loop, een echo met een sterke tweede tap, en het niveau van een kopie die door een ruimte ging (dat leest lager).
Het bewijs
- Echo: in voorbereiding
Stap 5
Ruis
Achtergrondruis die woorden moeilijker verstaanbaar maakt.
Wat AudioLab leest
6 maten: 5 Gevalideerd, 1 Proxy
Toon de maten
- RuisvloerGevalideerd
- Signaal-ruisverhoudingGevalideerd
- Segmentale SNRGevalideerd
- SNR per fraseGevalideerd
- SNR van de slechtste frasesGevalideerd
- Spraak boven achtergrondProxy
Wat we hebben getoetst
Spraak gemengd met ruis in bekende verhoudingen, in drie studies (680 en 520 opnames van voorgelezen spraak, 1.344 van synthetische spraak). Met de standaarddetector leest de schatting bij 10 dB ongeveer 3 tot 7 dB te hoog en bij 5 dB 6 tot 9 dB te hoog. Een tweede detector met een correctie, aangeboden als opt-in, brengt de gemiddelde fout bij 5 dB van +5,95 naar +1,87 dB op drie omgevingen die niet in de ontwikkeling zijn gebruikt. Onder 5 dB leest het nog steeds te hoog.
Studies in ons register: SNR-1, SNR-2, SNR-3.
Wat het een spraakherkenner kost
| Conditie | Verandering in WER, Whisper small | Verandering in WER, Whisper large-v3-turbo |
|---|---|---|
| Straatlawaai op het niveau van de spraak (0 dB) | +0,9 punten, geen duidelijk verschil | +0,7 punten, geen duidelijk verschil |
| Restaurantgeluid, 5 dB onder de spraak | +6,4 punten, duidelijk slechter | +3,6 punten, duidelijk slechter |
| Restaurantgeluid op het niveau van de spraak (0 dB) | +28,8 punten, duidelijk slechter | +19,2 punten, duidelijk slechter |
Engelse voorgelezen spraak, 24 zinnen per conditie, verandering ten opzichte van de schone opname. Een kleine toets met brede intervallen; de condities zijn gekozen na een eerste proef met één model.
Wat we niet weten
Echte gesprekken en telefoonlijnen. Onder 5 dB leest de schatting te hoog.
Het bewijs
Stap 6
Een andere stem, televisie, geroezemoes, muziek
Een televisie, een tweede spreker, geroezemoes of muziek achter de spreker.
Wat AudioLab leest
13 maten: 13 Proxy
Toon de maten
- Wat de pauzes vultProxy
- Program op de achtergrondProxy
- Stemmen of noten in de pauzesProxy
- Spectrale beweging in de pauzesProxy
- Constante toon in de pauzesProxy
- Constante achtergrondruisProxy
- Gerommel in de pauzesProxy
- Spraakband in de pauzesProxy
- Spreiding van het pauzeniveauProxy
- Verstaanbaarheid (proxy)Proxy
- Verstaanbaarheidsscore (proxy)Proxy
- Spraak boven achtergrondProxy
- InhoudstypeProxy
AudioLab detecteert geen tweede stem of televisie.
Wat we hebben getoetst
Inhoudstype getoetst op 600 fragmenten spraak, muziek en ruis: zwak, en ruis wordt zelden ruis genoemd. Scènematen getoetst op 1.344 opnames in negen omgevingen: twee scheiden geroezemoes van machineruis, één werkt achterstevoren. Het label "gemengd" wordt zelden gebruikt waar het zou moeten.
Studies in ons register: CT-1, CT-2, SC-1, MX-1.
Wat het een spraakherkenner kost
| Conditie | Verandering in WER, Whisper small | Verandering in WER, Whisper large-v3-turbo |
|---|---|---|
| Een tweede stem, 5 dB onder de spraak | +5,5 punten, duidelijk slechter | +4,8 punten, geen duidelijk verschil |
| Een tweede stem op het niveau van de spraak (0 dB) | +41,5 punten, duidelijk slechter | +40,2 punten, duidelijk slechter |
Engelse voorgelezen spraak, 24 zinnen per conditie, verandering ten opzichte van de schone opname. Een kleine toets met brede intervallen; de condities zijn gekozen na een eerste proef met één model. Bij gelijk niveau schrijven beide modellen in 6 van de 24 opnames vooral de andere spreker op in plaats van de doelspreker.
Wat we niet weten
Een echte televisie, andere spraakherkenners, andere talen.
Het bewijs
Stap 7
Spraakdetectie en het begin en einde van een uiting
Afgekapte beginnen, een te late of te vroege stop, pauzes die als spraak worden geteld.
Wat AudioLab leest
9 maten: 4 Gevalideerd, 5 Proxy
Toon de maten
- SpraakaandeelProxy
- SpraakduurProxy
- StilteduurProxy
- SpraaksegmentenProxy
- Lange pauzesProxy
- Afgekapt aan het beginGevalideerd
- Afgekapt aan het eindGevalideerd
- Niveau aan het beginGevalideerd
- Niveau aan het eindGevalideerd
Wat we hebben getoetst
De eerste spraakdetector haalde geen enkel criterium op voorgelezen spraak: het aandeel spraak las ongeveer 12,5 punten te laag. Een tweede detector met hysterese, aangeboden als opt-in, haalt zijn vijf criteria maar niet de oorspronkelijke lat. De begin- en eindmaten getoetst tegen geconstrueerde signalen, en eenmalig op voorgelezen zinnen die 100 tot 500 ms in de spraak waren afgekapt (geen voorgeregistreerde toets): het niveau aan de rand scheidde afgekapt van niet afgekapt, de ja-of-nee-maten vingen 13 tot 20 van de 24.
Studies in ons register: VAD-1, VAD-2, stresstest v0.3, V03-ENG.
Wat het een spraakherkenner kost
| Conditie | Verandering in WER, Whisper small | Verandering in WER, Whisper large-v3-turbo |
|---|---|---|
| Eerste 100 ms van de spraak verwijderd | +0,7 punten, geen duidelijk verschil | +1,6 punten, geen duidelijk verschil |
| Eerste 250 ms van de spraak verwijderd | +4,8 punten, duidelijk slechter | +4,8 punten, duidelijk slechter |
| Eerste 500 ms van de spraak verwijderd | +9,6 punten, duidelijk slechter | +10,0 punten, duidelijk slechter |
| Laatste 250 ms van de spraak verwijderd | +1,1 punten, geen duidelijk verschil | +0,9 punten, geen duidelijk verschil |
Engelse voorgelezen spraak, 24 zinnen per conditie, verandering ten opzichte van de schone opname. Een kleine toets met brede intervallen; de condities en niveaus zijn vastgelegd vóór de eerste transcriptie (voorgeregistreerd). Het afkappen van het begin van de spraak kostte een spraakherkenner veel: 250 en 500 ms waren voor beide duidelijk slechter, bijna uitsluitend door verwijderde woorden. 100 ms aan het begin en 250 ms aan het einde maakten geen duidelijk verschil.
Wat we niet weten
Streaminggedrag en echte beurtwisseling, en opnames die echt zijn afgekapt (de onze zijn met de hand afgekapt).
Het bewijs
Stap 8
Ruimte en galm
Een galmende ruimte smeert de woorden uit.
Wat AudioLab leest
4 maten: 2 Gevalideerd, 1 Proxy, 1 Ingetrokken
Toon de maten
- Nagalmtijd (mid)Gevalideerd
- Nagalmtijd per bandGevalideerd
- VervalhellingProxy
- Energie in de pauzes na spraakIngetrokken
De galmtijd wordt gemeten aan een klap of een sweep. Uit spraak is hij niet beschikbaar.
Wat we hebben getoetst
Galmtijd per octaafband gelijk aan onze RoomLab-app op 385 echte impulsresponsies. Een gesimuleerde klap tegen de kale impulsresponsie, 155 ruimtes: mediane fout 3,9%, 86% binnen 10%. De op spraak gebaseerde staartmaat volgde de ruimte maar gedeeltelijk (rangcorrelatie 0,56 op 24 echte ruimtes, lat 0,70), en een eerdere galmscore is ingetrokken.
Studies in ons register: RM-1, TD-1.
Wat het een spraakherkenner kost
Nog niet gepubliceerd.
Wat we niet weten
Galmtijd uit spraak. ISO 3382.
Het bewijs
Stap 9
De stem en de kwaliteit ervan
Toonhoogte, ruwheid, helderheid. Vooral relevant voor het controleren van synthetische stemuitvoer.
Wat AudioLab leest
6 maten: 2 Gevalideerd, 2 Proxy, 2 Beta
Toon de maten
- PitchGevalideerd
- Harmonics-to-noise ratioGevalideerd
- JitterBeta
- ShimmerBeta
- Helderheid van de stemProxy
- SibilantierisicoProxy
Wat we hebben getoetst
Toonhoogte op 1.092 gebouwde stemmen met een exact antwoord: 0,0% grove fouten bij schone opnames en hooguit 1,9% onder ruis of alleen in de telefoonband, tot 5,9% voor klinkers wanneer beide samen bij 10 dB worden gecombineerd. Op echte spraak lag 97,97% van 48.817 frames binnen 20% van een tweede tracker. De harmonische-ruisverhouding: 18 van 19 binnen 1,5 dB. Jitter en shimmer misten hun lat net.
Studies in ons register: PT-1 tot PT-4.
Wat het een spraakherkenner kost
Niet van toepassing op herkenning. Nuttig om de uitvoer van een synthetische stem te controleren.
Wat we niet weten
Hoe natuurlijk een stem klinkt, en emotie (bewust niet aangeboden).
Stap 10
De spraakherkenner zelf
Verkeerde woorden, getallen, namen, adressen.
Wat AudioLab leest
AudioLab meet de audio, niet de spraakherkenner. De stresstest meet de spraakherkenner.
Wat we hebben getoetst
Stresstest v0.2: Engelse voorgelezen spraak, twee Whisper-modellen, acht condities. In onze eigen toets voorspelde de SNR-maat transcriptiefouten niet; de reikwijdte van die toets staat in de status op /lenses.
Wat het een spraakherkenner kost
Zie stap 5 en 6.
Wat we niet weten
Andere spraakherkenners, echte gesprekken, dialect, kinderspraak, klinische spraak.
Het bewijs
- Voorspellen audiomaten fouten?
- Een opschoonstap, voor en na: in voorbereiding
Stap 11
Het testmateriaal zelf
Een synthetische beller stuurt het resultaat.
Wat we hebben getoetst
Synthetische stemmen kunnen structuur dragen die echte spraak niet heeft, en een detector die echte spraak aankan kan er valse alarmen op geven. Toets een detector op echte en op synthetische stemmen als beide in jouw gebruik voorkomen.
Wat het een spraakherkenner kost
Niet van toepassing.
Wat we niet weten
Of synthetische stemmen voor elke detector neutraal zijn.
Stap 12
Wat we niet dekken
Latentie, beurtwisseling, onderbrekingen (barge-in), hoe natuurlijk een synthetische stem klinkt, begrip en intentie, echte telefoonlijnen, streaming en andere talen dan Engels en Nederlands.
Wat we hebben getoetst
Niets. Dit valt buiten wat AudioLab meet of heeft getoetst.
Wat het een spraakherkenner kost
Niet van toepassing.
Wat we niet weten
Alles.
We publiceren de toetsen die faalden
Een galmscore die de galm niet volgde is ingetrokken. Een bewering dat een op spraak gebaseerde maat de ruimte zelf meet is geschrapt, omdat hij de ruimte maar gedeeltelijk volgde. Onze eerste spraakdetector haalde geen enkel criterium, en ons eerste inhoudstypemodel noemde ruis bijna nooit ruis. Jitter en shimmer misten hun lat met een kleine marge en worden niet aangeboden. Daarom zijn de getallen die overblijven te vertrouwen.
Waar te beginnen, per rol
Een voice-agent-team
Je levert een agent die luistert aan de telefoon of in een browser. Begin met stap 1, 3, 5, 6 en 7, en stresstest daarna de spraakherkenner die je gebruikt.
Een evaluator van spraakherkenners
Je vergelijkt of stelt spraakherkenners af. Stap 5, 6 en 10 laten zien wat ruis en een tweede stem twee open modellen kosten, en de stresstest vergelijkt elke run gepaard.
Kwaliteit in callcenters
Je beoordeelt gesprekken op schaal. Draai stap 1, 2, 3 en 5 als batch via de API, met de status naast elk getal, en de marge waar we er een hebben gemeten.
Een datasetbouwer
Je verzamelt of koopt spraakdata. Stap 1, 2, 5 en 9 vertellen je naar welke bestanden je eerst moet kijken.
Een telefonie- of realtime-engineer
Je beheert het pad dat de audio aflegt: codecs, bandbreedte en verloren pakketten. Stap 2 toont wat AudioLab over de band leest en wat zeven spraakcodecs twee open spraakherkenners kosten, en stap 3 de gaten die verloren pakketten kunnen achterlaten en wat gesimuleerd verlies kost.
Stresstest je eigen spraakherkenner of agent
De check kijkt naar één opname. De stresstest kijkt naar jouw systeem: dezelfde opnames onder bekende omstandigheden, de verandering in woordfoutpercentage ten opzichte van schoon voor elke conditie, en een gepaard voor-en-na-rapport voor elke wijziging die je maakt.
- Een vaste set. 24 Engelse zinnen in acht condities: schoon, telefoonband, straatruis, restaurantruis, een tweede stem en pakketverlies. 192 opnames, ongeveer 20 minuten audio.
- Een runner op je eigen machine. Hij roept je spraakherkenner of agent aan met een commando dat je opgeeft, of een OpenAI-compatibel endpoint. Je sleutel en je antwoorden blijven bij jou; er wordt niets naar ons gestuurd.
- Een rapport dat je kunt vergelijken. Per conditie de verandering ten opzichte van schoon met een 95%-interval en een exacte tekentoets, en een gepaarde vergelijking met je vorige run: duidelijk slechter, duidelijk beter, of geen duidelijke verandering.
- Een manier om een wijziging te testen. Een modelupdate, nieuwe instellingen, of een opschoonstap vóór de spraakherkenner: draai de set met en zonder en vergelijk, ook op opnames die goed waren.
Status: in voorbereiding. De set en de runner zijn nog niet gepubliceerd en er is geen datum. De condities zijn testcondities die wij erdoor mengen; AudioLab detecteert ze niet in je opnames. Zie hoe een run op twee open Whisper-modellen eruitzag, en wat hij je niet kan vertellen.
Lees een rapport van de runner: het stresstest-dashboard.