Wat we deden
Beide studies legden hun slagingscriteria vooraf vast en gebruikten opnames waarin de spraak woord voor woord is gemarkeerd, zodat het goede antwoord bekend is.
- VAD-1, de eerste detector. 40 voorgelezen opnames uit LibriSpeech dev-clean met woorduitlijning, elk in 17 condities: schoon, en vier DEMAND-ruizen op 20, 10, 5 en 0 dB. Dat zijn 680 mengsels.
- VAD-2, een detector met hysterese. 40 nieuwe opnames uit LibriSpeech test-clean in dezelfde 17 condities (680 mengsels), en de 1.344 opnames van onze scènestudie.
- De begin- en eindmaten zijn gecontroleerd tegen geconstrueerde signalen met een bekend antwoord: een toon aan het begin leest zijn niveau binnen 1 dB, en een bestand dat midden in spraak begint wordt gezien.
De uitkomst
VAD-1: geen enkel criterium werd gehaald. Op schone spraak was de F1 voor spraakframes 0,92, maar het aandeel spraak las gemiddeld 12,5 procentpunten te laag (de lat was 4) en de zuiverheid van de pauzes was 0,69 (de lat was 0,95): zachte begin- en eindstukken van woorden vallen onder de drempel. Met constante ruis was de F1 0,90 of beter tot 20 dB en 0,79 tot 0,90 bij 10 dB; bij 5 dB en lager is hij onbetrouwbaar. Bij 0 dB met woonkamer- of kantineruis noemt hij bijna alles spraak, en de pauzematen geven in 82 tot 85% van de opnames niets terug.
VAD-2: de hysterese haalde alle vijf de criteria. Op schone spraak en bij 20 en 10 dB ging de F1 van 0,878 naar 0,941, de zuiverheid van de pauzes van 0,608 naar 0,756 en de gemiddelde fout van het spraakaandeel van 0,170 naar 0,082. Bij 5 dB ging de F1 van 0,637 naar 0,773. Het is een verbetering, geen oplossing: de oorspronkelijke latten (zuiverheid 0,95, fout 0,04) liggen nog steeds buiten bereik.
Wat dat betekent voor de maten. Alle spraak- en pauzematen blijven indicatief (Proxy): alleen informatie, nooit een slaag-of-faalcontrole. De verbeterde detector is een opt-in in de API (speechDetector: "k2") en de check op deze site gebruikt hem; hij wordt de standaard op 15 januari 2027. De begin- en eindmaten zijn Gevalideerd.
Hoe ver dit reikt
Voorgelezen Engelse spraak met constante achtergrondruis. Spraakdetectie, en alles wat erop leunt (de ruisschatting, de pauzemaat, de scènematen), geeft een indicatie tot ongeveer 10 dB signaal-ruisverhouding en is daaronder zwak.
Wat een afgekapt begin, een late stop of een pauze die als spraak wordt geteld een spraakherkenner kost, is nog niet gepubliceerd. Het komt hier te staan zodra de getallen in ons register staan.
Wat we niet hebben getoetst
- Echte gesprekken en telefoonspraak.
- Televisie of muziek achter de spreker.
- Streaminggedrag en echte beurtwisseling.
- Andere talen.
- Wat deze fouten een spraakherkenner kosten.
Bronnen en volgende stappen
Studies in ons register: VAD-1, VAD-2. De status van elke maat staat op /lenses en hoe we toetsen staat op /methodology.
Ander bewijs
- Niveau en clipping
- Codecs
- Pakketverlies
- Echo: in voorbereiding
- Ruis en SNR
- Een concurrerende stem
- Scènematen en inhoudstype
- Afkapping aan het begin en einde
- Ruimte en galm
- Voorspellen audiomaten fouten?
- Een opschoonstap, voor en na: in voorbereiding
- Waar we ernaast zaten