Wat we deden
Drie studies vroegen hoe dicht de schatting bij de ware verhouding ligt. Alle drie mengen spraak met ruis in een bekende verhouding, dus het goede antwoord is bekend. De eerste is beschrijvend; de andere twee legden hun slagingscriteria vooraf vast.
- SNR-1. 680 mengsels: 40 voorgelezen opnames uit LibriSpeech dev-clean, elk schoon en met vier DEMAND-ruizen op 20, 10, 5 en 0 dB.
- SNR-2. 1.344 opnames: 48 synthetische uitingen in negen DEMAND-omgevingen op 20, 10 en 5 dB, plus schone controles. Het toetste een hybride schatter tegen een vooraf vastgelegde lat.
- SNR-3. 520 mengsels van LibriSpeech test-clean met drie omgevingen die in geen enkele ontwikkelset zaten: een stadsplein, straatverkeer en een metro. Het toetste een correctie die onder 16 dB werkt, bovenop de tweede spraakdetector.
Los daarvan meet de stresstest wat ruis een spraakherkenner kost: 24 voorgelezen Engelse zinnen in dezelfde condities voor twee open Whisper-modellen.
De uitkomst
De standaardschatting leest te hoog bij lage verhoudingen (SNR-1). Met keukenruis was de gemiddelde fout +1,2 dB bij 20 dB, +4,1 dB bij 10 dB, +6,8 dB bij 5 dB en +10,7 dB bij 0 dB. Met ganggeluid was het +3,4, +6,9, +9,0 en +12,5 dB. Het ruisniveau zelf las 2,6 tot 5,4 dB te laag in de keuken, en tot 8,5 dB te laag in de gang. Waar de ware verhouding 10 tot 30 dB is, wijkt de schatting in 90% van de gevallen hooguit 6 dB af; daaronder leest hij te hoog.
Een hybride schatter is niet overgenomen (SNR-2). Hij miste zijn eerste lat: het 90e percentiel van de fout bij 10 dB was 6,21 dB tegen een lat van 6,0, en bij 10 dB overcorrigeerde hij, gemiddeld met 3,4 dB. De toets bevestigde SNR-1 wel: de standaardschatting las +1,6 dB te hoog bij 20 dB, +3,2 dB bij 10 dB en +5,6 dB bij 5 dB.
Een correctie is als opt-in overgenomen (SNR-3). Alle vier de criteria werden gehaald. Bij 5 dB ging de gemiddelde fout van +5,95 dB naar +1,87 dB, en het 90e percentiel van 7,44 dB naar 2,98 dB. Bij 10 dB ging het 90e percentiel van 5,28 dB naar 2,01 dB zonder overcorrectie; bij 20 dB en op schone opnames veranderde niets. De maat blijft Gevalideerd, met zijn marge.
Wat ruis een spraakherkenner kost
Whisper small
| Conditie | WER % | Verandering tegenover schoon, punten (95%-interval) | Oordeel |
|---|---|---|---|
| Schoon (referentie) | 5,0 | n.v.t. | referentie |
| Straatlawaai op het niveau van de spraak (0 dB) | 5,9 | +0,9 (−0,9 tot +3,7) | geen duidelijk verschil |
| Restaurantgeluid, 5 dB onder de spraak | 11,4 | +6,4 (+1,9 tot +12,2) | duidelijk slechter |
| Restaurantgeluid op het niveau van de spraak (0 dB) | 33,8 | +28,8 (+19,5 tot +40,1) | duidelijk slechter |
Whisper large-v3-turbo
| Conditie | WER % | Verandering tegenover schoon, punten (95%-interval) | Oordeel |
|---|---|---|---|
| Schoon (referentie) | 3,4 | n.v.t. | referentie |
| Straatlawaai op het niveau van de spraak (0 dB) | 4,1 | +0,7 (−0,3 tot +1,9) | geen duidelijk verschil |
| Restaurantgeluid, 5 dB onder de spraak | 7,1 | +3,6 (+1,7 tot +5,8) | duidelijk slechter |
| Restaurantgeluid op het niveau van de spraak (0 dB) | 22,6 | +19,2 (+10,8 tot +30,6) | duidelijk slechter |
Engelse voorgelezen spraak, 24 zinnen per conditie, in elke conditie dezelfde zinnen, zodat elke opname wordt vergeleken met haar eigen schone versie. Duidelijk slechter betekent dat het 95%-interval van de gepaarde verandering boven nul ligt en dat de verandering minstens 2 punten is. Geen duidelijk verschil betekent niet dat er geen verschil is: de intervallen zijn breed. De condities zijn gekozen na een eerste proef met Whisper small. Set stresstest-core-en versie 0.2.
Hoe ver dit reikt
De marge van plus of min 6 dB geldt voor voorgelezen spraak met constante achtergrondruis bij een ware verhouding van 10 tot 30 dB. Met de tweede spraakdetector geldt hij vanaf ongeveer 5 dB voor een stadsplein en voor straatverkeer, en samengevoegd over keuken, woonkamer, gang en kantine (90e percentiel 4,4 dB bij 5 dB). Bij 10 dB is de samengevoegde waarde over die vier 6,25 dB en haalt een metro 7,3 dB. Bij 0 dB leest de schatting nog steeds ongeveer 6 dB te hoog. Zonder de opt-in geldt de marge pas vanaf 10 dB.
De getallen voor de spraakherkenner zijn een kleine toets met brede intervallen: straatlawaai op het niveau van de spraak maakte geen duidelijk verschil, restaurantgeluid wel.
Wat we niet hebben getoetst
- Echte gesprekken en echte telefoonlijnen.
- Ruis van een echte televisie of van muziek achter de spreker.
- Andere talen, en andere spraakherkenners dan de twee Whisper-modellen.
- Of de schatting voorspelt welke opnames een spraakherkenner fout krijgt: in onze eigen toets deed de SNR-maat dat niet. Zie Voorspellen audiomaten fouten?
Bronnen en volgende stappen
Studies in ons register: SNR-1, SNR-2, SNR-3, stresstest v0.2. De status van elke maat staat op /lenses en hoe we toetsen staat op /methodology.
Ander bewijs
- Niveau en clipping
- Codecs
- Pakketverlies
- Echo: in voorbereiding
- Een concurrerende stem
- Scènematen en inhoudstype
- Spraakdetectie
- Afkapping aan het begin en einde
- Ruimte en galm
- Voorspellen audiomaten fouten?
- Een opschoonstap, voor en na: in voorbereiding
- Waar we ernaast zaten