Wat we deden
De studie (DR-1) legde haar vijf slagingscriteria vooraf vast en mat op data waarop ze niet was ontwikkeld.
- Wat telt als gat. Een stuk digitale stilte van 8 tot 500 ms dat niet aan de rand van de opname ligt en in geluid snijdt: het niveau vlak ervoor en vlak erna ligt binnen 20 dB van het actieve niveau. Een natuurlijke pauze sterft eerst weg, dus die telt niet.
- Gebouwde gaten. 40 voorgelezen opnames uit LibriSpeech test-clean (40 sprekers) in zes condities, met en zonder DEMAND-ruis, en met natuurlijke pauzes van digitale stilte als moeilijk negatief geval. Elk gat dat we maakten heeft een bekende plaats en lengte.
- De pakketverliessituatie van onze scenarioset. Synthetische stemmen met pakketten van 20 ms, 6% kans op verlies per pakket en een verlies van één tot drie pakketten, op nul gezet. Opnames zonder gaten, waaronder synthetische stemmen met natuurlijke pauzes van digitale stilte, waren de negatieven.
Los daarvan sneed de stresstest ongeveer 10% van de pakketten (elk 20 ms) uit 24 voorgelezen Engelse zinnen, zonder verberging, voor twee open Whisper-modellen.
De uitkomst
DR-1: alle vijf de criteria werden gehaald. 99,9% precisie op 8.406 gaten, 99,8% van de 8.411 gaten die in geluid vielen gevonden, en geen valse alarmen op 1.615 opnames zonder gaten. De drie maten zijn Gevalideerd, met een analytische basis.
De telling is een ondergrens. Ongeveer 60% van de gaten die we maakten viel in geluid. Een verlies binnen een pauze is niet van de pauze te onderscheiden, dus dat wordt niet geteld. Een verlies dat een codec heeft verborgen laat geen gat achter om te vinden, en AMR-stilte wordt ook niet geteld.
Wat pakketverlies een spraakherkenner kost
Whisper small
| Conditie | WER % | Verandering tegenover schoon, punten (95%-interval) | Oordeel |
|---|---|---|---|
| Schoon (referentie) | 5,0 | n.v.t. | referentie |
| Ongeveer 10% pakketverlies (pakketten van 20 ms, geen verberging) | 4,8 | −0,2 (−1,3 tot +0,7) | geen duidelijk verschil |
Whisper large-v3-turbo
| Conditie | WER % | Verandering tegenover schoon, punten (95%-interval) | Oordeel |
|---|---|---|---|
| Schoon (referentie) | 3,4 | n.v.t. | referentie |
| Ongeveer 10% pakketverlies (pakketten van 20 ms, geen verberging) | 3,6 | +0,2 (−0,7 tot +1,3) | geen duidelijk verschil |
Engelse voorgelezen spraak, 24 zinnen per conditie, in elke conditie dezelfde zinnen, zodat elke opname wordt vergeleken met haar eigen schone versie. Duidelijk slechter betekent dat het 95%-interval van de gepaarde verandering boven nul ligt en dat de verandering minstens 2 punten is. Geen duidelijk verschil betekent niet dat er geen verschil is: de intervallen zijn breed. De condities zijn gekozen na een eerste proef met Whisper small. Set stresstest-core-en versie 0.2.
Hoe ver dit reikt
Gaten van digitale stilte midden in geluid, in voorgelezen Engelse spraak en in synthetische stemmen, met en zonder ruis. De getallen voor de spraakherkenner zijn een kleine toets: ongeveer 10% verlies in pakketten van 20 ms, zonder verberging, maakte voor geen van beide modellen een duidelijk verschil.
Wat we niet hebben getoetst
- Gaten die een codec heeft verborgen, en de stilte die een AMR-codec invoegt.
- Echt netwerkverlies en echte telefoongesprekken.
- Wat pakketverlies met verberging, het gebruikelijke geval in een echt gesprek, een spraakherkenner kost.
- Andere spraakherkenners en andere talen.
Bronnen en volgende stappen
Studies in ons register: DR-1, stresstest v0.2. De status van elke maat staat op /lenses en hoe we toetsen staat op /methodology.
Ander bewijs
- Niveau en clipping
- Codecs
- Echo: in voorbereiding
- Ruis en SNR
- Een concurrerende stem
- Scènematen en inhoudstype
- Spraakdetectie
- Afkapping aan het begin en einde
- Ruimte en galm
- Voorspellen audiomaten fouten?
- Een opschoonstap, voor en na: in voorbereiding
- Waar we ernaast zaten