Wat we deden
- 24 zinnen uit LibriSpeech test-clean, Engels, voorgelezen door 24 verschillende sprekers. In elke conditie staan dezelfde 24 zinnen, zodat elke opname wordt vergeleken met haar eigen schone versie.
- Acht condities: schoon, telefoonband, straatlawaai, restaurantgeluid op twee niveaus, een tweede stem op twee niveaus en ongeveer 10% pakketverlies zonder verberging. De ruis komt uit de DEMAND-opnames. De tweede stem is een andere LibriSpeech-spreker die andere tekst voorleest. Een niveau van 0 dB betekent even hard als de spraak; 5 dB betekent 5 dB zachter.
- Twee open Whisper-modellen, small en large-v3-turbo, draaiend op een lokale computer. We rapporteren het woordfoutpercentage (WER) met één vaste manier om de tekst te normaliseren, opgeschreven zodat een ander team hetzelfde getal krijgt.
- Voor elke conditie rapporteren we de verandering in WER tegenover schoon, in procentpunten, met een 95%-interval uit een bootstrap over de 24 zinnen.
- De condities zijn gekozen na een eerste proef met Whisper small. Sommige scheidden zich niet van schoon, dus we vervingen ze door condities die dat wel deden. De set zegt daarom iets over waar Whisper last van heeft, niet over elk systeem.
De uitkomst
Restaurantgeluid en een tweede stem kosten het meest. Op het niveau van de spraak verhoogde een tweede stem het foutpercentage met ongeveer 40 punten voor beide modellen. Straatlawaai op het niveau van de spraak, de telefoonband en ongeveer 10% pakketverlies zonder verberging maakten geen duidelijk verschil.
Whisper small
| Conditie | WER % | Verandering tegenover schoon, punten (95%-interval) | Oordeel |
|---|---|---|---|
| Schoon (referentie) | 5,0 | n.v.t. | referentie |
| Telefoonband, 300 tot 3400 Hz, mu-law | 5,3 | +0,2 (+0,0 tot +0,8) | geen duidelijk verschil |
| Straatlawaai op het niveau van de spraak (0 dB) | 5,9 | +0,9 (−0,9 tot +3,7) | geen duidelijk verschil |
| Restaurantgeluid, 5 dB onder de spraak | 11,4 | +6,4 (+1,9 tot +12,2) | duidelijk slechter |
| Restaurantgeluid op het niveau van de spraak (0 dB) | 33,8 | +28,8 (+19,5 tot +40,1) | duidelijk slechter |
| Een tweede stem, 5 dB onder de spraak | 10,5 | +5,5 (+0,6 tot +11,9) | duidelijk slechter |
| Een tweede stem op het niveau van de spraak (0 dB) | 46,6 | +41,5 (+22,3 tot +62,7) | duidelijk slechter |
| Ongeveer 10% pakketverlies (pakketten van 20 ms, geen verberging) | 4,8 | −0,2 (−1,3 tot +0,7) | geen duidelijk verschil |
Whisper large-v3-turbo
| Conditie | WER % | Verandering tegenover schoon, punten (95%-interval) | Oordeel |
|---|---|---|---|
| Schoon (referentie) | 3,4 | n.v.t. | referentie |
| Telefoonband, 300 tot 3400 Hz, mu-law | 2,5 | −0,9 (−2,0 tot +0,0) | geen duidelijk verschil |
| Straatlawaai op het niveau van de spraak (0 dB) | 4,1 | +0,7 (−0,3 tot +1,9) | geen duidelijk verschil |
| Restaurantgeluid, 5 dB onder de spraak | 7,1 | +3,6 (+1,7 tot +5,8) | duidelijk slechter |
| Restaurantgeluid op het niveau van de spraak (0 dB) | 22,6 | +19,2 (+10,8 tot +30,6) | duidelijk slechter |
| Een tweede stem, 5 dB onder de spraak | 8,2 | +4,8 (−0,2 tot +14,1) | geen duidelijk verschil |
| Een tweede stem op het niveau van de spraak (0 dB) | 43,6 | +40,2 (+19,6 tot +64,2) | duidelijk slechter |
| Ongeveer 10% pakketverlies (pakketten van 20 ms, geen verberging) | 3,6 | +0,2 (−0,7 tot +1,3) | geen duidelijk verschil |
Engelse voorgelezen spraak, 24 zinnen per conditie, in elke conditie dezelfde zinnen, zodat elke opname wordt vergeleken met haar eigen schone versie. Duidelijk slechter betekent dat het 95%-interval van de gepaarde verandering boven nul ligt en dat de verandering minstens 2 punten is. Geen duidelijk verschil betekent niet dat er geen verschil is: de intervallen zijn breed. De condities zijn gekozen na een eerste proef met Whisper small. Set stresstest-core-en versie 0.2.
Soms wordt de tweede stem opgeschreven
Bij gelijk niveau schreven beide modellen in 6 van 24 opnames vooral de zin van de andere spreker op in plaats van die van de doelspreker. Met de tweede stem 5 dB zachter gebeurde dit in 0 van 24 opnames voor Whisper small en in 1 van 24 voor Whisper large-v3-turbo. In de andere zes condities gebeurde het in 0 van 288 opnames.
Hoe we telden. Een opname telt mee wanneer het transcript dichter bij de zin van de andere spreker ligt dan bij de zin van de doelspreker, en minstens de helft van de woorden van de andere zin goed is. Dit is onze eigen regel voor een kleine toets; het is geen standaardmaat.
Hoe ver dit reikt
Dit geldt voor Engelse voorgelezen spraak met een tweede stem in dezelfde taal, op een bekend niveau erbij gemengd, voor twee open modellen. Omdat de intervallen breed zijn, is een tweede stem 5 dB onder de spraak duidelijk slechter voor het ene model en niet voor het andere.
Wat we niet hebben getoetst
- Een echte televisie. Onze tweede stem is een persoon die in dezelfde taal voorleest, op een bekend niveau erbij gemengd. Een televisie voegt muziek, effecten, de galm van de ruimte waarin hij speelt en compressie toe, en hij verandert per programma.
- Andere spraakherkenners en andere talen, ook die in commerciële voice agents.
- Echte gesprekken: echte telefoonnetwerken, echte conversatie, onderbrekingen, accenten en dialect. De telefoonband is hier een filter en een codec, geen gesprek.
- Hoe groot de effecten voor jou zijn. 24 zinnen per conditie is weinig. Lees de intervallen, niet alleen de getallen.
- Of een opschoon- of verbeterstap vóór de spraakherkenner helpt. De set kan dat laten zien, door hem met en zonder de stap te draaien. We publiceren er nog geen uitkomst over.
Waar AudioLab past
AudioLab detecteert geen tweede stem of televisie in een opname. De stresstest is een manier om je eigen spraakherkenner of agent onder bekende condities te meten: dezelfde opnames, voor en na een wijziging gedraaid, met een gepaard rapport. Hij is in voorbereiding; de set en de runner zijn nog niet gepubliceerd en er is geen datum.
Bronnen en volgende stappen
Studies in ons register: stresstest v0.2. De status van elke maat staat op /lenses en hoe we toetsen staat op /methodology.
Ander bewijs
- Niveau en clipping
- Codecs
- Pakketverlies
- Echo: in voorbereiding
- Ruis en SNR
- Scènematen en inhoudstype
- Spraakdetectie
- Afkapping aan het begin en einde
- Ruimte en galm
- Voorspellen audiomaten fouten?
- Een opschoonstap, voor en na: in voorbereiding
- Waar we ernaast zaten