Wat we deden
Dezelfde 24 voorgelezen Engelse zinnen waarvan de eerste 100, 250 en 500 ms van de spraak zijn afgekapt (alles vóór het begin van de spraak, plus die tijd, is met een harde snede verwijderd, zonder fade) en waarvan de laatste 250 ms zijn afgekapt. Twee open spraakherkenners, Whisper small en Whisper large-v3-turbo. De condities zijn vastgelegd op 15 oktober 2026, vóór de eerste transcriptie.
De eigen maten van AudioLab zijn daarna op dezelfde bestanden gelezen, zonder een uitkomst van een spraakherkenner te kennen. Die lezing was verkennend: er waren geen slagingscriteria en het is geen voorgeregistreerde toets.
De uitkomst
Wat het een spraakherkenner kost: het begin telt, het einde niet. 250 ms van het begin afkappen was voor beide modellen duidelijk slechter, en 500 ms nog meer, bijna helemaal door woorden die helemaal niet werden opgeschreven: 9,8% van de referentiewoorden werd weggelaten bij 500 ms. Een snede van 100 ms aan het begin en een van 250 ms aan het einde maakten geen duidelijk verschil.
Whisper small
| Conditie | WER % | Verandering tegenover schoon, punten (95%-interval) | Oordeel |
|---|---|---|---|
| Schoon (referentie) | 5,0 | n.v.t. | referentie |
| Eerste 100 ms van de spraak verwijderd | 5,7 | +0,7 (−1,1 tot +3,0) | geen duidelijk verschil |
| Eerste 250 ms van de spraak verwijderd | 9,8 | +4,8 (+2,3 tot +7,6) | duidelijk slechter |
| Eerste 500 ms van de spraak verwijderd | 14,6 | +9,6 (+7,0 tot +12,5) | duidelijk slechter |
| Laatste 250 ms van de spraak verwijderd | 6,2 | +1,1 (−0,5 tot +2,8) | geen duidelijk verschil |
Whisper large-v3-turbo
| Conditie | WER % | Verandering tegenover schoon, punten (95%-interval) | Oordeel |
|---|---|---|---|
| Schoon (referentie) | 3,4 | n.v.t. | referentie |
| Eerste 100 ms van de spraak verwijderd | 5,0 | +1,6 (−0,4 tot +3,6) | geen duidelijk verschil |
| Eerste 250 ms van de spraak verwijderd | 8,2 | +4,8 (+2,4 tot +7,3) | duidelijk slechter |
| Eerste 500 ms van de spraak verwijderd | 13,5 | +10,0 (+6,8 tot +13,3) | duidelijk slechter |
| Laatste 250 ms van de spraak verwijderd | 4,3 | +0,9 (−0,5 tot +3,2) | geen duidelijk verschil |
Engelse voorgelezen spraak, 24 zinnen per conditie, in elke conditie dezelfde zinnen, zodat elke opname wordt vergeleken met haar eigen schone versie. Duidelijk slechter betekent dat het 95%-interval van de gepaarde verandering boven nul ligt en dat de verandering minstens 2 punten is. Geen duidelijk verschil betekent niet dat er geen verschil is: de intervallen zijn breed. De condities en niveaus lagen vast voor de eerste transcriptie (vooraf geregistreerd op 15 oktober 2026). Set stresstest-core-en-v03-new versie 0.3.
Wat AudioLab leest: een luide rand. Het niveau aan de rand van het bestand scheidt een afgekapt begin van een niet afgekapt begin: de oppervlakte onder de curve is 0,96 over de 72 afgekapte beginnen en 24 niet afgekapte (medianen -29, -27 en -24 dBFS tegen -59 dBFS), en 0,97 voor het einde (mediaan -32 dBFS tegen -57 dBFS). De ja-of-nee-maten zijn grover: "afgekapt aan het begin" was waar voor 13, 18 en 20 van 24 opnames die 100, 250 en 500 ms in de spraak waren afgekapt (12, 15 en 18 met de standaard spraakdetector), "afgekapt aan het einde" voor 17 van 24 (en 12 met de standaard), en geen van beide was ooit waar voor de 24 niet afgekapte opnames.
Een deel van wat de ja-of-nee-maten missen ligt niet aan de maat. Volgens de eigen regel van de toets is de eerste 20 ms van het bestand maar in 19 van de 24 opnames die bij 100 ms zijn afgekapt spraak, omdat een harde snede in een pauze of een zachte medeklinker kan vallen. Waar hij wel in spraak valt, markeert de maat de meeste: 13 van die 19 bij 100 ms en 18 van 19 bij 500 ms.
Dus: dit is de ene plek waar de maat en de kosten op één lijn liggen. Een begin dat hard is afgekapt toont zich als een luide rand, en dat is de schade waarvoor een spraakherkenner betaalt. Gebruik het niveau aan de rand in plaats van het ja of nee.
Hoe ver dit reikt
Engelse voorgelezen spraak met de hand afgekapt op bekende posities, 24 zinnen per conditie, Whisper small en large-v3-turbo op een CPU. De intervallen zijn breed: een verandering kleiner dan ongeveer 2 punten is niet van geen verandering te onderscheiden.
Wat we niet hebben getoetst
- Opnames die echt zijn afgekapt, door een stemdetector die te laat openging of een knop die te laat werd ingedrukt: de onze zijn met de hand afgekapt.
- Streamende spraakherkenners en voice agents, die het begin van een uiting anders afhandelen.
- Andere spraakherkenners en andere talen.
- We schreven vooraf op dat een snede van 250 ms aan het einde een spraakherkenner duidelijk zou kosten. Dat was niet zo.
Bronnen en volgende stappen
Studies in ons register: stresstest v0.3, V03-ENG. De status van elke maat staat op /lenses en hoe we toetsen staat op /methodology.
Ander bewijs
- Niveau en clipping
- Codecs
- Pakketverlies
- Echo: in voorbereiding
- Ruis en SNR
- Een concurrerende stem
- Scènematen en inhoudstype
- Spraakdetectie
- Ruimte en galm
- Voorspellen audiomaten fouten?
- Een opschoonstap, voor en na: in voorbereiding
- Waar we ernaast zaten