Niveau en clipping: wat AudioLab leest en wat het kost

Wat het een spraakherkenner kost: niets wat we konden aantonen. Geen van de zes condities maakte een duidelijk verschil voor een van beide modellen, zelfs niet met een kwart van de samples geclipt (voor een duidelijk slechtere lezing is een interval boven nul nodig en een verandering van minstens 2 punten). Whisper normaliseert het niveau van de opname zelf, en de clipping is hier digitaal: een harde clip op full scale.

Wat AudioLab leest: de clipping, en het niveau tot op zekere hoogte. Clipping werd gevonden in 22 van 24 opnames bij +12 dB, 24 van 24 bij +20 dB en 24 van 24 bij +30 dB, en in geen van de 96 opnames zonder clipping. De twee die bij +12 dB niet zijn gemarkeerd bevatten geen reeks geclipte samples: de ene heeft geen sample op full scale en de andere maar twee losse, en de maat telt reeksen van minstens drie op een rij. Over de 72 geclipte bestanden volgt de telling het ware aandeel met een rangcorrelatie van 0,96. Lichte clipping leest om dezelfde reden laag: bij maximaal 1 procent geclipte samples telde hij ongeveer 0,7 van de samples op full scale (mediaan). Het aantal geclipte regio's zegt niet hoeveel er is geclipt: de mediaan was 20 regio's bij 5 procent geclipte samples en 12 bij 25 procent, want zware clipping laat de stukken samensmelten.

De piek, het RMS-niveau en de crestfactor komen overeen met onze eigen telling van de samples (grootste verschil 0,000 dB). Het spraakniveau volgt de versterking: bij een daling van 14 dB las het een verandering van 14,0 dB en bij 24 dB 23,8 dB (mediaan). Bij -60 dBFS houdt de spraakdetector maar ongeveer 9 procent van de spraak over, en in 2 van de 24 opnames niets, dus het niveau is het gemiddelde van alleen de luidste delen en leest 5,4 dB te hoog (mediaan over de 22 opnames die er een hebben).

Dus: AudioLab ziet de clipping en, tot -50 dBFS, het niveau, en de twee spraakherkenners hadden er ook geen last van. De maten zijn bedoeld om de schade in je opnames te vinden, niet om te voorspellen wat het je spraakherkenner kost. De meeste audiofouten die we meten kosten deze twee modellen niets; waar het om gaat is dat je het voor die van jou weet, en daar is de stresstest voor.

Engelse voorgelezen spraak, 24 zinnen per conditie, Whisper small en large-v3-turbo op een CPU, dus de intervallen zijn breed: een verandering kleiner dan ongeveer 2 punten is niet van geen verandering te onderscheiden. De niveaus zijn een zuivere versterking van schone opnames, en de clipping is een harde clip op full scale van schone opnames die harder zijn gezet.

• Streamende spraakherkenners en voice agents die live luisteren: zij kunnen anders op het niveau reageren.
• Andere spraakherkenners dan de twee open, en andere talen.
• Clipping bij een microfoon of in een analoge trap, zachte clipping en compressors.
• Opnames die zacht zijn omdat de microfoon ver weg staat: daar komt meer ruis bij.
• We schreven vooraf op dat de zwaarste clipping een spraakherkenner duidelijk zou kosten. Dat was niet zo.