Was wir getan haben
Die Studie (DR-1) legte ihre fünf Bestehenskriterien vorab fest und maß an Daten, an denen sie nicht entwickelt wurde.
- Was als Lücke zählt. Eine Strecke digitaler Stille von 8 bis 500 ms, die nicht am Rand der Aufnahme liegt und in Klang einschneidet: Der Pegel kurz davor und kurz danach liegt innerhalb von 20 dB des aktiven Pegels. Eine natürliche Pause klingt zuerst aus und zählt deshalb nicht.
- Konstruierte Lücken. 40 vorgelesene Aufnahmen aus LibriSpeech test-clean (40 Sprecher) in sechs Bedingungen, mit und ohne DEMAND-Rauschen, und mit natürlichen Pausen aus digitaler Stille als harte Negativfälle. Jede von uns erzeugte Lücke hat einen bekannten Ort und eine bekannte Länge.
- Die Paketverlust-Situation unseres Szenario-Sets. Synthetische Stimmen mit 20-ms-Paketen, einer Verlustwahrscheinlichkeit von 6 % pro Paket und einem Verlust von einem bis drei Paketen, auf null gesetzt. Aufnahmen ohne Lücken, einschließlich synthetischer Stimmen mit natürlichen Pausen aus digitaler Stille, waren die Negativfälle.
Davon getrennt schnitt der Stresstest etwa 10 % der Pakete (je 20 ms) aus 24 englischen vorgelesenen Sätzen heraus, ohne Verschleierung, für zwei offene Whisper-Modelle.
Das Ergebnis
DR-1: Alle fünf Kriterien wurden erfüllt. 99,9 % Präzision bei 8.406 Lücken, 99,8 % der 8.411 Lücken, die in Klang fielen, gefunden, und keine Fehlalarme bei 1.615 Aufnahmen ohne Lücken. Die drei Messgrößen sind Validiert, mit analytischer Grundlage.
Die Zählung ist eine Untergrenze. Etwa 60 % der von uns erzeugten Lücken fielen in Klang. Ein Verlust innerhalb einer Pause lässt sich nicht von der Pause unterscheiden und wird deshalb nicht gezählt. Ein Verlust, den ein Codec verschleiert hat, hinterlässt keine Lücke, die man finden könnte, und AMR-Stille wird ebenfalls nicht gezählt.
Was Paketverlust einen Spracherkenner kostet
Whisper small
| Bedingung | WER % | Änderung gegenüber sauber, Punkte (95-%-Intervall) | Einordnung |
|---|---|---|---|
| Sauber (Referenz) | 5,0 | entf. | Referenz |
| Etwa 10 % Paketverlust (20-ms-Pakete, keine Verschleierung) | 4,8 | −0,2 (−1,3 bis +0,7) | kein klarer Unterschied |
Whisper large-v3-turbo
| Bedingung | WER % | Änderung gegenüber sauber, Punkte (95-%-Intervall) | Einordnung |
|---|---|---|---|
| Sauber (Referenz) | 3,4 | entf. | Referenz |
| Etwa 10 % Paketverlust (20-ms-Pakete, keine Verschleierung) | 3,6 | +0,2 (−0,7 bis +1,3) | kein klarer Unterschied |
Englische vorgelesene Sprache, 24 Sätze pro Bedingung, in jeder Bedingung dieselben Sätze, sodass jede Aufnahme mit ihrer eigenen sauberen Fassung verglichen wird. Klar schlechter heißt: Das 95-%-Intervall der gepaarten Änderung liegt über null und die Änderung beträgt mindestens 2 Punkte. Kein klarer Unterschied heißt nicht, dass es keinen Unterschied gibt: Die Intervalle sind breit. Die Bedingungen wurden nach einem ersten Versuch mit Whisper small gewählt. Set stresstest-core-en Version 0.2.
Wie weit das reicht
Lücken aus digitaler Stille mitten im Klang, in vorgelesener englischer Sprache und in synthetischen Stimmen, mit und ohne Rauschen. Die Zahlen zu den Spracherkennern sind ein kleiner Test: Etwa 10 % Verlust in 20-ms-Paketen ohne Verschleierung machten für keines der beiden Modelle einen klaren Unterschied.
Was wir nicht getestet haben
- Lücken, die ein Codec verschleiert hat, und die Stille, die ein AMR-Codec einfügt.
- Echter Netzwerkverlust und echte Telefonanrufe.
- Was Paketverlust mit Verschleierung, der übliche Fall in einem echten Anruf, einen Spracherkenner kostet.
- Andere Spracherkenner und andere Sprachen.
Quellen und nächste Schritte
Studien in unserem Register: DR-1, Stresstest v0.2. Der Status jeder Messgröße steht auf /lenses und wie wir testen, steht auf /methodology.
Weitere Belege
- Pegel und Clipping
- Codecs
- Echo: in Vorbereitung
- Rauschen und SNR
- Eine konkurrierende Stimme
- Szenen-Messgrößen und Inhaltstyp
- Sprachdetektion
- Abschneiden am Anfang und Ende
- Raum und Nachhall
- Sagen Audio-Messgrößen Fehler voraus?
- Ein Bereinigungsschritt, vorher und nachher: in Vorbereitung
- Wo wir falsch lagen