Was wir getan haben
Drei Studien fragten, wie nah die Schätzung am wahren Verhältnis liegt. Alle mischen Sprache mit Rauschen in einem bekannten Verhältnis, sodass die richtige Antwort bekannt ist. Die erste ist beschreibend; die anderen beiden legten ihre Bestehenskriterien vorab fest.
- SNR-1. 680 Mischungen: 40 vorgelesene Aufnahmen aus LibriSpeech dev-clean, jeweils sauber und mit vier DEMAND-Rauschen bei 20, 10, 5 und 0 dB.
- SNR-2. 1.344 Aufnahmen: 48 synthetische Äußerungen in neun DEMAND-Umgebungen bei 20, 10 und 5 dB, dazu saubere Kontrollen. Getestet wurde ein hybrider Schätzer gegen eine vorab festgelegte Latte.
- SNR-3. 520 Mischungen aus LibriSpeech test-clean mit drei Umgebungen, die in keinem Entwicklungsset vorkamen: ein Stadtplatz, Straßenverkehr und eine Metro. Getestet wurde eine Korrektur, die unter 16 dB greift, zusätzlich zum zweiten Sprachdetektor.
Davon getrennt misst der Stresstest, was Rauschen einen Spracherkenner kostet: 24 englische vorgelesene Sätze unter denselben Bedingungen für zwei offene Whisper-Modelle.
Das Ergebnis
Die Standardschätzung liest bei niedrigen Verhältnissen zu hoch (SNR-1). Bei Küchenrauschen lag der mittlere Fehler bei +1,2 dB bei 20 dB, +4,1 dB bei 10 dB, +6,8 dB bei 5 dB und +10,7 dB bei 0 dB. Bei Flurrauschen waren es +3,4, +6,9, +9,0 und +12,5 dB. Der Rauschpegel selbst wurde in der Küche 2,6 bis 5,4 dB zu niedrig gelesen und im Flur bis zu 8,5 dB zu niedrig. Wo das wahre Verhältnis 10 bis 30 dB beträgt, liegt die Schätzung in 90 % der Fälle höchstens 6 dB daneben; darunter liest sie zu hoch.
Ein hybrider Schätzer wurde nicht übernommen (SNR-2). Er verfehlte seine erste Latte: Das 90. Perzentil des Fehlers bei 10 dB lag bei 6,21 dB gegen eine Latte von 6,0, und bei 10 dB überkorrigierte er, im Mittel um 3,4 dB. Der Test bestätigte SNR-1: Die Standardschätzung las +1,6 dB zu hoch bei 20 dB, +3,2 dB bei 10 dB und +5,6 dB bei 5 dB.
Eine Korrektur wurde als Opt-in übernommen (SNR-3). Alle vier Kriterien wurden erfüllt. Bei 5 dB ging der mittlere Fehler von +5,95 dB auf +1,87 dB und das 90. Perzentil von 7,44 dB auf 2,98 dB. Bei 10 dB ging das 90. Perzentil von 5,28 dB auf 2,01 dB ohne Überkorrektur; bei 20 dB und bei sauberen Aufnahmen änderte sich nichts. Die Messgröße bleibt Validiert, mit ihrer Marge.
Was Rauschen einen Spracherkenner kostet
Whisper small
| Bedingung | WER % | Änderung gegenüber sauber, Punkte (95-%-Intervall) | Einordnung |
|---|---|---|---|
| Sauber (Referenz) | 5,0 | entf. | Referenz |
| Straßenlärm auf dem Pegel der Sprache (0 dB) | 5,9 | +0,9 (−0,9 bis +3,7) | kein klarer Unterschied |
| Restaurantgeräusche, 5 dB unter der Sprache | 11,4 | +6,4 (+1,9 bis +12,2) | klar schlechter |
| Restaurantgeräusche auf dem Pegel der Sprache (0 dB) | 33,8 | +28,8 (+19,5 bis +40,1) | klar schlechter |
Whisper large-v3-turbo
| Bedingung | WER % | Änderung gegenüber sauber, Punkte (95-%-Intervall) | Einordnung |
|---|---|---|---|
| Sauber (Referenz) | 3,4 | entf. | Referenz |
| Straßenlärm auf dem Pegel der Sprache (0 dB) | 4,1 | +0,7 (−0,3 bis +1,9) | kein klarer Unterschied |
| Restaurantgeräusche, 5 dB unter der Sprache | 7,1 | +3,6 (+1,7 bis +5,8) | klar schlechter |
| Restaurantgeräusche auf dem Pegel der Sprache (0 dB) | 22,6 | +19,2 (+10,8 bis +30,6) | klar schlechter |
Englische vorgelesene Sprache, 24 Sätze pro Bedingung, in jeder Bedingung dieselben Sätze, sodass jede Aufnahme mit ihrer eigenen sauberen Fassung verglichen wird. Klar schlechter heißt: Das 95-%-Intervall der gepaarten Änderung liegt über null und die Änderung beträgt mindestens 2 Punkte. Kein klarer Unterschied heißt nicht, dass es keinen Unterschied gibt: Die Intervalle sind breit. Die Bedingungen wurden nach einem ersten Versuch mit Whisper small gewählt. Set stresstest-core-en Version 0.2.
Wie weit das reicht
Die Marge von plus oder minus 6 dB gilt für vorgelesene Sprache mit gleichmäßigem Hintergrundrauschen bei einem wahren Verhältnis von 10 bis 30 dB. Mit dem zweiten Sprachdetektor gilt sie ab etwa 5 dB für einen Stadtplatz und für Straßenverkehr sowie gebündelt über Küche, Wohnzimmer, Flur und Cafeteria (90. Perzentil 4,4 dB bei 5 dB). Bei 10 dB liegt der gebündelte Wert über diese vier bei 6,25 dB, und eine Metro erreicht 7,3 dB. Bei 0 dB liest die Schätzung noch immer etwa 6 dB zu hoch. Ohne das Opt-in gilt die Marge erst ab 10 dB.
Die Zahlen zu den Spracherkennern sind ein kleiner Test mit breiten Intervallen: Straßenlärm auf dem Pegel der Sprache machte keinen klaren Unterschied, Restaurantgeräusche schon.
Was wir nicht getestet haben
- Echte Gespräche und echte Telefonleitungen.
- Rauschen von einem echten Fernseher oder von Musik hinter dem Sprecher.
- Andere Sprachen und andere Spracherkenner als die beiden Whisper-Modelle.
- Ob die Schätzung vorhersagt, welche Aufnahmen ein Spracherkenner falsch versteht: In unserem eigenen Test tat die SNR-Messgröße das nicht. Siehe Sagen Audio-Messgrößen Fehler voraus?
Quellen und nächste Schritte
Studien in unserem Register: SNR-1, SNR-2, SNR-3, Stresstest v0.2. Der Status jeder Messgröße steht auf /lenses und wie wir testen, steht auf /methodology.
Weitere Belege
- Pegel und Clipping
- Codecs
- Paketverlust
- Echo: in Vorbereitung
- Eine konkurrierende Stimme
- Szenen-Messgrößen und Inhaltstyp
- Sprachdetektion
- Abschneiden am Anfang und Ende
- Raum und Nachhall
- Sagen Audio-Messgrößen Fehler voraus?
- Ein Bereinigungsschritt, vorher und nachher: in Vorbereitung
- Wo wir falsch lagen