Was wir getan haben
Beide Studien legten ihre Bestehenskriterien vorab fest und verwendeten Aufnahmen, in denen die Sprache Wort für Wort markiert ist, sodass die richtige Antwort bekannt ist.
- VAD-1, der erste Detektor. 40 vorgelesene Aufnahmen aus LibriSpeech dev-clean mit Wortalignment, jeweils in 17 Bedingungen: sauber und vier DEMAND-Rauschen bei 20, 10, 5 und 0 dB. Das sind 680 Mischungen.
- VAD-2, ein Detektor mit Hysterese. 40 neue Aufnahmen aus LibriSpeech test-clean in denselben 17 Bedingungen (680 Mischungen) und die 1.344 Aufnahmen unserer Szenenstudie.
- Die Anfangs- und Endmessgrößen wurden an konstruierten Signalen mit bekannter Antwort geprüft: Ein Ton am Anfang wird innerhalb von 1 dB seines Pegels gelesen, und eine Datei, die mitten in der Sprache beginnt, wird erkannt.
Das Ergebnis
VAD-1: Kein Kriterium wurde erfüllt. Bei sauberer Sprache lag der F1-Wert für Sprachframes bei 0,92, aber der Sprachanteil wurde im Mittel um 12,5 Prozentpunkte zu niedrig gelesen (die Latte lag bei 4), und die Reinheit der Pausen lag bei 0,69 (die Latte lag bei 0,95): Weiche Wortanfänge und -enden fallen unter die Schwelle. Bei gleichmäßigem Rauschen lag der F1-Wert bis hinunter zu 20 dB bei 0,90 oder besser und bei 10 dB zwischen 0,79 und 0,90; bei 5 dB und darunter ist er unzuverlässig. Bei 0 dB mit Wohnzimmer- oder Cafeteria-Rauschen nennt er fast alles Sprache, und die Pausenmessgrößen liefern bei 82 bis 85 % der Aufnahmen nichts.
VAD-2: Die Hysterese erfüllte alle fünf Kriterien. Bei sauberer Sprache und bei 20 und 10 dB ging der F1-Wert von 0,878 auf 0,941, die Reinheit der Pausen von 0,608 auf 0,756 und der mittlere Fehler des Sprachanteils von 0,170 auf 0,082. Bei 5 dB ging der F1-Wert von 0,637 auf 0,773. Das ist eine Verbesserung, keine Lösung: Die ursprünglichen Latten (Reinheit 0,95, Fehler 0,04) bleiben außer Reichweite.
Was das für die Messgrößen bedeutet. Alle Sprach- und Pausenmessgrößen bleiben indikativ (Proxy): nur zur Information, nie eine Bestanden-oder-nicht-Prüfung. Der verbesserte Detektor ist in der API ein Opt-in (speechDetector: "k2"), und die Prüfung auf dieser Website verwendet ihn; am 15. Januar 2027 wird er zum Standard. Die Anfangs- und Endmessgrößen sind Validiert.
Wie weit das reicht
Vorgelesene englische Sprache mit gleichmäßigem Hintergrundrauschen. Die Sprachdetektion und alles, was sich darauf stützt (die Rauschschätzung, die Pausenmessgrößen, die Szenen-Messgrößen), liefert bis etwa 10 dB Signal-Rausch-Verhältnis einen Hinweis und ist darunter schwach.
Was ein abgeschnittener Anfang, ein später Stopp oder eine als Sprache gezählte Pause einen Spracherkenner kostet, ist noch nicht veröffentlicht. Es wird hier ergänzt, sobald die Zahlen in unserem Register stehen.
Was wir nicht getestet haben
- Echte Gespräche und Telefonsprache.
- Fernseher oder Musik hinter dem Sprecher.
- Streaming-Verhalten und echter Sprecherwechsel.
- Andere Sprachen.
- Was diese Fehler einen Spracherkenner kosten.
Quellen und nächste Schritte
Studien in unserem Register: VAD-1, VAD-2. Der Status jeder Messgröße steht auf /lenses und wie wir testen, steht auf /methodology.
Weitere Belege
- Pegel und Clipping
- Codecs
- Paketverlust
- Echo: in Vorbereitung
- Rauschen und SNR
- Eine konkurrierende Stimme
- Szenen-Messgrößen und Inhaltstyp
- Abschneiden am Anfang und Ende
- Raum und Nachhall
- Sagen Audio-Messgrößen Fehler voraus?
- Ein Bereinigungsschritt, vorher und nachher: in Vorbereitung
- Wo wir falsch lagen