Was wir getan haben
Alle vier Studien legten ihre Bestehenskriterien vorab fest.
- CT-1, Inhaltstyp. 600 Fragmente von 20 s aus MUSAN: 200 Sprache, 200 Musik und 200 Rauschen.
- CT-2, ein zweites Inhaltstyp-Modell. Dieselben 600 Fragmente plus 90 Fragmente aus drei DEMAND-Umgebungen, die das Modell nie gesehen hatte: ein Stadtplatz, Straßenverkehr und eine Metro.
- MX-1, Sprache über Musik. 500 MUSAN-Fragmente: 100 Sprache, 100 instrumentale Musik und Sprache mit Musik bei 0, -6 und -20 dB.
- SC-1, Szenen-Messgrößen. 1.344 Aufnahmen: neun DEMAND-Umgebungen, drei Pegel und 48 synthetische Äußerungen, plus 48 Kontrolldateien.
Das Ergebnis
CT-1, das erste Inhaltstyp-Modell, verfehlte. Sprache wurde mit einem Recall von 0,82 und einer Präzision von 0,56 gefunden; Musik mit 0,46 und 0,65; Rauschen in 3 von 200 Fragmenten (Recall 0,015). Musik und Rauschen wurden oft Sprache genannt: 55 von 200 Musikfragmenten und 75 von 200 Rauschfragmenten. Die Konfidenz sank kaum, wenn die Antwort falsch war (0,76 auf 0,62). Bei sauberer vorgelesener Sprache war die Antwort in 98 bis 100 % der Fälle richtig.
CT-2, das zweite Modell, ist besser, erfüllte aber sein Kriterium nicht. Sprach-Recall 0,985 und Präzision 0,952 (erstes Modell: 0,820 und 0,558); Musik 0,950 und 0,864 (erstes Modell: 0,455 und 0,495); stationäres Rauschen mit einem Recall von 0,444 (40 von 90: Stadtplatz 23 von 30, Straßenverkehr 4, Metro 13) bei einer Präzision von 1,000. Die 50 Fehlschläge werden alle „unbekannt“ genannt, nie Sprache oder Musik. Es schlug das erste Modell in jeder Klasse; Rauschen war die, die ihre Latte verfehlte. In der API ist es ein Opt-in, und das erste Modell bleibt dort bis zum 15. Januar 2027 der Standard.
MX-1: Das Label „gemischt“ wird dort kaum vergeben, wo es hingehört. Bei Sprache über einer um 6 dB leiseren Musik wurde es in 29 von 100 Fällen vergeben (die Latte lag bei 80), und bei Musik, die so laut ist wie die Sprache, in 36 von 100. Zu Unrecht wurde es bei 23 von 200 Aufnahmen vergeben, die keine Mischung waren (0,115, die Latte lag bei höchstens 0,10). Reine instrumentale Musik wurde in 34 von 100 Fällen Musik genannt.
SC-1: Zwei Szenen-Messgrößen funktionieren, eine funktioniert andersherum. Der Anteil der Energie der Pausen im Sprachband und im tiefen Band trennt Stimmengewirr von Maschinenlärm: AUC 0,803 und 0,807 bei 20 dB, 0,867 und 0,919 bei 10 dB (mit dem zweiten Sprachdetektor 0,878 und 0,901 sowie 0,943 und 0,968). Der Stationaritäts-Score scheiterte und liest sich falsch herum: AUC 0,23 bei 20 dB und 0,27 bei 10 dB gegen eine Latte von 0,80, weil dichtes Stimmengewirr als stationärer gewertet wird als eine Waschmaschine. Die Messgröße für die Art des Hintergrunds scheiterte ebenfalls: Eine Maschine wird meist als unruhig gelesen.
Alle diese Messgrößen sind Proxy: nur zur Information, nie eine Bestanden-oder-nicht-Prüfung. Der Stationaritäts-Score heißt jetzt „Konstantes Hintergrundrauschen“, nicht „Maschine“.
Wie weit das reicht
Der Inhaltstyp gilt für saubere vorgelesene Sprache und ist ein erster Hinweis für Musik und Rauschen. Die Szenen-Messgrößen sagen etwas über Gruppen von Umgebungen, nicht über eine einzelne Datei.
Was wir nicht getestet haben
- Ein Fernseher oder Musik hinter einem Sprecher in einem echten Raum: Die Szenenstudie verwendete synthetische Sprache und keinen Fernseher und keine Musik.
- Echte Gespräche und andere Sprachen.
- AudioLab erkennt keinen Maschinenlärm, und es erkennt weder eine zweite Stimme noch einen Fernseher.
Quellen und nächste Schritte
Studien in unserem Register: CT-1, CT-2, MX-1, SC-1. Der Status jeder Messgröße steht auf /lenses und wie wir testen, steht auf /methodology.
Weitere Belege
- Pegel und Clipping
- Codecs
- Paketverlust
- Echo: in Vorbereitung
- Rauschen und SNR
- Eine konkurrierende Stimme
- Sprachdetektion
- Abschneiden am Anfang und Ende
- Raum und Nachhall
- Sagen Audio-Messgrößen Fehler voraus?
- Ein Bereinigungsschritt, vorher und nachher: in Vorbereitung
- Wo wir falsch lagen