Zum Inhalt
AudioLab .tools
Anmelden

Voice AI / Belege

Eine konkurrierende Stimme: was wir gemessen haben und was nicht

Wir haben 24 vorgelesenen englischen Sätzen Rauschen oder eine zweite Stimme beigemischt und zwei offene Whisper-Modelle über jede Fassung laufen lassen. Das ist ein kleiner, eng begrenzter Test. Er zeigt, was diese beiden Modelle unter diesen Bedingungen tun, nicht, was ein Voice-Agent in einem Anruf tut.

01 · Der Test

Was wir getan haben

  • 24 Sätze aus LibriSpeech test-clean, Englisch, vorgelesen von 24 verschiedenen Sprechern. In jeder Bedingung stehen dieselben 24 Sätze, sodass jede Aufnahme mit ihrer eigenen sauberen Fassung verglichen wird.
  • Acht Bedingungen: sauber, Telefonband, Straßenlärm, Restaurantgeräusche in zwei Pegeln, eine zweite Stimme in zwei Pegeln und etwa 10 % Paketverlust ohne Verschleierung. Das Rauschen stammt aus den DEMAND-Aufnahmen. Die zweite Stimme ist ein anderer LibriSpeech-Sprecher, der einen anderen Text liest. Ein Pegel von 0 dB heißt: so laut wie die Sprache; 5 dB heißt: 5 dB leiser.
  • Zwei offene Whisper-Modelle, small und large-v3-turbo, auf einem lokalen Rechner ausgeführt. Wir geben die Wortfehlerrate (WER) mit einer festen Art der Textnormalisierung an, die so festgehalten ist, dass ein anderes Team dieselbe Zahl bekommt.
  • Für jede Bedingung geben wir die Änderung der WER gegenüber sauber an, in Prozentpunkten, mit einem 95-%-Intervall aus einem Bootstrap über die 24 Sätze.
  • Die Bedingungen wurden nach einem ersten Versuch mit Whisper small gewählt. Einige trennten sich nicht von sauber, also haben wir sie durch solche ersetzt, die es taten. Das Set sagt deshalb etwas darüber, wovon Whisper beeinflusst wird, nicht über jedes System.
02 · Was herauskam

Das Ergebnis

Restaurantgeräusche und eine zweite Stimme kosteten am meisten. Auf dem Pegel der Sprache erhöhte eine zweite Stimme die Fehlerrate bei beiden Modellen um etwa 40 Punkte. Straßenlärm auf dem Pegel der Sprache, das Telefonband und etwa 10 % Paketverlust ohne Verschleierung machten keinen klaren Unterschied.

Whisper small

Bedingung WER % Änderung gegenüber sauber, Punkte (95-%-Intervall) Einordnung
Sauber (Referenz) 5,0 entf. Referenz
Telefonband, 300 bis 3400 Hz, mu-law 5,3 +0,2 (+0,0 bis +0,8) kein klarer Unterschied
Straßenlärm auf dem Pegel der Sprache (0 dB) 5,9 +0,9 (−0,9 bis +3,7) kein klarer Unterschied
Restaurantgeräusche, 5 dB unter der Sprache 11,4 +6,4 (+1,9 bis +12,2) klar schlechter
Restaurantgeräusche auf dem Pegel der Sprache (0 dB) 33,8 +28,8 (+19,5 bis +40,1) klar schlechter
Eine zweite Stimme, 5 dB unter der Sprache 10,5 +5,5 (+0,6 bis +11,9) klar schlechter
Eine zweite Stimme auf dem Pegel der Sprache (0 dB) 46,6 +41,5 (+22,3 bis +62,7) klar schlechter
Etwa 10 % Paketverlust (20-ms-Pakete, keine Verschleierung) 4,8 −0,2 (−1,3 bis +0,7) kein klarer Unterschied

Whisper large-v3-turbo

Bedingung WER % Änderung gegenüber sauber, Punkte (95-%-Intervall) Einordnung
Sauber (Referenz) 3,4 entf. Referenz
Telefonband, 300 bis 3400 Hz, mu-law 2,5 −0,9 (−2,0 bis +0,0) kein klarer Unterschied
Straßenlärm auf dem Pegel der Sprache (0 dB) 4,1 +0,7 (−0,3 bis +1,9) kein klarer Unterschied
Restaurantgeräusche, 5 dB unter der Sprache 7,1 +3,6 (+1,7 bis +5,8) klar schlechter
Restaurantgeräusche auf dem Pegel der Sprache (0 dB) 22,6 +19,2 (+10,8 bis +30,6) klar schlechter
Eine zweite Stimme, 5 dB unter der Sprache 8,2 +4,8 (−0,2 bis +14,1) kein klarer Unterschied
Eine zweite Stimme auf dem Pegel der Sprache (0 dB) 43,6 +40,2 (+19,6 bis +64,2) klar schlechter
Etwa 10 % Paketverlust (20-ms-Pakete, keine Verschleierung) 3,6 +0,2 (−0,7 bis +1,3) kein klarer Unterschied

Englische vorgelesene Sprache, 24 Sätze pro Bedingung, in jeder Bedingung dieselben Sätze, sodass jede Aufnahme mit ihrer eigenen sauberen Fassung verglichen wird. Klar schlechter heißt: Das 95-%-Intervall der gepaarten Änderung liegt über null und die Änderung beträgt mindestens 2 Punkte. Kein klarer Unterschied heißt nicht, dass es keinen Unterschied gibt: Die Intervalle sind breit. Die Bedingungen wurden nach einem ersten Versuch mit Whisper small gewählt. Set stresstest-core-en Version 0.2.

Manchmal wird die zweite Stimme geschrieben

Bei gleichem Pegel schrieben beide Modelle in 6 von 24 Aufnahmen überwiegend den Satz des anderen Sprechers statt den des Zielsprechers. Bei einer um 5 dB leiseren zweiten Stimme geschah das in 0 von 24 Aufnahmen bei Whisper small und in 1 von 24 bei Whisper large-v3-turbo. In den übrigen sechs Bedingungen geschah es in 0 von 288 Aufnahmen.

So haben wir gezählt. Eine Aufnahme zählt, wenn das Transkript dem Satz des anderen Sprechers näher ist als dem Satz des Zielsprechers und mindestens die Hälfte der Wörter des anderen Satzes stimmt. Das ist unsere eigene Regel für einen kleinen Test, kein Standardmaß.

03 · Die Reichweite

Wie weit das reicht

Das gilt für vorgelesene englische Sprache mit einer zweiten Stimme in derselben Sprache, die mit einem bekannten Pegel beigemischt wurde, für zwei offene Modelle. Weil die Intervalle breit sind, ist eine zweite Stimme 5 dB unter der Sprache für ein Modell klar schlechter und für das andere nicht.

04 · Die Grenzen

Was wir nicht getestet haben

  • Ein echter Fernseher. Unsere zweite Stimme ist eine Person, die in derselben Sprache vorliest und mit einem bekannten Pegel beigemischt wird. Ein Fernseher bringt Musik, Effekte, den Nachhall des Raums, in dem er läuft, und Kompression mit, und er ändert sich mit dem Programm.
  • Andere Spracherkenner und andere Sprachen, auch die in kommerziellen Voice-Agents.
  • Echte Anrufe: echte Telefonnetze, echte Gespräche, Unterbrechungen, Akzente und Dialekt. Das Telefonband ist hier ein Filter und ein Codec, kein Anruf.
  • Wie groß die Effekte für dich sind. 24 Sätze pro Bedingung sind wenig. Lies die Intervalle, nicht nur die Zahlen.
  • Ob ein Bereinigungs- oder Verbesserungsschritt vor dem Spracherkenner hilft. Das Set kann es zeigen, indem man es mit und ohne den Schritt laufen lässt. Ein Ergebnis dazu veröffentlichen wir noch nicht.

Wo AudioLab passt

AudioLab erkennt in einer Aufnahme weder eine zweite Stimme noch einen Fernseher. Der Stresstest ist eine Möglichkeit, deinen eigenen Spracherkenner oder Agenten unter bekannten Bedingungen zu messen: dieselben Aufnahmen, vor und nach einer Änderung gelaufen, mit einem gepaarten Bericht. Er ist in Vorbereitung; das Set und der Runner sind noch nicht veröffentlicht, und es gibt keinen Termin.

Sag uns, dass du den Stresstest willst

Quellen und nächste Schritte

Studien in unserem Register: Stresstest v0.2. Der Status jeder Messgröße steht auf /lenses und wie wir testen, steht auf /methodology.

Eine Aufnahme prüfen Deinen eigenen Spracherkenner im Stresstest prüfen Der ganze Weg

Weitere Belege