Jetzt deine eigene Aufnahme
Der Check misst in deinem Browser und lädt dein Audio nicht hoch. Er sagt nicht voraus, wie viele Wörter ein Spracherkenner falsch haben wird; die Reichweite dieses Tests steht in seinem Status.
Gibst du Audio aus einem Agenten oder einem Text-to-Speech-Modell aus? Der Ausgangs-Check ergänzt Lautheit, True Peak und deine eigenen Limits; die QC-Ansicht zeigt dieselbe Datei Lane für Lane (40-Sekunden-Demo, Ein-Seiten-Anleitung). Glaubst du, eine Zahl stimmt nicht? Sag es uns; was wir bestätigen, kommt auf Wo wir falsch lagen.
Dieselben Messgrößen in einer Pipeline
Eine Aufnahme oder bis zu 20 in einem Batch-Call, über die gehostete API oder über MCP in deinem Agenten. Mit measureStatus kommt jede Messgröße mit ihrem Status und, wo wir eine gemessen haben, ihrer Marge; mit round werden die Zahlen auf das gerundet, was die Messung wert ist.
curl https://audiolab.tools/v1/voicelab/qa \
-H "Authorization: Bearer $AUDIOLAB_KEY" \
-H "Content-Type: application/json" \
-d '{"url":"https://example.com/call.wav","measureStatus":true,"round":true}'Standardwerte bis 15. Januar 2027, und die Anleitungen
Die API antwortet bis zum 15. Januar 2027 noch mit ihrem ersten Sprachdetektor und ihrem ersten Inhaltsmodell; die Website nutzt schon die neueren. Sende speechDetector "k2" (Voice-Routen) und contentModel "v2" (Signallab und Profile), um dieselben Zahlen wie im Browser zu bekommen. Mit k2 liegt der Sprachanteil je nach Rauschen etwa 5 bis 14 Punkte höher, und das SNR in verrauschten Aufnahmen liegt niedriger, näher am wahren Wert.
Voice-Agent-Audio vergleichen Die API und ihre veröffentlichten Checks Über MCP verbinden
Dein Audio. Der Check in deinem Browser misst auf deinem Gerät, und dein Audio wird nicht hochgeladen. Die API und der MCP-Server empfangen das Audio bei der in der EU gehosteten API, und es kommen nur Zahlen zurück; eine Datei, die du für eine größere Analyse hochlädst, wird innerhalb einer Stunde entfernt. Aufnahmen von Menschen, die du nicht an einen gehosteten Dienst senden darfst, gehören in den Browser-Check oder in ein lokales Setup, über das wir sprechen können.
Audio, das dein Netzwerk nicht verlassen darf? Sprich mit uns über ein lokales oder selbst gehostetes Setup. Es ist noch kein Standardprodukt, und wir versprechen weder einen Termin noch einen Preis.
Der vollständige Beispielbericht
Die echte Ausgabe der Engine an einer unserer Beispielaufnahmen. Jede Zahl trägt ihren Status, ihre Marge, wo wir eine gemessen haben, und was sie aussagt und was nicht.
speech-female-pangram.mp3 · 15,1 s
Pegel und Clipping
Zu leise oder übersteuert ist der günstigste Fehler, den man finden kann.
-23,2 dBFS
Als Bestanden-oder-nicht-Prüfung nutzbar.
Was sie aussagt und was nicht
Stimmt mit dem RMS eines bekannten Tons überein (-9,07 gegen -9,03 dB) und folgt einem Abfall um 12 dB. Er ist der Durchschnitt über die Frames, die der Sprachdetektor als Sprache bezeichnet; ein Detektor, der mehr der leisen Wortanfänge und Wortenden zählt, senkt ihn also: Mit dem K2-Detektor (siehe Sprachanteil) liest er bei sauberem Audio 0,5 dB niedriger und im Rauschen bis zu 1,4 dB niedriger (136 Testmischungen).
-5,3 dBFS
Als Bestanden-oder-nicht-Prüfung nutzbar.
Was sie aussagt und was nicht
Stimmt mit dem True Peak einer sauberen Aufnahme überein.
0
Als Bestanden-oder-nicht-Prüfung nutzbar.
Was sie aussagt und was nicht
Sieht 3 Prozent festhängende Samples und keine bei einer normalisierten sauberen Aufnahme.
Rauschen
Wie weit die Sprache über dem Rauschen um sie herum liegt. Lies die Marge: Mit dem hier verwendeten Sprachdetektor gilt sie ab etwa 5 dB, und darunter liegt die Schätzung zu hoch.
36,5 dB
Marge: ±6 dB
Als Bestanden-oder-nicht-Prüfung nutzbar, innerhalb der Marge.
Was sie aussagt und was nicht
Kein Prädiktor für die Genauigkeit der Spracherkennung.
-59,7 dBFS
Als Bestanden-oder-nicht-Prüfung nutzbar.
Was sie aussagt und was nicht
Steigt mit hinzugefügtem Rauschen; das Grundrauschen trifft den wahren Pegel von stationärem synthetischem Rauschen. An 40 gelesenen Aufnahmen mit echtem Hintergrundrauschen (SNR-1, 12. Oktober 2026) liegt es 1 bis 8 dB unter dem Durchschnittspegel dieses Rauschens, weil es das leiseste Zehntel der Frames liest.
Lücken im Audio
Lücken aus digitaler Stille mitten im Klang, etwa durch verlorene Pakete. Eine Untergrenze: Ein Verlust, den der Codec verschleiert hat, hinterlässt keine Lücke, die man finden könnte.
0
Als Bestanden-oder-nicht-Prüfung nutzbar.
Was sie aussagt und was nicht
Nicht die Anzahl verlorener Pakete: Ein Verlust in einer Pause oder einer leisen Passage lässt sich nicht von einer Pause unterscheiden, und ein vom Codec verschleierter Verlust hinterlässt keine Lücke. Es ist eine untere Grenze: Im Paketverlust-Test schnitten 1.539 der 2.554 erzeugten Lücken in Klang.
0,00 s
Als Bestanden-oder-nicht-Prüfung nutzbar.
Was sie aussagt und was nicht
Nicht der Anteil der Aufnahme, der verloren ging: Es werden nur Lücken aufsummiert, die in Klang schnitten, und ein Verlust in einer Pause oder einer leisen Passage zählt nicht.
Tonhöhe und Stimmqualität
Die Tonhöhe der Stimme und wie viel des Klangs harmonisch ist.
218 Hz
Marge: ±3 Prozent
Als Bestanden-oder-nicht-Prüfung nutzbar, innerhalb der Marge.
Was sie aussagt und was nicht
Keine Note und keine Messgröße für Alter oder Geschlecht des Sprechers: der Median über die ganze Aufnahme.
16,2 dB
Als Bestanden-oder-nicht-Prüfung nutzbar.
Was sie aussagt und was nicht
Nicht das Hintergrundrauschen allein: Sie zählt alles, was sich nicht von Periode zu Periode wiederholt, Jitter und Shimmer eingeschlossen. Nicht die HNR von Praat auf die Kommastelle genau: dieselbe Definition mit einem anderen Tracker, als Median über die nach Energie gewichteten stimmhaften Frames.
Gemessen mit der Engine, die auch der Check verwendet, hier mit ffmpeg dekodiert und im Live-Check mit deinem Browser, daher können die letzten Stellen für dieselbe Datei abweichen. Messgrößen, die nur Anhaltspunkte liefern, sind hier weggelassen, ebenso im Live-Check, bis du sie anforderst.
Was die Wörter bedeuten
- Validiert
- Gegen eine Norm oder einen bekannten Wert geprüft, mit genannter Quelle.
- Proxy
- Nähert etwas an. Nur die Richtung ist geprüft, oder die Schwellen wurden von Hand gewählt.
- Beta
- Noch kein Grundwahrheitstest. Es kann stimmen; es ist nicht nachgewiesen. Es kann sich ändern.
- Zurückgezogen
- Hat den Test nicht bestanden. Bleibt im Changelog, wird nicht mehr als Ergebnis gezeigt.
Der Status Validiert mit analytischer Grundlage heißt, dass die Berechnung bei einem Signal mit bekannter Antwort stimmt. Er heißt nicht, dass die Zahl bei einer echten Aufnahme eine Bedeutung hat; die Grundlage jeder Messgröße steht auf /lenses.
„Was es einen Spracherkenner kostet“ stammt aus unserem Stresstest: englische vorgelesene Sprache, 24 Sätze pro Bedingung, zwei offene Whisper-Modelle. Es ist ein kleiner Test mit breiten Intervallen, und seine Bedingungen wurden nach einem ersten Versuch mit einem Modell gewählt, er sagt also, wovon diese Modelle beeinflusst werden, nicht, wovon jedes System beeinflusst wird. „Noch nicht veröffentlicht“ heißt genau das: Die Zahlen stehen noch nicht auf dieser Website.
Wo die Belege dick sind und wo sie dünn sind
Elf Schritte vom Mikrofon zum Transkript und ein zwölfter für das, was wir nicht abdecken. Rauschen, Sprachdetektion, Paketverlust, Räume und Tonhöhe haben wir mehrfach getestet, auch Tests, die gescheitert sind. Pegel und Clipping sowie Bandbreite und Herkunft sind an der Berechnung geprüft, aber noch nicht daran, was sie einen Spracherkenner kosten. Codecs, Echo, Abschneiden am Anfang und Ende und die Wirkung von Nachhall auf die Erkennung sind dünn belegt oder fehlen. Klicke auf einen Schritt, um ihn zu lesen.
| Schritt | Was AudioLab liest | Gegen bekannte Werte geprüft | Kosten für einen Spracherkenner | Belege |
|---|---|---|---|---|
| 1. Aufnahme und Pegel Geprüft: Normsignale, bekannte Signale, konstruierte Aufnahmen. Kosten für einen Spracherkenner: Gemessen, kleiner Test. | Validiert 18 | Normsignale, bekannte Signale, konstruierte Aufnahmen | Gemessen, kleiner Test | Pegel und Clipping |
| 2. Bandbreite, Codec und Herkunft Geprüft: Bekannte Signale, Sprachcodecs. Kosten für einen Spracherkenner: Gemessen, kleiner Test. | Validiert 5 | Bekannte Signale, Sprachcodecs | Gemessen, kleiner Test | Codecs |
| 3. Netzwerk: verlorene Pakete Geprüft: Konstruierte Lücken, 8.406. Kosten für einen Spracherkenner: Gemessen, kleiner Test. | Validiert 3 | Konstruierte Lücken, 8.406 | Gemessen, kleiner Test | Paketverlust |
| 4. Echo und eine verzögerte Kopie der Stimme Geprüft: Konstruierte Kopien, 284. Kosten für einen Spracherkenner: Noch nicht veröffentlicht. | Validiert 3 | Konstruierte Kopien, 284 | Noch nicht veröffentlicht | Echo: in Vorbereitung |
| 5. Rauschen Geprüft: Mischungen mit bekanntem Verhältnis. Kosten für einen Spracherkenner: Gemessen, kleiner Test. | Validiert 5Proxy 1 | Mischungen mit bekanntem Verhältnis | Gemessen, kleiner Test | Rauschen und SNR |
| 6. Eine andere Stimme, Fernseher, Stimmengewirr, Musik Geprüft: Teilweise, mit Fehlern. Kosten für einen Spracherkenner: Gemessen, kleiner Test. | Proxy 13 | Teilweise, mit Fehlern | Gemessen, kleiner Test | Eine konkurrierende StimmeSzenen-Messgrößen und Inhaltstyp |
| 7. Sprachdetektion und Anfang und Ende einer Äußerung Geprüft: Teilweise, mit Fehlern. Kosten für einen Spracherkenner: Gemessen, kleiner Test. | Validiert 4Proxy 5 | Teilweise, mit Fehlern | Gemessen, kleiner Test | SprachdetektionAbschneiden am Anfang und Ende |
| 8. Raum und Nachhall Geprüft: Echte Räume, Klatschen und Sweep. Kosten für einen Spracherkenner: Noch nicht veröffentlicht. | Validiert 2Proxy 1Zurückgezogen 1 | Echte Räume, Klatschen und Sweep | Noch nicht veröffentlicht | Raum und Nachhall |
| 9. Die Stimme und ihre Qualität Geprüft: Konstruierte und echte Stimmen. Kosten für einen Spracherkenner: entf.. | Validiert 2Proxy 2Beta 2 | Konstruierte und echte Stimmen | entf. | - |
| 10. Der Spracherkenner selbst Geprüft: Nicht zutreffend. Kosten für einen Spracherkenner: Siehe Schritte 5 und 6. | Keine Messgröße | Nicht zutreffend | Siehe Schritte 5 und 6 | Sagen Audio-Messgrößen Fehler voraus?Ein Bereinigungsschritt, vorher und nachher: in Vorbereitung |
| 11. Das Testmaterial selbst Geprüft: Nicht zutreffend. Kosten für einen Spracherkenner: entf.. | Keine Messgröße | Nicht zutreffend | entf. | - |
| 12. Was wir nicht abdecken Geprüft: Nicht abgedeckt. Kosten für einen Spracherkenner: entf.. | Keine Messgröße | Nicht abgedeckt | entf. | - |
Der Weg, Schritt für Schritt
Schritt 1
Aufnahme und Pegel
Zu leise, geclippt, ein DC-Offset, Brummen oder ein Dauerton.
Was AudioLab liest
18 Messgrößen: 18 Validiert
Messgrößen anzeigen
- PeakValidiert
- RMS-PegelValidiert
- Crest-FaktorValidiert
- Integrierte LoudnessValidiert
- Short-Term-MaximumValidiert
- Loudness RangeValidiert
- True PeakValidiert
- Momentary-MaximumValidiert
- Geclippte SamplesValidiert
- Hat ClippingValidiert
- Clipping-BereicheValidiert
- Clipping pro PhraseValidiert
- DC-OffsetValidiert
- NetzbrummenValidiert
- NetzfrequenzValidiert
- TonhaltigkeitValidiert
- TonfrequenzValidiert
- TonalitätValidiert
Was wir getestet haben
Lautheit gegen die Testsignale EBU Tech 3341 und 3342: im ungünstigsten Fall 0,06 LU daneben, innerhalb der 0,1 LU, die die Norm erlaubt. True Peak gegen Testfälle aus BS.1770 (ein 997-Hz-Ton und ein Fall mit Inter-Sample-Spitze), innerhalb von +0,2 und -0,4 dB. Die übrigen Messgrößen gegen konstruierte Signale mit bekannter Antwort: Das zeigt, dass die Berechnung stimmt, nicht, was die Zahl bei einer echten Aufnahme bedeutet. Danach einmal gelesen an 24 vorgelesenen Sätzen, die leiser gestellt und geclippt wurden (kein vorab registrierter Test): Clipping wurde in jeder Aufnahme mit einer Folge geclippter Samples gefunden und in keiner der 96 ohne; der Sprachpegel folgt der Verstärkung nach unten bis -50 dBFS, und bei -60 dBFS verliert der Sprachdetektor den Großteil der Sprache.
Studien in unserem Register: EBU Tech 3341 und 3342, BS.1770, Stresstest v0.3, V03-ENG.
Was es einen Spracherkenner kostet
| Bedingung | Änderung der WER, Whisper small | Änderung der WER, Whisper large-v3-turbo |
|---|---|---|
| Sprache mit einem aktiven Pegel von -40 dBFS | −0,5 Punkte, kein klarer Unterschied | +0,5 Punkte, kein klarer Unterschied |
| Sprache mit einem aktiven Pegel von -50 dBFS | −0,7 Punkte, kein klarer Unterschied | +0,5 Punkte, kein klarer Unterschied |
| Sprache mit einem aktiven Pegel von -60 dBFS | −1,1 Punkte, kein klarer Unterschied | −0,5 Punkte, kein klarer Unterschied |
| +12 dB Verstärkung, hart bei Vollaussteuerung geclippt | −0,2 Punkte, kein klarer Unterschied | −0,5 Punkte, kein klarer Unterschied |
| +20 dB Verstärkung, hart bei Vollaussteuerung geclippt | −0,5 Punkte, kein klarer Unterschied | −0,2 Punkte, kein klarer Unterschied |
| +30 dB Verstärkung, hart bei Vollaussteuerung geclippt | +0,5 Punkte, kein klarer Unterschied | −0,7 Punkte, kein klarer Unterschied |
Englische vorgelesene Sprache, 24 Sätze pro Bedingung, Veränderung gegenüber der sauberen Aufnahme. Ein kleiner Test mit breiten Intervallen; die Bedingungen und Pegel wurden vor der ersten Transkription festgelegt (vorab registriert). Keine leise oder geclippte Bedingung machte für einen der beiden Spracherkenner einen klaren Unterschied, nicht einmal mit einem Viertel geclippter Samples.
Was wir nicht wissen
Echte Aufnahmen, die am Mikrofon clippen (unsere sind digital geclippt), Streaming-Spracherkenner und andere Spracherkenner als die beiden offenen.
Die Belege
Schritt 2
Bandbreite, Codec und Herkunft
Das Telefonband, eine verlustbehaftete Quelle, auf 16 kHz gedehntes 8-kHz-Audio, zusammengeklebte Stücke.
Was AudioLab liest
5 Messgrößen: 5 Validiert
Messgrößen anzeigen
- BandbreiteValidiert
- Verlustbehaftete QuelleValidiert
- Effektive BittiefeValidiert
- Hochgerechnet vonValidiert
- Bandbreiten-SchnitteValidiert
Was wir getestet haben
Gegen konstruierte Signale mit bekannter Antwort. Der Bereich jeder Messgröße steht auf /lenses. Danach einmal gelesen an 168 Aufnahmen vorgelesener Sprache durch sieben Sprachcodecs (kein vorab registrierter Test): Die Bandbreite trennte Schmalband- von Breitbandausgabe vollständig, das Label für verlustbehaftete Quellen sagte nie lossy, und die 8-kHz-Herkunft wurde bei den 8-kHz-Codecs in 4 von 96 Aufnahmen gefunden.
Studien in unserem Register: Stresstest v0.3, V03-ENG.
Was es einen Spracherkenner kostet
| Bedingung | Änderung der WER, Whisper small | Änderung der WER, Whisper large-v3-turbo |
|---|---|---|
| Telefonband, 300 bis 3400 Hz, mu-law | +0,2 Punkte, kein klarer Unterschied | −0,9 Punkte, kein klarer Unterschied |
| Telefonband 300 bis 3400 Hz, A-law 8 kHz | +0,0 Punkte, kein klarer Unterschied | −0,9 Punkte, kein klarer Unterschied |
| AMR-NB 4,75 kbit/s | +1,8 Punkte, kein klarer Unterschied | −0,7 Punkte, kein klarer Unterschied |
| AMR-NB 12,2 kbit/s | +1,1 Punkte, kein klarer Unterschied | −0,7 Punkte, kein klarer Unterschied |
| AMR-WB 12,65 kbit/s | −0,5 Punkte, kein klarer Unterschied | −0,5 Punkte, kein klarer Unterschied |
| GSM 6.10 | +0,5 Punkte, kein klarer Unterschied | −0,9 Punkte, kein klarer Unterschied |
| Opus 8 kbit/s (voip) | +0,2 Punkte, kein klarer Unterschied | −0,9 Punkte, kein klarer Unterschied |
| Opus 16 kbit/s (voip) | −0,5 Punkte, kein klarer Unterschied | +0,0 Punkte, kein klarer Unterschied |
Englische vorgelesene Sprache, 24 Sätze pro Bedingung, Veränderung gegenüber der sauberen Aufnahme. Ein kleiner Test mit breiten Intervallen; die Telefonbedingung stammt aus dem ersten Set, dessen Bedingungen nach einem ersten Versuch mit einem Modell gewählt wurden; die übrigen wurden vor der ersten Transkription festgelegt (vorab registriert). Kein Codec machte für einen der beiden Spracherkenner einen klaren Unterschied.
Was wir nicht wissen
Echte Telefonleitungen, Codecs mit Paketverlust-Verschleierung und andere Codecs als diese sieben.
Die Belege
Schritt 3
Netzwerk: verlorene Pakete
Lücken aus digitaler Stille mitten in der Sprache, abgehackter Ton.
Was AudioLab liest
3 Messgrößen: 3 Validiert
Messgrößen anzeigen
- DropoutsValidiert
- Dropout-DauerValidiert
- Längster DropoutValidiert
Was wir getestet haben
99,9 % Präzision bei 8.406 konstruierten Lücken, 99,8 % der Lücken, die ins hörbare Signal fielen, gefunden, und keine Fehlalarme bei 1.615 Aufnahmen ohne Lücken. Die Zahl ist eine Untergrenze: Etwa 60 % der von uns konstruierten Lücken fielen ins hörbare Signal, und eine Lücke innerhalb einer Pause lässt sich nicht von einer Pause unterscheiden.
Studien in unserem Register: DR-1.
Was es einen Spracherkenner kostet
| Bedingung | Änderung der WER, Whisper small | Änderung der WER, Whisper large-v3-turbo |
|---|---|---|
| Etwa 10 % Paketverlust (20-ms-Pakete, keine Verschleierung) | −0,2 Punkte, kein klarer Unterschied | +0,2 Punkte, kein klarer Unterschied |
Englische vorgelesene Sprache, 24 Sätze pro Bedingung, Veränderung gegenüber der sauberen Aufnahme. Ein kleiner Test mit breiten Intervallen; die Bedingungen wurden nach einem ersten Versuch mit einem Modell gewählt. Es wurde keine Verschleierung simuliert; echte Netzwerke verschleiern meist.
Was wir nicht wissen
Lücken, die ein Codec verschleiert hat, und AMR-Stille werden nicht erkannt. Echter Netzwerkverlust wurde nicht getestet.
Die Belege
Schritt 4
Echo und eine verzögerte Kopie der Stimme
Die Stimme kommt zurück; eine doppelte Stimme.
Was AudioLab liest
3 Messgrößen: 3 Validiert
Messgrößen anzeigen
- Slapback- oder Echo-VerzögerungValidiert
- Slapback- oder Echo-PegelValidiert
- Slapback- oder Echo-WertValidiert
Seit dem 20. Oktober 2026 an konstruierten Kopien validiert, auch über die API (Chain-Profil) und den MCP-Server.
Was wir getestet haben
282 von 284 konstruierten Kopien gefunden, die Verzögerung in jeder innerhalb von 2 ms und der Pegel bei einfachen digitalen Kopien innerhalb von 2 dB, und in keiner der 332 Aufnahmen ohne Kopie wurde eine gemeldet, 120 davon echte vorgelesene Sprache. Es brauchte drei Tests mit vorab festgelegten Kriterien; die ersten beiden meldeten Kopien, die gar nicht da waren.
Was es einen Spracherkenner kostet
Noch nicht veröffentlicht.
Was wir nicht wissen
Echtes Echo in echten Aufnahmen, Musik mit einem Loop, ein Echo mit einem starken zweiten Tap, und der Pegel einer Kopie, die durch einen Raum lief (er fällt niedriger aus).
Die Belege
- Echo: in Vorbereitung
Schritt 5
Rauschen
Hintergrundgeräusche, die Wörter schwerer verständlich machen.
Was AudioLab liest
6 Messgrößen: 5 Validiert, 1 Proxy
Messgrößen anzeigen
- GrundrauschenValidiert
- Signal-Rausch-AbstandValidiert
- Segmentaler SNRValidiert
- SNR pro PhraseValidiert
- SNR der schlechtesten PhrasenValidiert
- Sprache über HintergrundProxy
Was wir getestet haben
Sprache, mit Rauschen in bekannten Verhältnissen gemischt, in drei Studien (680 und 520 Aufnahmen vorgelesener Sprache, 1.344 synthetischer Sprache). Mit dem Standarddetektor liegt die Schätzung bei 10 dB etwa 3 bis 7 dB zu hoch und bei 5 dB 6 bis 9 dB zu hoch. Ein zweiter Detektor mit Korrektur, als Opt-in angeboten, bringt den mittleren Fehler bei 5 dB von +5,95 auf +1,87 dB, an drei Umgebungen, die in der Entwicklung nicht verwendet wurden. Unter 5 dB liegt sie weiterhin zu hoch.
Studien in unserem Register: SNR-1, SNR-2, SNR-3.
Was es einen Spracherkenner kostet
| Bedingung | Änderung der WER, Whisper small | Änderung der WER, Whisper large-v3-turbo |
|---|---|---|
| Straßenlärm auf dem Pegel der Sprache (0 dB) | +0,9 Punkte, kein klarer Unterschied | +0,7 Punkte, kein klarer Unterschied |
| Restaurantgeräusche, 5 dB unter der Sprache | +6,4 Punkte, klar schlechter | +3,6 Punkte, klar schlechter |
| Restaurantgeräusche auf dem Pegel der Sprache (0 dB) | +28,8 Punkte, klar schlechter | +19,2 Punkte, klar schlechter |
Englische vorgelesene Sprache, 24 Sätze pro Bedingung, Veränderung gegenüber der sauberen Aufnahme. Ein kleiner Test mit breiten Intervallen; die Bedingungen wurden nach einem ersten Versuch mit einem Modell gewählt.
Was wir nicht wissen
Echte Gespräche und Telefonleitungen. Unter 5 dB liegt die Schätzung zu hoch.
Die Belege
Schritt 6
Eine andere Stimme, Fernseher, Stimmengewirr, Musik
Ein Fernseher, ein zweiter Sprecher, Stimmengewirr oder Musik hinter dem Sprecher.
Was AudioLab liest
13 Messgrößen: 13 Proxy
Messgrößen anzeigen
- Was die Pausen fülltProxy
- Programm im HintergrundProxy
- Stimmen oder Noten in den PausenProxy
- Spektrale Bewegung in den PausenProxy
- Stehender Ton in den PausenProxy
- Gleichbleibendes HintergrundrauschenProxy
- Dröhnen in den PausenProxy
- Sprachband in den PausenProxy
- Streuung des PausenpegelsProxy
- Verständlichkeit (Proxy)Proxy
- Verständlichkeitswert (Proxy)Proxy
- Sprache über HintergrundProxy
- InhaltstypProxy
AudioLab erkennt weder eine zweite Stimme noch einen Fernseher.
Was wir getestet haben
Inhaltstyp gegen 600 Fragmente aus Sprache, Musik und Rauschen: schwach, und Rauschen wird selten als Rauschen benannt. Szenen-Messgrößen gegen 1.344 Aufnahmen in neun Umgebungen: zwei trennen Stimmengewirr von Maschinenlärm, eine funktioniert andersherum. Das Label "gemischt" wird selten dort vergeben, wo es sollte.
Studien in unserem Register: CT-1, CT-2, SC-1, MX-1.
Was es einen Spracherkenner kostet
| Bedingung | Änderung der WER, Whisper small | Änderung der WER, Whisper large-v3-turbo |
|---|---|---|
| Eine zweite Stimme, 5 dB unter der Sprache | +5,5 Punkte, klar schlechter | +4,8 Punkte, kein klarer Unterschied |
| Eine zweite Stimme auf dem Pegel der Sprache (0 dB) | +41,5 Punkte, klar schlechter | +40,2 Punkte, klar schlechter |
Englische vorgelesene Sprache, 24 Sätze pro Bedingung, Veränderung gegenüber der sauberen Aufnahme. Ein kleiner Test mit breiten Intervallen; die Bedingungen wurden nach einem ersten Versuch mit einem Modell gewählt. Bei gleichem Pegel schreiben beide Modelle in 6 von 24 Aufnahmen überwiegend den anderen Sprecher statt des Zielsprechers.
Was wir nicht wissen
Ein echter Fernseher, andere Spracherkenner, andere Sprachen.
Schritt 7
Sprachdetektion und Anfang und Ende einer Äußerung
Abgeschnittene Anfänge, ein später oder früher Stopp, als Sprache gezählte Pausen.
Was AudioLab liest
9 Messgrößen: 4 Validiert, 5 Proxy
Messgrößen anzeigen
- SprachanteilProxy
- SprechdauerProxy
- PausendauerProxy
- SprachsegmenteProxy
- Lange PausenProxy
- Am Anfang abgeschnittenValidiert
- Am Ende abgeschnittenValidiert
- Pegel am AnfangValidiert
- Pegel am EndeValidiert
Was wir getestet haben
Der erste Sprachdetektor verfehlte bei vorgelesener Sprache jedes Kriterium: Der Sprachanteil wurde um etwa 12,5 Punkte zu niedrig gelesen. Ein zweiter Detektor mit Hysterese, als Opt-in angeboten, erfüllt seine fünf Kriterien, nicht aber die ursprüngliche Latte. Die Anfangs- und Endmessgrößen gegen konstruierte Signale, und einmal an vorgelesenen Sätzen, die 100 bis 500 ms in die Sprache hinein abgeschnitten wurden (kein vorab registrierter Test): Der Pegel am Rand trennte Abgeschnittenes von Unabgeschnittenem, die Ja-Nein-Messgrößen erfassten 13 bis 20 von 24.
Studien in unserem Register: VAD-1, VAD-2, Stresstest v0.3, V03-ENG.
Was es einen Spracherkenner kostet
| Bedingung | Änderung der WER, Whisper small | Änderung der WER, Whisper large-v3-turbo |
|---|---|---|
| Die ersten 100 ms der Sprache entfernt | +0,7 Punkte, kein klarer Unterschied | +1,6 Punkte, kein klarer Unterschied |
| Die ersten 250 ms der Sprache entfernt | +4,8 Punkte, klar schlechter | +4,8 Punkte, klar schlechter |
| Die ersten 500 ms der Sprache entfernt | +9,6 Punkte, klar schlechter | +10,0 Punkte, klar schlechter |
| Die letzten 250 ms der Sprache entfernt | +1,1 Punkte, kein klarer Unterschied | +0,9 Punkte, kein klarer Unterschied |
Englische vorgelesene Sprache, 24 Sätze pro Bedingung, Veränderung gegenüber der sauberen Aufnahme. Ein kleiner Test mit breiten Intervallen; die Bedingungen und Pegel wurden vor der ersten Transkription festgelegt (vorab registriert). Das Abschneiden des Sprachanfangs kostete einen Spracherkenner viel: 250 und 500 ms waren für beide klar schlechter, fast nur durch gelöschte Wörter. 100 ms am Anfang und 250 ms am Ende machten keinen klaren Unterschied.
Was wir nicht wissen
Streaming-Verhalten und echter Sprecherwechsel, und Aufnahmen, die wirklich abgeschnitten wurden (unsere wurden von Hand geschnitten).
Die Belege
Schritt 8
Raum und Nachhall
Ein halliger Raum verschmiert die Wörter.
Was AudioLab liest
4 Messgrößen: 2 Validiert, 1 Proxy, 1 Zurückgezogen
Messgrößen anzeigen
- Nachhallzeit (Mitten)Validiert
- Nachhallzeit pro BandValidiert
- AbklingsteilheitProxy
- Energie in den Pausen nach SpracheZurückgezogen
Die Nachhallzeit wird an einem Klatschen oder einem Sweep gemessen. Aus Sprache ist sie nicht verfügbar.
Was wir getestet haben
Nachhallzeit pro Oktavband gleich wie in unserer RoomLab-App, an 385 echten Impulsantworten. Ein simuliertes Klatschen gegen die nackte Impulsantwort, 155 Räume: Median des Fehlers 3,9 %, 86 % innerhalb von 10 %. Die sprachbasierte Ausklingmessgröße folgte dem Raum nur teilweise (Rangkorrelation 0,56 an 24 echten Räumen, Latte 0,70), und ein früherer Nachhall-Score wurde zurückgezogen.
Studien in unserem Register: RM-1, TD-1.
Was es einen Spracherkenner kostet
Noch nicht veröffentlicht.
Was wir nicht wissen
Nachhallzeit aus Sprache. ISO 3382.
Die Belege
Schritt 9
Die Stimme und ihre Qualität
Tonhöhe, Rauheit, Helligkeit. Vor allem relevant für die Prüfung synthetischer Sprachausgabe.
Was AudioLab liest
6 Messgrößen: 2 Validiert, 2 Proxy, 2 Beta
Messgrößen anzeigen
- TonhöheValidiert
- Harmonics-to-Noise-RatioValidiert
- JitterBeta
- ShimmerBeta
- StimmhelligkeitProxy
- ZischlautrisikoProxy
Was wir getestet haben
Tonhöhe an 1.092 konstruierten Stimmen mit exakter Antwort: 0,0 % grobe Fehler bei sauberem Signal und höchstens 1,9 % unter Rauschen oder allein im Telefonband, bis zu 5,9 % bei Vokalen, wenn beides bei 10 dB kombiniert wird. Bei echter Sprache lagen 97,97 % von 48.817 Frames innerhalb von 20 % eines zweiten Trackers. Das Verhältnis von Harmonischen zu Rauschen: 18 von 19 innerhalb von 1,5 dB. Jitter und Shimmer verfehlten ihre Latten knapp.
Studien in unserem Register: PT-1 bis PT-4.
Was es einen Spracherkenner kostet
Für die Erkennung nicht zutreffend. Nützlich zur Prüfung der Ausgabe einer synthetischen Stimme.
Was wir nicht wissen
Wie natürlich eine Stimme klingt, und Emotion (bewusst nicht angeboten).
Schritt 10
Der Spracherkenner selbst
Falsche Wörter, Zahlen, Namen, Adressen.
Was AudioLab liest
AudioLab misst das Audio, nicht den Spracherkenner. Der Stresstest misst den Spracherkenner.
Was wir getestet haben
Stresstest v0.2: englische vorgelesene Sprache, zwei Whisper-Modelle, acht Bedingungen. In unserem eigenen Test sagte die SNR-Messgröße Transkriptionsfehler nicht voraus; die Reichweite dieses Tests steht in ihrem Status auf /lenses.
Was es einen Spracherkenner kostet
Siehe Schritte 5 und 6.
Was wir nicht wissen
Andere Spracherkenner, echte Gespräche, Dialekt, Kindersprache, klinische Sprache.
Die Belege
- Sagen Audio-Messgrößen Fehler voraus?
- Ein Bereinigungsschritt, vorher und nachher: in Vorbereitung
Schritt 11
Das Testmaterial selbst
Ein synthetischer Anrufer steuert das Ergebnis.
Was wir getestet haben
Synthetische Stimmen können Strukturen tragen, die echte Sprache nicht hat, und ein Detektor, der echte Sprache beherrscht, kann bei ihnen Fehlalarme auslösen. Teste einen Detektor an echten und an synthetischen Stimmen, wenn beide in deinem Einsatz vorkommen.
Was es einen Spracherkenner kostet
Nicht zutreffend.
Was wir nicht wissen
Ob synthetische Stimmen für jeden Detektor neutral sind.
Schritt 12
Was wir nicht abdecken
Latenz, Sprecherwechsel, Unterbrechungen (Barge-in), wie natürlich eine synthetische Stimme klingt, Verständnis und Absicht, echte Telefonleitungen, Streaming und andere Sprachen als Englisch und Niederländisch.
Was wir getestet haben
Nichts. Das liegt außerhalb dessen, was AudioLab misst oder getestet hat.
Was es einen Spracherkenner kostet
Nicht zutreffend.
Was wir nicht wissen
Alles davon.
Wir veröffentlichen die Tests, die gescheitert sind
Ein Nachhall-Score, der dem Nachhall nicht folgte, wurde zurückgezogen. Die Behauptung, eine sprachbasierte Messgröße messe den Raum selbst, wurde gestrichen, weil sie dem Raum nur teilweise folgte. Unser erster Sprachdetektor verfehlte jedes Kriterium, und unser erstes Inhaltstyp-Modell nannte Rauschen fast nie Rauschen. Jitter und Shimmer verfehlten ihre Latten knapp und werden nicht angeboten. Deshalb kann man den Zahlen trauen, die bleiben.
Wo du anfängst, nach Rolle
Ein Voice-Agent-Team
Du lieferst einen Agenten aus, der am Telefon oder im Browser zuhört. Beginne mit den Schritten 1, 3, 5, 6 und 7 und teste danach den Spracherkenner, den du nutzt, im Stresstest.
Ein Evaluator von Spracherkennern
Du vergleichst oder justierst Spracherkenner. Die Schritte 5, 6 und 10 zeigen, was Rauschen und eine zweite Stimme zwei offene Modelle kosten, und der Stresstest vergleicht jeden Lauf gepaart.
Qualität im Callcenter
Du prüfst Anrufe im großen Maßstab. Lass die Schritte 1, 2, 3 und 5 als Batch über die API laufen, mit dem Status neben jeder Zahl und der Marge, wo wir eine gemessen haben.
Ein Datensatz-Entwickler
Du sammelst oder kaufst Sprachdaten. Die Schritte 1, 2, 5 und 9 sagen dir, welche Dateien du zuerst ansehen solltest.
Ein Telefonie- oder Echtzeit-Ingenieur
Du betreibst den Weg, den das Audio nimmt: Codecs, Bandbreite und verlorene Pakete. Schritt 2 zeigt, was AudioLab über das Band liest und was sieben Sprachcodecs zwei offene Spracherkenner kosten, und Schritt 3 die Lücken, die verlorene Pakete hinterlassen können, und was simulierter Verlust kostet.
Deinen eigenen Spracherkenner oder Agenten im Stresstest prüfen
Der Check betrachtet eine Aufnahme. Der Stresstest betrachtet dein System: dieselben Aufnahmen unter bekannten Bedingungen, die Veränderung der Wortfehlerrate gegenüber sauber für jede Bedingung und einen gepaarten Vorher-nachher-Bericht für jede Änderung, die du machst.
- Ein fester Satz. 24 englische Sätze in acht Bedingungen: sauber, Telefonband, Straßenlärm, Restaurantgeräusche, eine zweite Stimme und Paketverlust. 192 Aufnahmen, etwa 20 Minuten Audio.
- Ein Runner auf deinem eigenen Rechner. Er ruft deinen Spracherkenner oder Agenten mit einem Befehl auf, den du ihm gibst, oder einen OpenAI-kompatiblen Endpunkt. Dein Key und deine Antworten bleiben bei dir; es wird nichts an uns gesendet.
- Ein Bericht, den du vergleichen kannst. Für jede Bedingung die Veränderung gegenüber sauber mit einem 95-%-Intervall und einem exakten Vorzeichentest, und ein gepaarter Vergleich mit deinem vorherigen Lauf: klar schlechter, klar besser oder keine klare Veränderung.
- Eine Möglichkeit, eine Änderung zu testen. Ein Modell-Update, neue Einstellungen oder ein Bereinigungsschritt vor dem Spracherkenner: Lass den Satz mit und ohne laufen und vergleiche, auch an Aufnahmen, die in Ordnung waren.
Status: in Vorbereitung. Der Satz und der Runner sind noch nicht veröffentlicht, und es gibt keinen Termin. Die Bedingungen sind Testbedingungen, die wir hineinmischen; AudioLab erkennt sie in deinen Aufnahmen nicht. Sieh, wie ein Lauf mit zwei offenen Whisper-Modellen aussah und was er dir nicht sagen kann.
Lies einen Bericht des Runners: das Stresstest-Dashboard.