Zum Inhalt
AudioLab .tools
Anmelden

Voice AI / Belege

Wo wir falsch lagen

Sieben Dinge, bei denen wir falsch lagen, was der Test zeigte und was wir jeweils getan haben. Das ist die Liste, die die übrigen Zahlen vertrauenswürdig macht.

Jede Messgröße auf dieser Website wird an etwas mit bekannter Antwort getestet, und manche Tests scheitern. Wir verstecken das nicht: Wir ändern den Status der Messgröße, wir streichen die Behauptung, und wir behalten die Zahlen. Das sind die, die für Audio auf dem Weg zu einem Spracherkenner zählen.

  1. 1. Ein Nachhall-Score, der dem Nachhall nicht folgte

    Was wir behauptet haben.
    Ein Score aus Sprache, der dem Nachhall eines Raums folgen sollte.
    Was der Test zeigte.
    Am 27. September 2026 gegen 24 Räume mit gemessenen Nachhallzeiten getestet: eine Rangkorrelation von 0,06 und eine AUC von 0,52, und er steigt mit dem Rauschen.
    Was sich geändert hat.
    Überall zurückgezogen. Er bleibt auf /lenses als zurückgezogen stehen, damit niemand eine alte Zahl findet und ihr traut.

    Raum und Nachhall

  2. 2. Eine sprachbasierte Messgröße, von der wir sagten, sie messe den Raum selbst

    Was wir behauptet haben.
    Dass das Ausklingen am Ende einer Phrase den Raum selbst misst.
    Was der Test zeigte.
    Gegen 24 echte Räume lag ihre Rangkorrelation mit der gemessenen Nachhallzeit bei 0,56 (die Latte lag bei 0,70); die andere Messgröße hatte 0,303 und zeigte keinen Zusammenhang.
    Was sich geändert hat.
    Beide Messgrößen sind nur indikativ, und der Satz, der sagte, sie messen den Raum selbst, wurde gestrichen.

    Raum und Nachhall

  3. 3. Unser erster Sprachdetektor

    Was wir behauptet haben.
    Dass wir finden, wo die Sprache ist, und damit den Sprachanteil und die Pausen.
    Was der Test zeigte.
    Kein Kriterium wurde erfüllt. Der Sprachanteil wurde im Mittel um 12,5 Prozentpunkte zu niedrig gelesen, und die Reinheit der Pausen lag bei 0,69 gegen eine Latte von 0,95.
    Was sich geändert hat.
    Jede Sprach- und Pausenmessgröße wurde indikativ. Ein Detektor mit Hysterese ist besser und wird als Opt-in angeboten, erreicht die ursprünglichen Latten aber ebenfalls nicht.

    Sprachdetektion

  4. 4. Eine Schätzung des Signal-Rausch-Verhältnisses, die zu hoch las, und eine Korrektur, die wir nicht übernommen haben

    Was wir behauptet haben.
    Das Signal-Rausch-Verhältnis von Sprache.
    Was der Test zeigte.
    Bei 0 dB las die Schätzung im Mittel 10,7 dB zu hoch bei Küchenrauschen und 12,5 dB bei Flurrauschen. Ein hybrider Schätzer, der 5 dB behob, überkorrigierte bei 10 dB und verfehlte seine Latte (90. Perzentil 6,21 dB gegen 6,0).
    Was sich geändert hat.
    Der Hybrid wurde nicht übernommen. Eine Korrektur auf dem verbesserten Detektor schon, als Opt-in. Unter 5 dB liest die Schätzung weiterhin zu hoch, und die Marge sagt das.

    Rauschen und SNR

  5. 5. Inhaltstyp und das Label „gemischt“

    Was wir behauptet haben.
    Dass wir Sprache, Musik und Rauschen unterscheiden können und dass Sprache über Musik „gemischt“ genannt wird.
    Was der Test zeigte.
    Das erste Modell nannte Rauschen in 3 von 200 Fragmenten Rauschen. „Gemischt“ wurde bei 29 von 100 Aufnahmen von Sprache über einer um 6 dB leiseren Musik vergeben, bei einer Latte von 80.
    Was sich geändert hat.
    Beides ist nur indikativ. Ein zweites Modell ist in jeder Klasse besser und wird als Opt-in angeboten, verfehlt aber noch immer mehr als die Hälfte des stationären Rauschens.

    Szenen-Messgrößen und Inhaltstyp

  6. 6. Ein Stationaritäts-Score, der andersherum funktionierte

    Was wir behauptet haben.
    Dass ein Score gleichmäßiges Maschinenrauschen von wechselndem Stimmengewirr trennt.
    Was der Test zeigte.
    Er wertete dichtes Stimmengewirr als stationärer als eine Waschmaschine: AUC 0,23 bei 20 dB und 0,27 bei 10 dB gegen eine Latte von 0,80. Die Messgröße für die Art des Hintergrunds scheiterte ebenfalls.
    Was sich geändert hat.
    Beides ist nur indikativ, und der Score heißt jetzt „Konstantes Hintergrundrauschen“, nicht „Maschine“.

    Szenen-Messgrößen und Inhaltstyp

  7. 7. Jitter und Shimmer

    Was wir behauptet haben.
    Messgrößen für die Rauheit der Stimme bei fließender Sprache.
    Was der Test zeigte.
    Beide verfehlten ihre Latten knapp (zum Beispiel eine Rangkorrelation von 0,74 gegen 0,75 bei Jitter). Bei echter fließender Sprache lesen sie das Zwei- bis Dreifache der klinischen Norm für einen gehaltenen Vokal, wo keine Wahrheit existiert.
    Was sich geändert hat.
    Beta: nicht über die API oder den MCP-Server angeboten.

    Der Status jeder Messgröße

Quellen und nächste Schritte

Eine Aufnahme prüfen Deinen eigenen Spracherkenner im Stresstest prüfen Der ganze Weg

Weitere Belege