Wie man Sprecher-Isolation bewertet: eine Checkliste mit sechs Fragen für jede Engine, auch für unsere

Update vom 20. Oktober 2026: Wir haben unsere eigene Engine in einem Live-Gesprächs-Benchmark gegen ai-coustics Quail VF 2.2 S durch diese Fragen geschickt: zielreferenzierte WER, Insertions und Deletions getrennt ausgewiesen, eine Roh-Kontrolle, gepaarte Konfidenzintervalle. Die Antwort hing vom Erkenner ab: Gleichstand mit faster-whisper base.en, ein Vorsprung von v8_2 mit der Eingangstranskription von Gemini Live, weniger falsche Barge-ins bei VF S, und die Bedingung entscheidet, wer vorn liegt.

Die Isolation des Primärsprechers ist dieses Jahr kein Nischenfeature mehr, sondern ein Budgetposten: Mehrere Anbieter vermarkten inzwischen eine Form von Primärsprecher-Fokus, und die meisten Genauigkeitszahlen dazu stammen von privaten Korpora, unter Bedingungen, die außerhalb des Anbieters niemand erneut ausführen kann. Dieser Post ist die Checkliste, mit der wir eine solche Engine kaufen würden — jede Engine, unsere eingeschlossen. Sechs Fragen, jede mit einem Bestehen und einem Durchfallen, die ein Ingenieur an einem Nachmittag ausführen kann, und keine davon verlangt, einem Demo-Clip zu vertrauen.

1. Verlangen Sie zielreferenzierte WER auf einem Korpus, den Sie herunterladen können

Eine Behauptung zur WER-Reduktion ist keine Eigenschaft einer Engine. Sie ist die Eigenschaft von mindestens vier Dingen zusammen: dem Korpus, den akustischen Bedingungen, dem Recognizer und der Textnormalisierung vor dem Scoring. Ändert man eines davon, bewegt sich die Zahl, manchmal über null hinweg. Ein Anbieter, der die Zahl nennt und die anderen vier für sich behält, hat keine falsifizierbare Aussage gemacht — und unfalsifizierbar ist schlimmer als falsch, denn Falsches lässt sich wenigstens nachweisen.

Bestanden: Sie können den Korpus oder sein Manifest abrufen, das Scoring erneut ausführen und die Tabelle bis auf die Stelle genau reproduzieren. Durchgefallen: „auf unserem internen Datensatz." Die Höflichkeit der Formulierung ändert nichts an ihrer Bedeutung: Sie können das nicht überprüfen.

2. Achten Sie gezielt auf Insertions

Eine Isolations-Engine hat einen definierenden Fehlermodus: Die zweite Stimme kommt durch. Eine durchgesickerte Stimme zeigt sich im Transkript nicht als verstümmeltes Wort — sie zeigt sich als eingefügte Wörter, der Recognizer transkribiert getreu jemanden, der nicht Ihr Anrufer ist. Die aggregierte WER ist (S + D + I) / N, eine Zahl, die drei verschiedene Fehlermechanismen trägt, und sie verbirgt bereitwillig eine Verdopplung der Insertions hinter einer Verbesserung bei den Substitutionen. Für einen Voice-Agenten ist eingefügter, flüssiger Text vom falschen Sprecher die gefährlichste Fehlerklasse überhaupt, weil ein nachgelagertes LLM darauf handelt.

Bestanden: Substitutionen, Deletionen und Insertions werden getrennt veröffentlicht, pro Bedingung. Durchgefallen: ein einzelner WER-Skalar. Die ausführlichere Begründung, warum die Zerlegung wichtiger ist als die Summe, steht in unserem Beitrag zu Fehlermechanismen.

3. Verlangen Sie die Nichts-tun-Kontrollzeile

Die Frage lautet nie „schneidet das verarbeitete Audio gut ab." Sie lautet „schlägt das verarbeitete Audio dasselbe Audio, unangetastet." Diese Latte liegt viel höher, als es klingt: Moderne Recognizer sind auf enormen Mengen verrauschten Audios aus der realen Welt trainiert, und Rauschen ist für sie in-distribution, Verarbeitungsartefakte dagegen nicht. „Schlägt Raw" ist die Latte, und die meisten Engines reißen sie meistens — in unserer eigenen veröffentlichten Matrix, gepoolt über alle Bedingungen, hat bisher nichts die unangetastete Kontrolle geschlagen, unsere Engine eingeschlossen.

Bestanden: Die Evaluation des Anbieters enthält eine rohe, unverarbeitete Zeile, identisch bewertet, die strukturell gewinnen durfte. Durchgefallen: Jede Zeile der Tabelle ist irgendeine Konfiguration des Anbieterprodukts. Ein Benchmark ohne Kontrolle ist eine Rangliste mit einem Teilnehmer.

4. Messen Sie Latenz als algorithmische Verzögerung plus Block-Budget auf einem Kern

Eine einzelne „X ms Latenz"-Angabe wirft zwei Zahlen zusammen, die sich in Produktion völlig verschieden verhalten. Die algorithmische Verzögerung — Framegröße plus Lookahead — ist eine Eigenschaft des Modells: Keine Hardware wird sie je verkleinern, und sie liegt für immer auf dem kritischen Pfad Ihrer Konversation. Das Block-Budget ist die Rechenzeit, die jeder Audioblock kostet; auf einem festgepinnten einzelnen Kern wird daraus ein Echtzeitfaktor, und er entscheidet, wie viele Streams ein Kern bedienen kann. Eine Marketingzahl, die weder die Hardware noch die Threadzahl noch nennt, welche der beiden sie misst, wurde auf der besten Maschine erzeugt, die der Anbieter finden konnte, und Ihre Kapazitätsplanung erbt die Differenz.

Bestanden: algorithmische Verzögerung als Modelleigenschaft angegeben, plus ein gemessener Echtzeitfaktor mit Hardware-String und Ein-Thread-Disziplin. Durchgefallen: „ultra-niedrige Latenz."

5. Fragen Sie, wohin das Audio geht

Es gibt zwei Architekturen, und sie sind nicht austauschbar. Eine In-Process-Bibliothek hält die Samples in Ihrem Media-Server, Ihre bestehende Datenverarbeitungsgeschichte bleibt also unverändert. Eine Cloud-API fügt einen zweiten Verarbeiter dessen hinzu, was in den meisten Rechtsordnungen personenbezogene Daten sind — Anruferaudio —, was unter der DSGVO einen Auftragsverarbeitungsvertrag, eine Antwort zum Datenstandort und eine Zeile in Ihrer Datenschutzdokumentation bedeutet; sie fügt außerdem einen Netzwerk-Roundtrip hinzu, dessen Tail-Latenzen jede algorithmische Verzögerung aus Frage 4 in den Schatten stellen. Keine der Architekturen ist ein Ausschlusskriterium. Ein Anbieter, der nicht in einem Satz sagen kann, welchen Prozess die Samples überhaupt verlassen, ist eines.

Bestanden: „das Audio verlässt Ihren Prozess nie" oder „das Audio wird in Region X unter DPA Y verarbeitet" — beides, klar gesagt. Durchgefallen: ein Diagramm mit einer Wolke darin und kein Satz.

6. Legen Sie den Preis neben den öffentlichen Anker

Minutenpreise für diese Kategorie sind nicht mehr hypothetisch: LiveKit berechnet Voice Isolation jenseits der Plan-Kontingente mit $0.0012 pro Minute, auf einer öffentlichen Preisseite, die jeder zitieren kann. Das macht es zum Anker des Ökosystems, was immer Sie davon halten. Nehmen Sie das Angebot, das Ihnen vorliegt — pro Stunde, pro Platz, pro Monat mit verbindlichem Mindestbetrag —, normalisieren Sie es auf eine Stream-Minute, addieren Sie die Rechenkosten für den Betrieb der Engine aus dem Echtzeitfaktor von Frage 4 und legen Sie das Ergebnis neben $0.0012. Der Vergleich dauert fünf Minuten, und Anbieter wissen, ob ihre Zahl ihn übersteht — weshalb das Angebot so selten in dieser Einheit eintrifft.

Bestanden: ein Preis, den Sie pro Minute ohne Vertriebsgespräch nennen können. Durchgefallen: „kontaktieren Sie uns", plus ein Mindestbetrag, den Sie in Woche drei entdecken.

Woher diese Checkliste kommt

Wir haben diese sechs Fragen nicht für diesen Post erfunden. Sie sind, Punkt für Punkt, das, was unser Benchmark umsetzt: zielreferenzierte WER mit Substitutionen, Deletionen und Insertions in jeder Zelle; ein inhaltsadressiertes Korpus-Manifest, das Sie abrufen können; eine Nichts-tun-Kontrolle, die strukturell gewinnen darf — und derzeit gewinnt, bei 14.32% gepoolter WER, mit nichts darunter, unsere eigene Engine eingeschlossen; Echtzeitfaktoren, gemessen auf einem festgepinnten Kern, mit dem Hardware-String in der Zeile; und die Ergebnisse, veröffentlicht unter CC-BY-4.0, damit Sie sie gegen uns zitieren können. Die Methodik enthält die Einschränkungen, die real sind.

Wenn Sie eine Sprecher-Isolations-Engine verkaufen und glauben, Ihre Zeile sähe besser aus als unsere, schreiben Sie an [email protected]. Eine Engine hinzuzufügen ist eine einzige Adapterdatei. Wir führen sie unter den veröffentlichten Regeln aus und veröffentlichen das Ergebnis, wie immer es ausfällt — die Tabelle über uns ist der Beweis dafür.