Warum die Turn-Erkennung bei TV-Audio versagt

Die Turn-Erkennung versagt bei TV-Audio, weil ein Fernseher ein zweiter Sprecher ist und ein Voice-Activity-Detector sprachähnliche Frames markiert, gleich zu welcher Stimme sie gehören. In unserer Matrix markiert Silero VAD 58.2% der Frames ohne Zielsprache als Sprache, wenn eine konkurrierende Stimme bei 0 dB SNR liegt, gegenüber 7.0% bei sauberem Audio, und ein Agent, der diese Frames für den sprechenden Anrufer hält, bricht seinen eigenen Satz ab.

Die Zahlen stammen aus benchmark.json (generatedAt 2026-08-14): Silero VAD mit Schwelle 0.5, Blöcke zu 512 Samples, 19 Bedingungen, zehn Sprecher. Wir lesen "Fehlalarm" als den Anteil der Referenz-Stille-Frames, die der VAD als Sprache markiert hat; die Felddefinition steht im Harness.

Der Mechanismus

Ein Voice Agent trifft zwei Entscheidungen, die vom selben Signal abhängen. Während der Agent spricht, entscheidet der Detektor, ob der Anrufer zu sprechen begonnen hat (Barge-in). Während der Anrufer spricht, entscheidet er, ob dieser fertig ist. Beides beruht auf einer Sprachwahrscheinlichkeit pro Frame. Ein Fernseher, ein Radio oder eine zweite Person im Raum erzeugen Frames mit hoher Sprachwahrscheinlichkeit, die nicht vom Anrufer stammen. Der Detektor kann das nicht unterscheiden, denn er wurde darauf trainiert, Sprache zu finden, nicht Ihren Sprecher. Das Ergebnis ist ein falsches Barge-in: Der Agent unterbricht sich selbst, oder er wartet auf ein Turn-Ende, das nie kommt, weil der Fernseher die Leitung "aktiv" hält.

Barge-in-Ereignisse haben wir nicht direkt gemessen. Wir messen die Fehlalarmrate des Frame-Detektors, die Eingang dieser Entscheidung ist. Wie ein bestimmter Agent Frames in eine Unterbrechung umsetzt, hängt von seinen eigenen Schwellen und Haltezeiten ab (Annahme: die Umsetzung ist monoton, mehr Fehlalarm-Frames bedeuten also mehr falsche Unterbrechungen).

Was der VAD bei konkurrierenden Stimmen tut

Bedingung	VAD-Fehlalarm, roh	VAD-Fehlalarm, focus v8_2	VAD F1, roh	VAD F1, focus v8_2
clean	7.0%	7.3%	0.976	0.966
noise_snr5	6.3%	9.2%	0.966	0.957
babble_snr5	97.7%	92.2%	0.845	0.852
competing_snr0	58.2%	58.2%	0.898	0.897
competing_snr5	58.1%	53.4%	0.899	0.903
competing_snr10	57.8%	44.4%	0.900	0.914

Gemessen am 2026-08-14, 190 Referenzwörter pro Bedingung. Der F1 ändert sich zwischen sauberem Audio und Audio mit konkurrierender Stimme kaum, weshalb eine einzelne F1-Zahl das Problem versteckt: Der Detektor findet die Zielsprache weiterhin, und er findet auch alles andere.

Behebt Isolation das?

Teilweise, und nicht überall. Bei 10 dB SNR senkte das Focus-Modell die Fehlalarmrate von 57.8% auf 44.4%; bei 5 dB von 58.1% auf 53.4%; bei 0 dB bewegte sie sich nicht. In derselben Bedingung competing_snr10 ging der WER von 6.3% auf 12.1% und die Einfügungen von 2 auf 7, ein niedrigerer Fehlalarm hat dort also kein besseres Transkript erkauft.

Pfad	Mittlerer VAD F1 (19 Bedingungen)	Differenz zu roh	Einfügungen
raw / passthrough	0.9477	+0.0000	103
anecho focus v8_2	0.9413	-0.0065	119
ai-coustics Quail L	0.9427	-0.0050	128
GTCRN	0.9454	-0.0023	223
DeepFilterNet3	0.9011	-0.0466	381

Gepoolt über alle 19 Bedingungen verbesserte keine Engine der Tabelle den mittleren VAD F1 gegenüber dem unbearbeiteten Audio, unsere eingeschlossen (0.9477 roh gegenüber 0.9413). Das Argument für eine geteilte Pipeline, mit dem VAD auf einem Zweig und dem Erkenner auf einem anderen, steht in der geteilten Pipeline; diese Zahlen sind der Grund, warum es ein zu messendes Design ist und kein Schalter zum Umlegen.

Was zu tun ist

Messen Sie die Fehlalarmrate an einer Aufnahme Ihres eigenen Raums bei laufendem Fernseher, nicht an einem sauberen Testset. Ist sie hoch, erhöhen Sie VAD-Schwelle und Barge-in-Haltezeit, bevor Sie zu einem Modell greifen, und behandeln Sie jedes Isolationsmodell als etwas, das gegen Rohaudio bewertet wird, wie jede Zeile oben.

FAQ

Warum versagt die Turn-Erkennung bei TV-Audio? Ein VAD erkennt Sprache, keinen Sprecher; TV-Dialog erzeugt daher dieselben Sprach-Frames wie der Anrufer. In unserer Matrix heben diese Frames den Fehlalarm bei 0 dB auf 58.2%.

Verhindert Sprecherisolation falsches Barge-in? In unserem Lauf senkte sie den VAD-Fehlalarm bei 5 und 10 dB, bei 0 dB nicht, und sie verbesserte den gepoolten VAD F1 nicht. Barge-in-Ereignisse selbst haben wir nicht gemessen.

Genügt ein besserer VAD? Wir haben einen VAD getestet, Silero mit Schwelle 0.5. Zu anderen Detektoren treffen wir keine Aussage.