Live-Gespräche: v8_2 gegen ai-coustics Quail VF 2.2 S mit zwei Erkennern, und die Bedingung entscheidet, wer vorn liegt

Unser Haupt-Benchmark bewertet kurze, einzelne Äußerungen. Ein Voice-Agent hört aber nie eine Äußerung für sich allein. Er hört ein Gespräch: Jemand spricht, macht eine Pause, hört zu, spricht wieder, während andere Menschen im Raum kommen und gehen. Also haben wir ein zweites Experiment gebaut, das wie ein Gespräch aufgebaut ist, und unser ausgeliefertes Modell, v8_2, gegen ein Produkt für dieselbe Aufgabe antreten lassen: ai-coustics Quail VF 2.2 S, ein Voice-Focus-Modell, dessen Aufgabe ebenfalls darin besteht, den Hauptsprecher zu behalten und alle anderen zu entfernen.

Die Kurzfassung, denn sie hängt davon ab, wer zuhört:

• Mit faster-whisper base.en herrscht Gleichstand, und keine Engine schlägt raw auf dem gepoolten Set.
• Mit der Eingangstranskription von Gemini Live, dem Transkript, das ein Live-Voice-Agent auf Gemini-Basis vom Anrufer erstellt, schlägt v8_2 raw und liegt auf dem gepoolten Set vor VF S, um −6.47 pp [−9.89, −3.26].
• Unter beiden entscheidet die Bedingung, wer vorn liegt: v8_2 bei einem nah besprochenen Mikrofon und lautem Hintergrund, VF S bei einem entfernten Sprecher bei −10 dB.
• Beim Turn-Taking ist VF S besser: Unter Gemini Live löst es 52 falsche Barge-ins aus, gegenüber 125 bei v8_2 und 97 bei raw.

Jede Zahl in diesem Post steht auf /benchmark und in benchmark.json unter conversation.

Was wir gebaut haben, und was es nicht ist

Das Testset ist konstruiert: echte Stimmen und echte Räume, von uns gemischt. Jede Zutat ist eine echte Aufnahme, aber die Gespräche wurden digital zusammengesetzt, nicht durchgehend aufgenommen. Ein echtes Telefonat bringt Dinge mit, die eine Mischung nicht hat, etwa Codecs, automatische Verstärkungsregelung und einen Sprecher, der auf den Raum reagiert. Lesen Sie jede Zahl unten mit diesem Vorbehalt.

• Das Ziel. Ein LibriSpeech-test-clean-Sprecher pro Gespräch: 4 bis 8 aufeinanderfolgende Äußerungen aus einem Kapitel, getrennt durch natürliche Pausen von 0.3 bis 2.5 s, mit mindestens einer „Zuhör“-Lücke von 3 bis 6 s, in der der Anrufer auf den Agenten wartet.
• Der Hintergrund. 1 bis 3 andere echte Sprecher (LibriSpeech dev-clean und MUSAN speech), die mit eigenen Redeschüben und eigenen Pausen kommen und gehen. Sie werden über gemessene BUT-ReverbDB-Impulsantworten in einen echten Raum gesetzt, 1 bis 4 m vom Mikrofon entfernt. Die Hälfte der Gespräche trägt zusätzlich zeitweise echte Umgebungsgeräusche (DEMAND, MUSAN noise) bei −20 dB relativ zum Ziel.
• Die Zustände. Jedes Gespräch enthält alle vier Zustände, mit denen ein Voice-Agent umgehen muss: Ziel allein, Hintergrundstimme allein in den Pausen des Ziels, Überlappung und gar keine Stimme.
• Die Bedingungen. 40 Gesprächsskripte, jedes auf fünf Arten gemischt, ergeben 200 Gespräche von 30.4 bis 59.8 s:
  • near: ein nah besprochenes Ziel, wie bei einem Headset oder einem ans Ohr gehaltenen Telefon, mit jedem Hintergrundsprecher bei −10, −5 oder 0 dB relativ zum Ziel;
  • room: das Ziel selbst 0.5 bis 1.5 m vom Mikrofon entfernt, über eine gemessene Raumantwort, mit dem Hintergrund bei −10 oder −5 dB.
• Streaming. Jedes Gespräch läuft als Ganzes durch die Engine, ohne Reset darin, so wie ein Live-Gespräch. Zwischen den Gesprächen werden die Engines zurückgesetzt, und jede Ausgabe wird um die deklarierte Latenz der Engine verzögerungskompensiert: 15 ms für v8_2, 30 ms für VF S.
• Der Wettbewerber. ai-coustics Quail VF 2.2 S, über das lizenzierte SDK mit nativen 16 kHz und der Standard-Enhancement-Stufe des SDK (0.8) betrieben. Es ist eine Benchmark-Referenz und nie ein Codepfad in etwas, das wir ausliefern.
• Bewertung, zweifach. faster-whisper base.en transkribiert jedes Gespräch offline als Ganzes. Getrennt davon wird jede Ausgabe in Echtzeit, als PCM16-Frames von 100 ms, in eine Gemini-Live-Sitzung gestreamt (gemini-live-2.5-flash-native-audio), und wir bewerten deren Eingangstranskription und protokollieren, wann der Agent antwortet und wann er meldet, unterbrochen worden zu sein. Beide Transkripte werden gegen das eigene Transkript des Ziels bewertet. Jede Differenz trägt ein 95-%-Konfidenzintervall aus einem gepaarten Bootstrap über Gespräche.

Erkenner 1, faster-whisper base.en: Gleichstand, und raw wird nicht geschlagen

Alle 200 Gespräche	raw	v8_2	VF S
WER %	37.82	38.46	38.59
Insertions %	19.38	13.71	7.58
Deletions %	3.20	5.54	12.51
Hintergrundwort-Leak, pro 100 Wörter	4.06	1.74	0.94

v8_2 − VF S beträgt −0.13 pp [−4.56, +4.47]. Das Intervall schließt die Null klar ein, also ist das Gleichstand. Gegenüber dem unbearbeiteten Audio liegt v8_2 bei +0.65 pp [−3.38, +4.73] und VF S bei +0.78 pp [−3.60, +5.13]. Mit faster-whisper schlägt keine Engine raw auf dem gepoolten Set. Das ist dieselbe Lehre wie aus unserem Haupt-Benchmark, wo die Kontrolle ebenfalls im gepoolten Mittel gewann: Für diesen Erkenner ist Nichtstun, über alles gemittelt, so gut wie jede der beiden Engines.

Was die gepoolte Zeile verbirgt, ist die Fehlermischung. Roh-Audio scheitert, indem es Wörter erfindet (der Erkenner transkribiert die Hintergrundsprecher). Beide Engines reduzieren das, und VF S am stärksten. Aber VF S verliert auch weit häufiger Wörter des Ziels. Die beiden Engines erreichen dieselbe Summe auf verschiedenen Wegen.

Pro Bedingung, faster-whisper base.en

Bedingung	raw	v8_2	VF S	v8_2 − VF S, pp [95 % CI]	Lesart
Near, Hintergrund −10 dB	14.70	10.86	8.89	+1.97 [−0.54, +4.63]	Gleichstand
Near, Hintergrund −5 dB	21.65	24.00	27.04	−3.04 [−19.48, +14.99]	Gleichstand
Near, Hintergrund 0 dB	38.70	37.19	55.94	−18.75 [−27.75, −9.90]	v8_2 vorn
Near, gepoolt	25.01	24.02	30.62	−6.60 [−13.36, −0.06]	v8_2 vorn
Room, Hintergrund −10 dB	53.17	49.56	40.07	+9.50 [+4.31, +14.84]	VF S vorn
Room, Hintergrund −5 dB	60.86	70.69	61.03	+9.66 [+3.07, +16.81]	VF S vorn
Room, gepoolt	57.02	60.13	50.55	+9.58 [+5.52, +13.90]	VF S vorn

WER in %, faster-whisper base.en. Negative Differenzen bedeuten weniger Fehler für v8_2.

Wo v8_2 vorn liegt: nah besprochenes Mikrofon mit lautem Hintergrund

Wenn die Hintergrundsprecher so laut sind wie das Ziel (near, 0 dB), erreicht v8_2 37.19% WER und VF S 55.94%. Fast die gesamte Lücke besteht aus Deletions. VF S löscht dort 28.41% der Wörter des Ziels, gegenüber 4.57% bei v8_2. Wenn eine zweite Stimme so laut ist wie die erste, blendet VF S einen großen Teil des Ziels zusammen mit dem Hintergrund aus.

Gepoolt über die drei near-Bedingungen liegt v8_2 mit −6.60 pp [−13.36, −0.06] vorn. Das ist vorsichtig zu formulieren: Die obere Grenze liegt nur knapp unter null, und der Vorsprung stammt aus der 0-dB-Bedingung. Bei −10 dB ist VF S in der Punktschätzung leicht besser (+1.97, das Intervall schließt die Null ein), und −5 dB ist zu verrauscht, um es in eine Richtung zu entscheiden. Die faire Lesart lautet „vorn, wenn der Hintergrund so laut ist wie der Sprecher“, nicht „vorn bei jedem Headset-Gespräch“.

Wo VF S vorn liegt: ein entfernter Sprecher

Sobald das Ziel selbst 0.5 bis 1.5 m vom Mikrofon entfernt ist, liegt VF S gepoolt mit +9.58 pp [+5.52, +13.90] vorn, und zwar in beiden room-Bedingungen. Bei room −5 dB ist v8_2 schlechter als Nichtstun: 70.69% gegenüber 60.86% bei raw, eine Differenz von +9.82 pp [+3.09, +17.40]. Ein verhalltes Ziel ist heute eine Schwachstelle von v8_2, und dieser Lauf zeigt das deutlich.

Was die Engines mit dem Audio machen

Das Transkript ist eine Sicht. Das Signal ist eine andere, und hier erledigt VF S das, was ein Voice-Agent sich während einer Pause am meisten wünscht, deutlich besser: Es lässt den Hintergrund verstummen.

Gepoolt, alle Bedingungen	raw	v8_2	VF S
Hintergrundunterdrückung in den Pausen des Ziels, dB	0.0	8.5	17.4
in diesen Pausen erkannte Hintergrundwörter, pro Minute	115.86	68.05	41.79
Onset-Änderung in den ersten 200 ms nach einer Pause, dB	−0.30	−14.08	−23.03
SI-SDR auf der Sprache des Ziels, dB	5.29	7.49	3.91

In der saubersten near-Bedingung (−10 dB) ist der Abstand bei der Pausenunterdrückung am größten: 10.6 dB für v8_2 gegenüber 30.1 dB für VF S. Wenn Ihr Problem ein Agent ist, der dem Fernseher antwortet, während der Anrufer schweigt, hält VF S die Pause in diesem Test leiser, und es lässt weniger Hintergrundwörter ins Transkript (0.94 pro 100 Wörter, gegenüber 1.74 bei v8_2 und 4.06 bei raw).

Die Stille hat ihren Preis. VF S dämpft die ersten 200 ms, nachdem das Ziel wieder zu sprechen beginnt, im Mittel um 23.03 dB, gegenüber 14.08 dB bei v8_2, und es erzielt auf der Sprache des Ziels einen niedrigeren SI-SDR als das unbearbeitete Eingangssignal. Das ist der Mechanismus hinter seinen Deletions. Keine der beiden Engines ist hier kostenlos: Auch v8_2 dämpft Onsets, und zwar deutlich.

Erkenner 2, Gemini Live: v8_2 schlägt raw und liegt gepoolt vor VF S

Ein Voice-Agent auf Basis von Gemini Live verwendet kein faster-whisper; er hört den Stream selbst. Deshalb haben wir alle 600 Ausgaben (200 Gespräche × 3 Arme) in Echtzeit in Gemini-Live-Sitzungen gestreamt und die eigene Eingangstranskription der Sitzung bewertet. Der Lauf ist abgeschlossen.

Alle 200 Gespräche, Gemini Live	raw	v8_2	VF S
WER %	40.50	36.40	42.87
Insertions %	3.17	3.66	1.54
Deletions %	27.63	19.75	29.37
Hintergrundwort-Leak, pro 100 Wörter	0.80	0.63	0.16

v8_2 − VF S beträgt −6.47 pp [−9.89, −3.26], und v8_2 − raw beträgt −4.10 pp [−6.28, −1.98]: Unter diesem Erkenner ist v8_2 die einzige Engine, die das unbearbeitete Audio auf dem gepoolten Set schlägt. VF S − raw beträgt +2.37 pp [−0.92, +5.54], Gleichstand mit raw.

Gemini Live scheitert anders als faster-whisper. Es erfindet selten die Wörter der Hintergrundsprecher; es verliert Wörter, wenn das Ziel schwer zu hören ist, seine Fehler sind also überwiegend Deletions, und genau dort hilft ihm v8_2: Die Deletions sinken von 27.63% bei raw auf 19.75%, während VF S, das mehr vom Ziel ausblendet, bei 29.37% liegt.

Bedingung	raw	v8_2	VF S	v8_2 − VF S, pp [95 % CI]	Lesart
Near, Hintergrund −10 dB	21.76	14.40	17.43	−3.04 [−10.83, +5.06]	Gleichstand
Near, Hintergrund −5 dB	23.97	18.94	24.82	−5.88 [−11.15, −1.18]	v8_2 vorn
Near, Hintergrund 0 dB	39.71	33.06	60.95	−27.89 [−35.80, −19.85]	v8_2 vorn
Near, gepoolt	28.48	22.13	34.40	−12.27 [−16.84, −7.91]	v8_2 vorn
Room, Hintergrund −10 dB	49.67	51.89	44.14	+7.74 [+2.48, +12.77]	VF S vorn
Room, Hintergrund −5 dB	67.38	63.71	67.00	−3.28 [−8.07, +1.40]	Gleichstand
Room, gepoolt	58.52	57.80	55.57	+2.23 [−1.64, +6.08]	Gleichstand

WER in %, Eingangstranskription von Gemini Live. Negative Differenzen bedeuten weniger Fehler für v8_2.

Die Form entspricht faster-whisper, mit einer anderen Gewichtung. Der Vorsprung bei nah besprochenem Mikrofon ist größer und klarer: −12.27 pp [−16.84, −7.91] gepoolt über die near-Bedingungen, und bei 0 dB löscht VF S 48.71% der Wörter des Ziels, gegenüber 16.53% bei v8_2. Auf der Seite des entfernten Sprechers wird der Abstand kleiner: VF S liegt bei room −10 dB weiterhin klar vorn (+7.74 pp [+2.48, +12.77]), aber der room-Pool ist unter Gemini Live Gleichstand (+2.23 pp [−1.64, +6.08]).

Turn-Taking: Hier ist VF S besser

Dieselben Sitzungen zeigen, wann der Agent eine Antwort beginnt und wann Gemini Live meldet, unterbrochen worden zu sein. Eine falsche Antwort ist eine Antwort, die ohne Sprache des Ziels in den vorangehenden 3 s beginnt; ein falscher Barge-in ist eine Unterbrechung ohne Sprache des Ziels in den vorangehenden 1.5 s, was in der Praxis bedeutet, dass der Hintergrundsprecher den Agenten unterbrochen hat.

Alle 200 Gespräche	raw	v8_2	VF S
Antworten des Agenten	976	1001	970
falsche Antworten	49	56	37
Barge-ins	939	1038	923
falsche Barge-ins	97	125	52

Dieses Ergebnis spricht gegen uns, und wir sagen es klar. VF S löst 52 falsche Barge-ins aus, gegenüber 125 bei v8_2, und v8_2 löst mehr aus als das unbearbeitete Audio (97). Die falschen Antworten zeigen in dieselbe Richtung: Pro Gespräch beträgt v8_2 − VF S +0.10 [+0.01, +0.18]. Das passt zu den Signalmetriken oben: VF S hält die Pausen deutlich leiser, sodass eine Hintergrundstimme in der Stille des Anrufers für den Agenten seltener wie der Anrufer aussieht. v8_2 lässt mehr von diesem Hintergrund durch, und Gemini Live hört es als Sprache. Wenn falsche Unterbrechungen Ihr Hauptproblem sind, spricht dieser Lauf für VF S.

Vorbehalte

• Konstruiert, nicht aufgenommen. Echte Stimmen und Räume, von uns gemischt. Keine Feldaufnahme und kein Ersatz für Tests mit Ihren eigenen Gesprächen.
• Zwei Erkenner, zwei Antworten. faster-whisper base.en liest das gepoolte Set als Gleichstand; Gemini Live liest es als Vorsprung von v8_2. Keines davon ist die Wahrheit für Ihren Stack: Der Erkenner, den Sie betreiben, entscheidet, welches Ergebnis für Sie gilt.
• Vierzig Sprecher. Die fünf Bedingungen mischen dieselben 40 Skripte neu, sie sind also keine unabhängigen Stichproben, und ein Wort ist gepoolt 0.005 pp wert.
• Gemini Live ist ein gehostetes Modell. Sein Verhalten kann sich zwischen Versionen ändern; diese Zahlen gelten für gemini-live-2.5-flash-native-audio, so wie wir es im Oktober 2026 betrieben haben.
• Eine Einstellung für VF S. Wir haben die Standard-Enhancement-Stufe des SDK verwendet. Eine andere Stufe würde seinen Kompromiss zwischen Unterdrückung und Deletions verschieben, in beide Richtungen.
• Leak ist eine Untergrenze. Nur der transkribierte Hintergrundsprecher (LibriSpeech dev-clean) lässt sich Wort für Wort zuordnen; die MUSAN-Sprecher nicht.
• Lizenzen. LibriSpeech (CC BY 4.0), MUSAN (CC BY 4.0), DEMAND (CC BY-SA 3.0), BUT ReverbDB (CC BY 4.0). Wir veröffentlichen nur die Zahlen, nicht die Mischungen oder das Audio.

Unser Haupt-Benchmark bleibt davon unberührt: Auf der Matrix mit 19 Bedingungen liegt die Kontrolle bei 14.32% WER und unsere v8_2-Zeile bei 16.59%. Dieses Experiment stellt eine andere Frage, zu Gesprächen statt zu Clips, und auch seine Antwort ist nicht einseitig.

Wenn Ihre Nutzer mit Headset oder Telefon an einem lauten Ort sind, und besonders wenn Ihr Agent auf Gemini Live läuft, legt dieser Lauf nahe, dass sich ein Versuch mit v8_2 lohnt. Wenn sie mit Abstand vor einem Laptop in einem halligen Raum sitzen oder falsche Unterbrechungen das sind, was Sie vor allem stoppen müssen, legt er VF S nahe. So oder so: Die Live-Demo führt v8_2 auf Ihrem eigenen Mikrofon aus, und Ihre eigenen Gespräche sind der Test, der entscheidet.

FAQ

Was ist besser, v8_2 oder ai-coustics Quail VF 2.2 S?

Das hängt vom Erkenner und von der Bedingung ab. Mit faster-whisper base.en ist das gepoolte Ergebnis Gleichstand: v8_2 − VF S beträgt −0.13 pp [−4.56, +4.47]. Mit der Eingangstranskription von Gemini Live liegt v8_2 auf dem gepoolten Set um −6.47 pp [−9.89, −3.26] vorn. Unter beiden liegt v8_2 bei einem nah besprochenen Mikrofon und lautem Hintergrund vorn, und VF S bei einem Sprecher in 0.5 bis 1.5 m Entfernung bei −10 dB. VF S hält außerdem die Pausen leiser und löst unter Gemini Live weniger falsche Barge-ins aus (52 gegenüber 125).

Verbessert eine der Engines die Transkription gegenüber Roh-Audio?

Mit faster-whisper base.en nicht auf dem gepoolten Set: Raw erreicht 37.82% WER, v8_2 38.46% und VF S 38.59%, und beide Differenzen gegenüber raw haben Intervalle, die die Null einschließen. Mit Gemini Live tut v8_2 es: 36.40% gegenüber 40.50% bei raw, eine Differenz von −4.10 pp [−6.28, −1.98]. VF S gegenüber raw beträgt unter Gemini Live +2.37 pp [−0.92, +5.54], also Gleichstand.

Reduziert v8_2 falsche Unterbrechungen in einem Gemini-Live-Agenten?

Nein. In diesem Lauf erhöht es sie: 125 falsche Barge-ins gegenüber 97 beim unbearbeiteten Audio und 52 bei VF S, über 200 Gespräche. Die stärkere Unterdrückung von VF S in den Pausen des Anrufers ist der wahrscheinliche Grund, warum es hier besser abschneidet.

Sind das echte Aufnahmen?

Sie sind aus echten Aufnahmen gebaut: LibriSpeech- und MUSAN-Stimmen, DEMAND-Umgebungsgeräusche und gemessene BUT-ReverbDB-Raumantworten. Die Gespräche selbst haben wir digital gemischt, nicht durchgehend aufgenommen.

Kann ich das Audio herunterladen?

Nein. Wir veröffentlichen die Zahlen, die Methode und die Tabellen pro Bedingung in benchmark.json. Die Mischungen und das Audio werden nicht veröffentlicht.