Conversas ao vivo: v8_2 vs ai-coustics Quail VF 2.2 S com dois reconhecedores, e a condição decide quem lidera

Nosso benchmark principal pontua enunciados curtos e isolados. Um agente de voz nunca ouve um enunciado sozinho. Ele ouve uma chamada: alguém fala, faz uma pausa, escuta, fala de novo, enquanto outras pessoas na sala vêm e vão. Então construímos um segundo experimento com o formato de uma chamada e colocamos nosso modelo em produção, o v8_2, contra um produto feito para o mesmo trabalho: ai-coustics Quail VF 2.2 S, um modelo Voice Focus cujo trabalho também é manter o falante principal e descartar todos os outros.

A versão curta, porque depende de quem está ouvindo:

• Com o faster-whisper base.en é empate, e nenhuma engine vence o bruto no conjunto agrupado.
• Com a transcrição de entrada do Gemini Live, a transcrição que um agente de voz Gemini ao vivo faz de quem liga, o v8_2 vence o bruto e lidera sobre o VF S no conjunto agrupado, por −6.47 pp [−9.89, −3.26].
• Com os dois, a condição decide quem lidera: o v8_2 com um falante de microfone próximo e um fundo alto, o VF S com um falante distante a −10 dB.
• Na troca de turnos, o VF S é melhor: com o Gemini Live ele dispara 52 barge-ins falsos contra 125 do v8_2 e 97 do bruto.

Todos os números deste post estão em /benchmark e em benchmark.json, sob conversation.

O que construímos, e o que isso não é

O conjunto de teste é construído: vozes reais e salas reais, mixadas por nós. Cada ingrediente é uma gravação real, mas as conversas foram montadas digitalmente, não gravadas de ponta a ponta. Uma chamada real acrescenta coisas que uma mixagem não tem, como codecs, controle automático de ganho e um falante que reage à sala. Leia cada número abaixo com isso em mente.

• O alvo. Um falante do LibriSpeech test-clean por conversa: 4 a 8 enunciados consecutivos de um capítulo, separados por pausas naturais de 0.3 a 2.5 s, com pelo menos um intervalo de "escuta" de 3 a 6 s em que quem liga espera pelo agente.
• O fundo. 1 a 3 outros falantes reais (LibriSpeech dev-clean e MUSAN speech) que vêm e vão com seus próprios trechos de fala e suas próprias pausas. Eles são posicionados em uma sala real por meio de respostas ao impulso medidas do BUT ReverbDB, a 1 a 4 m do microfone. Metade das conversas também traz ambiência real intermitente (DEMAND, ruído do MUSAN) a −20 dB em relação ao alvo.
• Os estados. Cada conversa contém os quatro estados com que um agente de voz precisa lidar: alvo sozinho, voz de fundo sozinha dentro das pausas do alvo, sobreposição e nenhuma voz.
• As condições. 40 roteiros de conversa, cada um mixado de cinco maneiras, para 200 conversas de 30.4 a 59.8 s:
  • near: um alvo de microfone próximo, como em um headset ou um telefone junto ao ouvido, com cada falante de fundo a −10, −5 ou 0 dB em relação ao alvo;
  • room: o próprio alvo a 0.5 a 1.5 m do microfone, por meio de uma resposta de sala medida, com o fundo a −10 ou −5 dB.
• Streaming. Cada conversa passa inteira pela engine, sem reset no meio, como faria uma chamada ao vivo. As engines são resetadas entre conversas, e cada saída é compensada pelo atraso declarado da engine: 15 ms para o v8_2, 30 ms para o VF S.
• O concorrente. ai-coustics Quail VF 2.2 S, executado pelo SDK licenciado na sua taxa nativa de 16 kHz com o nível de aprimoramento padrão do SDK (0.8). É uma referência de benchmark e nunca um caminho de código em nada que distribuímos.
• Pontuação, duas vezes. O faster-whisper base.en transcreve cada conversa inteira offline. Separadamente, cada saída é transmitida em tempo real, em quadros PCM16 de 100 ms, para uma sessão do Gemini Live (gemini-live-2.5-flash-native-audio), e pontuamos sua transcrição de entrada e registramos quando o agente responde e quando ele informa ter sido interrompido. As duas transcrições são pontuadas contra a transcrição do próprio alvo. Toda diferença vem com um intervalo de confiança de 95 % de um bootstrap pareado sobre as conversas.

Reconhecedor 1, faster-whisper base.en: empate, e o bruto não é vencido

Todas as 200 conversas	bruto	v8_2	VF S
WER %	37.82	38.46	38.59
inserções %	19.38	13.71	7.58
deleções %	3.20	5.54	12.51
vazamento de palavras do fundo, por 100 palavras	4.06	1.74	0.94

v8_2 − VF S é −0.13 pp [−4.56, +4.47]. O intervalo cruza o zero em cheio, então isso é empate. Contra o áudio sem processamento, o v8_2 fica em +0.65 pp [−3.38, +4.73] e o VF S em +0.78 pp [−3.60, +5.13]. Com o faster-whisper, nenhuma engine vence o bruto no conjunto agrupado. É a mesma lição do nosso benchmark principal, em que o controle também venceu na média agrupada: para este reconhecedor, na média de tudo, não fazer nada é tão bom quanto qualquer uma das engines.

O que a linha agrupada esconde é a composição dos erros. O áudio bruto falha inventando palavras (o reconhecedor transcreve os falantes de fundo). As duas engines reduzem isso, e o VF S reduz mais. Mas o VF S também descarta palavras do alvo com muito mais frequência. As duas engines chegam ao mesmo total por caminhos diferentes.

Por condição, faster-whisper base.en

Condição	bruto	v8_2	VF S	v8_2 − VF S, pp [IC 95 %]	Leitura
Near, fundo −10 dB	14.70	10.86	8.89	+1.97 [−0.54, +4.63]	empate
Near, fundo −5 dB	21.65	24.00	27.04	−3.04 [−19.48, +14.99]	empate
Near, fundo 0 dB	38.70	37.19	55.94	−18.75 [−27.75, −9.90]	v8_2 à frente
Near, agrupado	25.01	24.02	30.62	−6.60 [−13.36, −0.06]	v8_2 à frente
Room, fundo −10 dB	53.17	49.56	40.07	+9.50 [+4.31, +14.84]	VF S à frente
Room, fundo −5 dB	60.86	70.69	61.03	+9.66 [+3.07, +16.81]	VF S à frente
Room, agrupado	57.02	60.13	50.55	+9.58 [+5.52, +13.90]	VF S à frente

WER em %, faster-whisper base.en. Diferenças negativas significam menos erros para o v8_2.

Onde o v8_2 lidera: um falante de microfone próximo com um fundo alto

Com os falantes de fundo tão altos quanto o alvo (near, 0 dB), o v8_2 marca 37.19% de WER e o VF S 55.94%. Quase toda essa diferença são deleções. O VF S apaga 28.41% das palavras do alvo ali, contra 4.57% do v8_2. Quando uma segunda voz é tão alta quanto a primeira, o VF S corta boa parte do alvo junto com o fundo.

Agrupado nas três condições near, o v8_2 lidera por −6.60 pp [−13.36, −0.06]. Diga isso com cuidado: o limite superior fica mal e mal abaixo de zero, e a vantagem vem da condição de 0 dB. A −10 dB o VF S é ligeiramente melhor na estimativa pontual (+1.97, intervalo cruzando o zero), e −5 dB é ruidoso demais para decidir para qualquer lado. A leitura justa é "à frente quando o fundo é tão alto quanto o falante", não "à frente em toda chamada com headset".

Onde o VF S lidera: um falante distante

Quando o próprio alvo está a 0.5 a 1.5 m do microfone, o VF S lidera por +9.58 pp [+5.52, +13.90] no agrupado, e nas duas condições room. Em room −5 dB o v8_2 é pior do que não fazer nada: 70.69% contra 60.86% do bruto, uma diferença de +9.82 pp [+3.09, +17.40]. Um alvo reverberante é hoje um ponto fraco do v8_2, e esta rodada mostra isso com clareza.

O que as engines fazem com o áudio

A transcrição é uma visão. O sinal é outra, e nesta o VF S faz muito melhor aquilo que um agente de voz mais quer durante uma pausa: deixa o fundo em silêncio.

Agrupado, todas as condições	bruto	v8_2	VF S
supressão do fundo nas pausas do alvo, dB	0.0	8.5	17.4
palavras do fundo reconhecidas nessas pausas, por minuto	115.86	68.05	41.79
variação do onset nos primeiros 200 ms após uma pausa, dB	−0.30	−14.08	−23.03
SI-SDR na fala do alvo, dB	5.29	7.49	3.91

Na condição near mais limpa (−10 dB) a diferença na supressão das pausas é a maior: 10.6 dB para o v8_2 contra 30.1 dB para o VF S. Se o seu problema é um agente que responde à TV enquanto quem liga está em silêncio, o VF S mantém a pausa mais silenciosa neste teste, e deixa menos palavras do fundo entrarem na transcrição (0.94 por 100 palavras, contra 1.74 do v8_2 e 4.06 do bruto).

O silêncio tem um preço. O VF S atenua os primeiros 200 ms depois que o alvo volta a falar em 23.03 dB em média, contra 14.08 dB do v8_2, e marca um SI-SDR na própria fala do alvo menor do que o da entrada sem processamento. Esse é o mecanismo por trás das suas deleções. Nenhuma engine sai de graça aqui: o v8_2 também atenua os onsets, e bastante.

Reconhecedor 2, Gemini Live: o v8_2 vence o bruto e lidera sobre o VF S no agrupado

Um agente de voz construído sobre o Gemini Live não roda o faster-whisper; ele ouve o próprio stream. Então transmitimos todas as 600 saídas (200 conversas × 3 braços) para sessões do Gemini Live em tempo real e pontuamos a transcrição de entrada da própria sessão. A rodada está completa.

Todas as 200 conversas, Gemini Live	bruto	v8_2	VF S
WER %	40.50	36.40	42.87
inserções %	3.17	3.66	1.54
deleções %	27.63	19.75	29.37
vazamento de palavras do fundo, por 100 palavras	0.80	0.63	0.16

v8_2 − VF S é −6.47 pp [−9.89, −3.26], e v8_2 − bruto é −4.10 pp [−6.28, −1.98]: com este reconhecedor, o v8_2 é a única engine que vence o áudio sem processamento no conjunto agrupado. VF S − bruto é +2.37 pp [−0.92, +5.54], empate com o bruto.

O Gemini Live falha de um jeito diferente do faster-whisper. Ele raramente inventa as palavras dos falantes de fundo; ele descarta palavras quando o alvo é difícil de ouvir, então seus erros são principalmente deleções, e é aí que o v8_2 o ajuda: as deleções caem de 27.63% no bruto para 19.75%, enquanto o VF S, que corta mais do alvo, fica em 29.37%.

Condição	bruto	v8_2	VF S	v8_2 − VF S, pp [IC 95 %]	Leitura
Near, fundo −10 dB	21.76	14.40	17.43	−3.04 [−10.83, +5.06]	empate
Near, fundo −5 dB	23.97	18.94	24.82	−5.88 [−11.15, −1.18]	v8_2 à frente
Near, fundo 0 dB	39.71	33.06	60.95	−27.89 [−35.80, −19.85]	v8_2 à frente
Near, agrupado	28.48	22.13	34.40	−12.27 [−16.84, −7.91]	v8_2 à frente
Room, fundo −10 dB	49.67	51.89	44.14	+7.74 [+2.48, +12.77]	VF S à frente
Room, fundo −5 dB	67.38	63.71	67.00	−3.28 [−8.07, +1.40]	empate
Room, agrupado	58.52	57.80	55.57	+2.23 [−1.64, +6.08]	empate

WER em %, transcrição de entrada do Gemini Live. Diferenças negativas significam menos erros para o v8_2.

O formato bate com o do faster-whisper, com um equilíbrio diferente. A vantagem com microfone próximo é maior e mais clara: −12.27 pp [−16.84, −7.91] agrupado nas condições near, e a 0 dB o VF S apaga 48.71% das palavras do alvo contra 16.53% do v8_2. O lado do falante distante se estreita: o VF S ainda lidera com clareza em room −10 dB (+7.74 pp [+2.48, +12.77]), mas o agrupado room é empate com o Gemini Live (+2.23 pp [−1.64, +6.08]).

Troca de turnos: aqui o VF S é melhor

As mesmas sessões mostram quando o agente começa uma resposta e quando o Gemini Live informa que foi interrompido. Uma resposta falsa é uma resposta que começa sem fala do alvo nos 3 s anteriores; um barge-in falso é uma interrupção sem fala do alvo nos 1.5 s anteriores, o que na prática significa que o falante de fundo cortou o agente.

Todas as 200 conversas	bruto	v8_2	VF S
respostas do agente	976	1001	970
respostas falsas	49	56	37
barge-ins	939	1038	923
barge-ins falsos	97	125	52

Este resultado vai contra nós, e dizemos isso com clareza. O VF S dispara 52 barge-ins falsos contra 125 do v8_2, e o v8_2 dispara mais do que o áudio sem processamento (97). As respostas falsas apontam na mesma direção: por conversa, v8_2 − VF S é +0.10 [+0.01, +0.18]. Isso combina com as métricas de sinal acima: o VF S mantém as pausas muito mais silenciosas, então uma voz de fundo no silêncio de quem liga parece menos vezes ser quem liga para o agente. O v8_2 deixa passar mais desse fundo, e o Gemini Live o ouve como fala. Se interrupções falsas são sua principal falha, esta rodada favorece o VF S.

Ressalvas

• Construído, não gravado. Vozes e salas reais, mixadas por nós. Não é uma gravação de campo, e não substitui testar nas suas próprias chamadas.
• Dois reconhecedores, duas respostas. O faster-whisper base.en lê o conjunto agrupado como empate; o Gemini Live o lê como uma vantagem do v8_2. Nenhum dos dois é a verdade para a sua stack: o reconhecedor que você roda decide qual resultado vale para você.
• Quarenta falantes. As cinco condições remixam os mesmos 40 roteiros, então não são amostras independentes, e uma palavra vale 0.005 pp no agrupado.
• O Gemini Live é um modelo hospedado. Seu comportamento pode mudar entre versões; estes números são do gemini-live-2.5-flash-native-audio como o rodamos em outubro de 2026.
• Uma configuração para o VF S. Usamos o nível de aprimoramento padrão do SDK. Outro nível moveria sua troca entre supressão e deleções, em qualquer direção.
• O vazamento é um limite inferior. Só o falante de fundo transcrito (LibriSpeech dev-clean) pode ser atribuído palavra por palavra; os falantes do MUSAN não.
• Licenças. LibriSpeech (CC BY 4.0), MUSAN (CC BY 4.0), DEMAND (CC BY-SA 3.0), BUT ReverbDB (CC BY 4.0). Publicamos apenas os números, não as mixagens nem o áudio.

Nada disso muda nosso benchmark principal: na matriz de 19 condições o controle está em 14.32% de WER e a nossa linha v8_2 em 16.59%. Este experimento acrescenta uma pergunta diferente, sobre chamadas em vez de clipes, e a resposta também não é unilateral.

Se seus usuários estão em um headset ou em um telefone em um lugar barulhento, e especialmente se o seu agente roda no Gemini Live, esta rodada sugere que vale a pena testar o v8_2. Se eles ficam afastados de um laptop em uma sala reverberante, ou se interrupções falsas são o que você mais precisa evitar, ela sugere o VF S. De qualquer forma, a demo ao vivo roda o v8_2 no seu próprio microfone, e suas próprias chamadas são o teste que decide.

FAQ

Qual é melhor, v8_2 ou ai-coustics Quail VF 2.2 S?

Depende do reconhecedor e da condição. Com o faster-whisper base.en o resultado agrupado é empate: v8_2 − VF S é −0.13 pp [−4.56, +4.47]. Com a transcrição de entrada do Gemini Live o v8_2 lidera no conjunto agrupado por −6.47 pp [−9.89, −3.26]. Com os dois, o v8_2 lidera com um falante de microfone próximo e um fundo alto, e o VF S lidera com um falante a 0.5 a 1.5 m de distância a −10 dB. O VF S também mantém as pausas mais silenciosas e dispara menos barge-ins falsos com o Gemini Live (52 contra 125).

Alguma das engines melhora a transcrição em relação ao áudio bruto?

Com o faster-whisper base.en, não no conjunto agrupado: o bruto marca 37.82% de WER, o v8_2 38.46% e o VF S 38.59%, e as duas diferenças contra o bruto têm intervalos que cruzam o zero. Com o Gemini Live, o v8_2 melhora: 36.40% contra 40.50% do bruto, uma diferença de −4.10 pp [−6.28, −1.98]. O VF S contra o bruto com o Gemini Live fica em +2.37 pp [−0.92, +5.54], o que é empate.

O v8_2 reduz interrupções falsas em um agente Gemini Live?

Não. Nesta rodada ele as aumenta: 125 barge-ins falsos contra 97 do áudio sem processamento e 52 do VF S, em 200 conversas. A supressão mais forte do VF S nas pausas de quem liga é a razão provável de ele se sair melhor aqui.

Estas são gravações reais?

Elas são construídas a partir de gravações reais: vozes do LibriSpeech e do MUSAN, ambiência do DEMAND e respostas de sala medidas do BUT ReverbDB. As conversas em si são mixadas digitalmente por nós, não gravadas de ponta a ponta.

Posso baixar o áudio?

Não. Publicamos os números, o método e as tabelas por condição no benchmark.json. As mixagens e o áudio não são publicados.