Por que agentes de voz falham em chamadas ruidosas? Cinco modos de falha, com números

Agentes de voz falham em chamadas ruidosas porque cada etapa depois do microfone assume que o áudio é uma única pessoa falando com clareza. Quando não é, o reconhecedor de fala, o detector de atividade de voz (VAD) e a lógica de turnos falham cada um à sua maneira, e as falhas se acumulam.

Os cinco modos de falha

Modo de falha	Medido (Null Test, 2026-08-14)
Inserções do STT por outras vozes	45 inserções em 190 palavras de áudio com duas vozes a 0 dB (bruto)
Barge-in falso	Taxa de falso alarme do VAD 57.8% com duas vozes a 10 dB (bruto)
Fim de turno errado	Taxa de falso alarme do VAD 97.7% com murmúrio (babble) a 5 dB (bruto)
Intenção do locutor errado	WER 84.74% com duas vozes a 0 dB (bruto)
Dano do codec de telefonia	WER 7.37% em A-law contra 5.79% em a condição de telefonia simples (bruto)

Estas são as linhas de controle brutas do Null Test: reconhecedor faster-whisper:base.en, Silero VAD com limiar 0.5, 10 locutores, 190 clipes, 16 kHz, execução de 2026-08-14. Elas descrevem o que acontece sem nenhum aprimoramento; o controle agregado é 14.32% de WER.

1. Inserções do STT por outras vozes

Um reconhecedor não tem noção de "quem ligou". Uma segunda voz no mesmo nível produz palavras, que contam como inserções. A 0 dB o áudio bruto dá 45 inserções e 84.74% de WER, porque as duas vozes se intercalam.

2. Barge-in falso

Agentes param de falar quando o VAD dispara. Com duas vozes a 10 dB a taxa de falso alarme do VAD é 57.8% no áudio bruto, então um passante pode interromper o agente tão facilmente quanto quem ligou.

3. Fim de turno errado

A lógica de fim de turno espera silêncio. Sob murmúrio (babble) a 5 dB a taxa de falso alarme do VAD é 97.7%: o detector ouve fala quase em toda parte, então o silêncio nunca chega. Modelos de detecção de turno podem ser treinados com ruído (a Daily descreve o retreino do Smart Turn v3.2 com ruído de café e escritório, blog da Daily, 2026), o que ajuda neste modo mas não nos outros.

4. Intenção do locutor errado

Quando a transcrição contém as palavras do passante, o modelo de linguagem age sobre elas. Os 84.74% de WER a 0 dB são o caso extremo; a taxa de erro de intenção no seu produto depende dos seus prompts, que não medimos.

5. Dano do codec de telefonia

Codecs de banda estreita removem informação antes de qualquer código seu rodar. A-law eleva o WER bruto para 7.37% contra 5.79% para os mesmos clipes por um caminho de telefonia limpo. Veja 8 kHz é onde a IA de voz quebra.

O isolamento resolve?

Em parte, e não em todo lugar. Na mesma execução nosso modelo v8_2 reduz o WER com duas vozes a 0 dB de 84.74% para 74.21% e a taxa de falso alarme do VAD a 10 dB de 57.8% para 44.4%, mas aumenta o WER com duas vozes a 5 dB de 26.32% para 31.05%, e em A-law de 7.37% para 10.53%. O isolamento aborda os modos 1 a 4 em algumas condições e não aborda o modo 5. Meça primeiro nas suas chamadas: como avaliar isolamento de locutor.

FAQ

Qual o motivo mais comum de um agente de voz entender errado numa chamada ruidosa?

Nos nossos dados o maior efeito é uma segunda voz em nível próximo ao de quem ligou: 84.74% de WER a 0 dB contra 14.32% agregado.

O cancelamento de ruído evita o barge-in falso?

Não para fala. A voz de um passante é fala, então o VAD ainda dispara; veja o que é isolamento de locutor.

Devo sempre colocar um aprimorador na frente do reconhecedor?

Nossos dados dizem que não. O controle intocado teve o menor WER agregado entre as linhas distribuíveis que medimos, e a nossa ficou acima dele.