¿Por qué fallan los agentes de voz en llamadas ruidosas? Cinco modos de fallo, con números

Los agentes de voz fallan en llamadas ruidosas porque cada etapa posterior al micrófono asume que el audio es una sola persona hablando con claridad. Cuando no lo es, el reconocedor de voz, el detector de actividad de voz (VAD) y la lógica de turnos fallan cada uno a su manera, y los fallos se acumulan.

Los cinco modos de fallo

Modo de fallo	Medido (Null Test, 2026-08-14)
Inserciones del STT por otras voces	45 inserciones en 190 palabras de audio con dos voces a 0 dB (sin procesar)
Barge-in falso	Tasa de falsa alarma del VAD 57.8% con dos voces a 10 dB (sin procesar)
Fin de turno erróneo	Tasa de falsa alarma del VAD 97.7% con murmullo (babble) a 5 dB (sin procesar)
Intención del hablante equivocado	WER 84.74% con dos voces a 0 dB (sin procesar)
Daño del códec de telefonía	WER 7.37% en A-law frente a 5.79% en la condición de telefonía simple (sin procesar)

Son las filas de control sin procesar de Null Test: reconocedor faster-whisper:base.en, Silero VAD con umbral 0.5, 10 hablantes, 190 clips, 16 kHz, ejecución del 2026-08-14. Describen lo que ocurre sin ninguna mejora; el control agregado es 14.32% de WER.

1. Inserciones del STT por otras voces

Un reconocedor no tiene noción de "quien llama". Una segunda voz al mismo nivel produce palabras, que puntúan como inserciones. A 0 dB el audio sin procesar da 45 inserciones y 84.74% de WER, porque las dos voces se entrelazan.

2. Barge-in falso

Los agentes dejan de hablar cuando el VAD se activa. Con dos voces a 10 dB la tasa de falsa alarma del VAD es 57.8% en el audio sin procesar, así que un transeúnte puede interrumpir al agente igual que quien llama.

3. Fin de turno erróneo

La lógica de fin de turno espera silencio. Con murmullo (babble) a 5 dB la tasa de falsa alarma del VAD es 97.7%: el detector oye habla casi en todas partes, así que el silencio nunca llega. Los modelos de detección de turnos pueden entrenarse con ruido (Daily describe reentrenar Smart Turn v3.2 con ruido de cafeterías y oficinas, blog de Daily, 2026), lo que ayuda en este modo pero no en los demás.

4. Intención del hablante equivocado

Cuando la transcripción contiene las palabras del transeúnte, el modelo de lenguaje actúa sobre ellas. El 84.74% de WER a 0 dB es el caso extremo; la tasa de error de intención en tu producto depende de tus prompts, que no medimos.

5. Daño del códec de telefonía

Los códecs de banda estrecha eliminan información antes de que se ejecute cualquier código tuyo. A-law eleva el WER sin procesar a 7.37% frente a 5.79% para los mismos clips por una ruta de telefonía limpia. Ver 8 kHz es donde la IA de voz se rompe.

¿Lo arregla el aislamiento?

En parte, y no en todas partes. En la misma ejecución nuestro modelo v8_2 baja el WER con dos voces a 0 dB de 84.74% a 74.21% y la tasa de falsa alarma del VAD a 10 dB de 57.8% a 44.4%, pero sube el WER con dos voces a 5 dB de 26.32% a 31.05%, y en A-law de 7.37% a 10.53%. El aislamiento aborda los modos 1 a 4 en algunas condiciones y no aborda el modo 5. Mide primero con tus propias llamadas: cómo evaluar el aislamiento de hablante.

FAQ

¿Cuál es la razón más común por la que un agente de voz entiende mal en una llamada ruidosa?

En nuestros datos el mayor efecto es una segunda voz a un nivel cercano al de quien llama: 84.74% de WER a 0 dB frente a 14.32% agregado.

¿Evita la cancelación de ruido el barge-in falso?

No para el habla. La voz de un transeúnte es habla, así que un VAD se activa igualmente; ver qué es el aislamiento de hablante.

¿Debo poner siempre un mejorador delante del reconocedor?

Nuestros datos dicen que no. El control sin tocar tuvo el menor WER agregado de las filas distribuibles que medimos, y la nuestra quedó por encima.