Conversaciones en vivo: v8_2 frente a ai-coustics Quail VF 2.2 S con dos reconocedores, y la condición decide quién va delante

Nuestro benchmark principal puntúa enunciados cortos y aislados. Un agente de voz nunca oye un enunciado suelto. Oye una llamada: alguien habla, hace una pausa, escucha, vuelve a hablar, mientras otras personas en la sala van y vienen. Así que construimos un segundo experimento con forma de llamada y enfrentamos nuestro modelo en producción, v8_2, a un producto hecho para el mismo trabajo: ai-coustics Quail VF 2.2 S, un modelo Voice Focus cuya tarea también es conservar al hablante principal y descartar a todos los demás.

La versión corta, porque depende de quién escucha:

• Con faster-whisper base.en es un empate, y ningún motor supera al audio sin procesar en el conjunto agregado.
• Con la transcripción de entrada de Gemini Live, la transcripción que un agente de voz de Gemini en vivo hace de quien llama, v8_2 supera al audio sin procesar y va delante de VF S en el conjunto agregado, por −6.47 pp [−9.89, −3.26].
• Con ambos, la condición decide quién va delante: v8_2 con un hablante cerca del micrófono y un fondo fuerte, VF S con un hablante lejano a −10 dB.
• En la toma de turnos, VF S es mejor: con Gemini Live provoca 52 interrupciones falsas (barge-ins) frente a 125 de v8_2 y 97 del audio sin procesar.

Cada número de este post está en /benchmark y en benchmark.json, bajo conversation.

Qué construimos, y qué no es

El conjunto de prueba es construido: voces reales y salas reales, mezcladas por nosotros. Cada ingrediente es una grabación real, pero las conversaciones se ensamblaron digitalmente, no se grabaron de principio a fin. Una llamada real añade cosas que una mezcla no tiene, como códecs, control automático de ganancia y un hablante que reacciona a la sala. Lee cada número de abajo con eso en mente.

• El objetivo. Un hablante de LibriSpeech test-clean por conversación: de 4 a 8 enunciados consecutivos de un mismo capítulo, separados por pausas naturales de 0.3 a 2.5 s, con al menos un hueco de "escucha" de 3 a 6 s en el que quien llama espera al agente.
• El fondo. De 1 a 3 hablantes reales más (LibriSpeech dev-clean y MUSAN speech) que van y vienen con sus propias ráfagas de habla y sus propias pausas. Se colocan en una sala real mediante respuestas al impulso medidas de BUT ReverbDB, a 1–4 m del micrófono. La mitad de las conversaciones lleva además ambiente real intermitente (DEMAND, ruido de MUSAN) a −20 dB respecto al objetivo.
• Los estados. Cada conversación contiene los cuatro estados que un agente de voz tiene que manejar: el objetivo solo, una voz de fondo sola dentro de las pausas del objetivo, solapamiento y ninguna voz.
• Las condiciones. 40 guiones de conversación, cada uno mezclado de cinco maneras, para 200 conversaciones de 30.4 a 59.8 s:
  • near (cerca): un objetivo con micrófono cercano, como con unos auriculares o un teléfono pegado a la oreja, con cada hablante de fondo a −10, −5 o 0 dB respecto al objetivo;
  • room (sala): el propio objetivo a 0.5–1.5 m del micrófono, a través de una respuesta de sala medida, con el fondo a −10 o −5 dB.
• Streaming. Cada conversación pasa entera por el motor, sin reinicio dentro de ella, como lo haría una llamada en vivo. Los motores se reinician entre conversaciones, y cada salida se compensa por la latencia declarada del motor: 15 ms para v8_2, 30 ms para VF S.
• El competidor. ai-coustics Quail VF 2.2 S, ejecutado con el SDK licenciado a sus 16 kHz nativos y con el nivel de mejora por defecto del SDK (0.8). Es una referencia de benchmark y nunca una ruta de código en nada de lo que distribuimos.
• Puntuación, dos veces. faster-whisper base.en transcribe cada conversación entera sin conexión. Por separado, cada salida se envía en tiempo real, en tramas PCM16 de 100 ms, a una sesión de Gemini Live (gemini-live-2.5-flash-native-audio), y puntuamos su transcripción de entrada y registramos cuándo responde el agente y cuándo informa de que lo han interrumpido. Ambas transcripciones se puntúan frente a la transcripción del propio objetivo. Cada diferencia lleva un intervalo de confianza del 95 % obtenido con un bootstrap pareado sobre conversaciones.

Reconocedor 1, faster-whisper base.en: empate, y el audio sin procesar no es superado

Las 200 conversaciones	raw	v8_2	VF S
WER %	37.82	38.46	38.59
inserciones %	19.38	13.71	7.58
eliminaciones %	3.20	5.54	12.51
fuga de palabras de fondo, por 100 palabras	4.06	1.74	0.94

v8_2 − VF S es −0.13 pp [−4.56, +4.47]. El intervalo cruza el cero de lleno, así que es un empate. Frente al audio sin procesar, v8_2 está en +0.65 pp [−3.38, +4.73] y VF S en +0.78 pp [−3.60, +5.13]. Con faster-whisper, ningún motor supera al audio sin procesar en el conjunto agregado. Es la misma lección que en nuestro benchmark principal, donde el control también ganó en la media agregada: para este reconocedor, promediado sobre todo, no hacer nada es tan bueno como cualquiera de los dos motores.

Lo que la línea agregada oculta es la mezcla de errores. El audio sin procesar falla inventando palabras (el reconocedor transcribe a los hablantes de fondo). Ambos motores lo reducen, y VF S es el que más lo reduce. Pero VF S también pierde palabras del objetivo con mucha más frecuencia. Los dos motores llegan al mismo total por caminos distintos.

Por condición, faster-whisper base.en

Condición	raw	v8_2	VF S	v8_2 − VF S, pp [IC 95 %]	Lectura
Cerca, fondo −10 dB	14.70	10.86	8.89	+1.97 [−0.54, +4.63]	empate
Cerca, fondo −5 dB	21.65	24.00	27.04	−3.04 [−19.48, +14.99]	empate
Cerca, fondo 0 dB	38.70	37.19	55.94	−18.75 [−27.75, −9.90]	v8_2 delante
Cerca, agregado	25.01	24.02	30.62	−6.60 [−13.36, −0.06]	v8_2 delante
Sala, fondo −10 dB	53.17	49.56	40.07	+9.50 [+4.31, +14.84]	VF S delante
Sala, fondo −5 dB	60.86	70.69	61.03	+9.66 [+3.07, +16.81]	VF S delante
Sala, agregado	57.02	60.13	50.55	+9.58 [+5.52, +13.90]	VF S delante

WER en %, faster-whisper base.en. Las diferencias negativas significan menos errores para v8_2.

Donde v8_2 va delante: un hablante cerca del micrófono con un fondo fuerte

Con los hablantes de fondo tan fuertes como el objetivo (cerca, 0 dB), v8_2 obtiene 37.19% de WER y VF S 55.94%. Casi toda esa diferencia son eliminaciones. VF S elimina ahí el 28.41% de las palabras del objetivo, frente al 4.57% de v8_2. Cuando una segunda voz es tan fuerte como la primera, VF S recorta buena parte del objetivo junto con el fondo.

Agregado sobre las tres condiciones cercanas, v8_2 va delante por −6.60 pp [−13.36, −0.06]. Hay que decirlo con cuidado: el límite superior queda apenas por debajo de cero, y la ventaja viene de la condición de 0 dB. A −10 dB VF S es ligeramente mejor en la estimación puntual (+1.97, intervalo que cruza el cero), y −5 dB tiene demasiado ruido para decantarse hacia ningún lado. La lectura justa es "delante cuando el fondo es tan fuerte como el hablante", no "delante en cada llamada con auriculares".

Donde VF S va delante: un hablante lejano

En cuanto el propio objetivo está a 0.5–1.5 m del micrófono, VF S va delante por +9.58 pp [+5.52, +13.90] en el agregado, y en ambas condiciones de sala. En sala a −5 dB, v8_2 es peor que no hacer nada: 70.69% frente al 60.86% del audio sin procesar, una diferencia de +9.82 pp [+3.09, +17.40]. Un objetivo con reverberación es hoy un punto débil de v8_2, y esta ejecución lo muestra con claridad.

Qué hacen los motores con el audio

La transcripción es una vista. La señal es otra, y en esta VF S hace mucho mejor lo que un agente de voz más quiere durante una pausa: que el fondo se quede en silencio.

Agregado, todas las condiciones	raw	v8_2	VF S
supresión del fondo en las pausas del objetivo, dB	0.0	8.5	17.4
palabras de fondo reconocidas en esas pausas, por minuto	115.86	68.05	41.79
cambio de arranque en los primeros 200 ms tras una pausa, dB	−0.30	−14.08	−23.03
SI-SDR sobre el habla del objetivo, dB	5.29	7.49	3.91

En la condición cercana más limpia (−10 dB) la diferencia en supresión de pausas es la mayor: 10.6 dB para v8_2 frente a 30.1 dB para VF S. Si tu problema es un agente que responde a la televisión mientras quien llama está en silencio, VF S mantiene la pausa más silenciosa en esta prueba, y deja entrar menos palabras de fondo en la transcripción (0.94 por cada 100 palabras, frente a 1.74 de v8_2 y 4.06 del audio sin procesar).

El silencio tiene un precio. VF S atenúa los primeros 200 ms después de que el objetivo vuelve a hablar en 23.03 dB de media, frente a 14.08 dB de v8_2, y obtiene un SI-SDR sobre el habla del propio objetivo inferior al de la entrada sin procesar. Ese es el mecanismo detrás de sus eliminaciones. Ningún motor sale gratis aquí: v8_2 también atenúa los arranques, y bastante.

Reconocedor 2, Gemini Live: v8_2 supera al audio sin procesar y va delante de VF S en el agregado

Un agente de voz construido sobre Gemini Live no ejecuta faster-whisper; oye el flujo él mismo. Así que enviamos en tiempo real las 600 salidas (200 conversaciones × 3 brazos) a sesiones de Gemini Live y puntuamos la propia transcripción de entrada de la sesión. La ejecución está completa.

Las 200 conversaciones, Gemini Live	raw	v8_2	VF S
WER %	40.50	36.40	42.87
inserciones %	3.17	3.66	1.54
eliminaciones %	27.63	19.75	29.37
fuga de palabras de fondo, por 100 palabras	0.80	0.63	0.16

v8_2 − VF S es −6.47 pp [−9.89, −3.26], y v8_2 − raw es −4.10 pp [−6.28, −1.98]: con este reconocedor, v8_2 es el único motor que supera al audio sin procesar en el conjunto agregado. VF S − raw es +2.37 pp [−0.92, +5.54], un empate con el audio sin procesar.

Gemini Live falla de otra manera que faster-whisper. Rara vez inventa las palabras de los hablantes de fondo; pierde palabras cuando el objetivo se oye mal, así que sus errores son sobre todo eliminaciones, y ahí es donde v8_2 le ayuda: las eliminaciones bajan del 27.63% sin procesar al 19.75%, mientras que VF S, que recorta más del objetivo, queda en 29.37%.

Condición	raw	v8_2	VF S	v8_2 − VF S, pp [IC 95 %]	Lectura
Cerca, fondo −10 dB	21.76	14.40	17.43	−3.04 [−10.83, +5.06]	empate
Cerca, fondo −5 dB	23.97	18.94	24.82	−5.88 [−11.15, −1.18]	v8_2 delante
Cerca, fondo 0 dB	39.71	33.06	60.95	−27.89 [−35.80, −19.85]	v8_2 delante
Cerca, agregado	28.48	22.13	34.40	−12.27 [−16.84, −7.91]	v8_2 delante
Sala, fondo −10 dB	49.67	51.89	44.14	+7.74 [+2.48, +12.77]	VF S delante
Sala, fondo −5 dB	67.38	63.71	67.00	−3.28 [−8.07, +1.40]	empate
Sala, agregado	58.52	57.80	55.57	+2.23 [−1.64, +6.08]	empate

WER en %, transcripción de entrada de Gemini Live. Las diferencias negativas significan menos errores para v8_2.

La forma coincide con faster-whisper, con otro equilibrio. La ventaja con micrófono cercano es mayor y más clara: −12.27 pp [−16.84, −7.91] agregado sobre las condiciones cercanas, y a 0 dB VF S elimina el 48.71% de las palabras del objetivo frente al 16.53% de v8_2. El lado del hablante lejano se estrecha: VF S sigue claramente delante en sala a −10 dB (+7.74 pp [+2.48, +12.77]), pero el agregado de sala es un empate con Gemini Live (+2.23 pp [−1.64, +6.08]).

Toma de turnos: aquí VF S es mejor

Las mismas sesiones muestran cuándo el agente empieza una respuesta y cuándo Gemini Live informa de que lo han interrumpido. Una respuesta falsa es una respuesta que empieza sin habla del objetivo en los 3 s anteriores; una interrupción falsa (barge-in falso) es una interrupción sin habla del objetivo en los 1.5 s anteriores, lo que en la práctica significa que el hablante de fondo cortó al agente.

Las 200 conversaciones	raw	v8_2	VF S
respuestas del agente	976	1001	970
respuestas falsas	49	56	37
barge-ins	939	1038	923
barge-ins falsos	97	125	52

Este resultado va en nuestra contra, y lo decimos claramente. VF S provoca 52 interrupciones falsas frente a 125 de v8_2, y v8_2 provoca más que el audio sin procesar (97). Las respuestas falsas apuntan en la misma dirección: por conversación, v8_2 − VF S es +0.10 [+0.01, +0.18]. Encaja con las métricas de señal de arriba: VF S mantiene las pausas mucho más silenciosas, así que una voz de fondo en el silencio de quien llama se parece menos a quien llama para el agente. v8_2 deja pasar más de ese fondo, y Gemini Live lo oye como habla. Si las interrupciones falsas son tu fallo principal, esta ejecución favorece a VF S.

Salvedades

• Construido, no grabado. Voces y salas reales, mezcladas por nosotros. No es una grabación de campo, ni sustituye a probar con tus propias llamadas.
• Dos reconocedores, dos respuestas. faster-whisper base.en lee el conjunto agregado como un empate; Gemini Live lo lee como una ventaja de v8_2. Ninguno es la verdad para tu stack: el reconocedor que ejecutas decide qué resultado se te aplica.
• Cuarenta hablantes. Las cinco condiciones vuelven a mezclar los mismos 40 guiones, así que no son muestras independientes, y una palabra vale 0.005 pp en el agregado.
• Gemini Live es un modelo alojado. Su comportamiento puede cambiar entre versiones; estos números son para gemini-live-2.5-flash-native-audio tal como lo ejecutamos en octubre de 2026.
• Un solo ajuste para VF S. Usamos el nivel de mejora por defecto del SDK. Otro nivel movería su equilibrio entre supresión y eliminaciones, en cualquiera de las dos direcciones.
• La fuga es una cota inferior. Solo el hablante de fondo transcrito (LibriSpeech dev-clean) puede atribuirse palabra por palabra; los hablantes de MUSAN no.
• Licencias. LibriSpeech (CC BY 4.0), MUSAN (CC BY 4.0), DEMAND (CC BY-SA 3.0), BUT ReverbDB (CC BY 4.0). Publicamos solo los números, no las mezclas ni el audio.

Nada de esto cambia nuestro benchmark principal: en la matriz de 19 condiciones el control está en 14.32% de WER y nuestra fila v8_2 en 16.59%. Este experimento añade una pregunta distinta, sobre llamadas en lugar de clips, y su respuesta tampoco es unilateral.

Si tus usuarios están con auriculares o con un teléfono en un lugar ruidoso, y sobre todo si tu agente funciona sobre Gemini Live, esta ejecución sugiere que vale la pena probar v8_2. Si se sientan lejos de un portátil en una sala con reverberación, o lo que más necesitas es frenar las interrupciones falsas, sugiere VF S. En cualquier caso, la demo en vivo ejecuta v8_2 sobre tu propio micrófono, y tus propias llamadas son la prueba que decide.

FAQ

¿Cuál es mejor, v8_2 o ai-coustics Quail VF 2.2 S?

Depende del reconocedor y de la condición. Con faster-whisper base.en el resultado agregado es un empate: v8_2 − VF S es −0.13 pp [−4.56, +4.47]. Con la transcripción de entrada de Gemini Live, v8_2 va delante en el conjunto agregado por −6.47 pp [−9.89, −3.26]. Con ambos, v8_2 va delante con un hablante cerca del micrófono y un fondo fuerte, y VF S va delante con un hablante a 0.5–1.5 m a −10 dB. VF S además mantiene las pausas más silenciosas y provoca menos interrupciones falsas con Gemini Live (52 frente a 125).

¿Mejora alguno de los motores la transcripción respecto al audio sin procesar?

Con faster-whisper base.en, no en el conjunto agregado: el audio sin procesar obtiene 37.82% de WER, v8_2 38.46% y VF S 38.59%, y ambas diferencias frente al audio sin procesar tienen intervalos que cruzan el cero. Con Gemini Live, v8_2 sí: 36.40% frente al 40.50% del audio sin procesar, una diferencia de −4.10 pp [−6.28, −1.98]. VF S frente al audio sin procesar con Gemini Live es +2.37 pp [−0.92, +5.54], un empate.

¿Reduce v8_2 las interrupciones falsas en un agente de Gemini Live?

No. En esta ejecución las aumenta: 125 interrupciones falsas (barge-ins) frente a 97 del audio sin procesar y 52 de VF S, sobre 200 conversaciones. La supresión más fuerte de VF S en las pausas de quien llama es la razón probable de que aquí lo haga mejor.

¿Son grabaciones reales?

Están construidas a partir de grabaciones reales: voces de LibriSpeech y MUSAN, ambiente de DEMAND y respuestas de sala medidas de BUT ReverbDB. Las conversaciones en sí las mezclamos digitalmente nosotros; no se grabaron de principio a fin.

¿Puedo descargar el audio?

No. Publicamos los números, el método y las tablas por condición en benchmark.json. Las mezclas y el audio no se publican.