Cómo evaluar el aislamiento de hablante: una lista de seis preguntas para cualquier motor, incluido el nuestro

Actualización del 20 de octubre de 2026: sometimos nuestro propio motor a estas preguntas frente a ai-coustics Quail VF 2.2 S en un benchmark de conversaciones en vivo: WER con referencia al objetivo, inserciones y eliminaciones por separado, un control sin procesar e intervalos de confianza pareados. La respuesta dependió del reconocedor: empate con faster-whisper base.en, ventaja de v8_2 con la transcripción de entrada de Gemini Live, menos interrupciones falsas (barge-ins) para VF S, y la condición decidiendo quién va delante.

El aislamiento del hablante principal dejó de ser una funcionalidad de nicho este año y se convirtió en una partida presupuestaria: varios proveedores comercializan ahora alguna forma de foco en el hablante principal, y la mayoría de los números de precisión que la rodean se miden sobre corpus privados, bajo condiciones que nadie fuera del proveedor puede repetir. Este post es la lista de verificación que usaríamos para comprar un motor así — cualquier motor, el nuestro incluido. Seis preguntas, cada una con un aprobado y un suspenso que un ingeniero puede ejecutar en una tarde, y ninguna exige confiar en un clip de demo.

1. Exige WER con referencia al objetivo sobre un corpus que puedas descargar

Una afirmación de reducción de WER no es una propiedad de un motor. Es una propiedad de al menos cuatro cosas juntas: el corpus, las condiciones acústicas, el reconocedor y la normalización de texto aplicada antes de puntuar. Cambia cualquiera de ellas y el número se mueve, a veces cruzando el cero. Un proveedor que cita el número mientras mantiene privadas las otras cuatro no ha hecho una afirmación falsable — y lo infalsable es peor que lo incorrecto, porque lo incorrecto al menos puede demostrarse.

Aprobado: puedes descargar el corpus o su manifiesto, repetir la puntuación y reproducir la tabla al dígito. Suspenso: «sobre nuestro dataset interno». La cortesía de la formulación no cambia lo que significa, que es: esto no lo puedes comprobar.

2. Vigila específicamente las inserciones

Un motor de aislamiento tiene un modo de fallo definitorio: la segunda voz se cuela. Una voz colada no aparece en la transcripción como una palabra deformada — aparece como palabras insertadas, el reconocedor transcribiendo fielmente a alguien que no es tu llamante. La WER agregada es (S + D + I) / N, un solo número que carga tres mecanismos de fallo distintos, y esconderá con gusto una duplicación de las inserciones detrás de una mejora en las sustituciones. Para un agente de voz, el texto fluido insertado desde el hablante equivocado es la clase de error más peligrosa que existe, porque un LLM aguas abajo actúa sobre él.

Aprobado: sustituciones, eliminaciones e inserciones publicadas por separado, por condición. Suspenso: un único escalar de WER. El argumento largo sobre por qué la descomposición importa más que el total está en nuestro análisis de los mecanismos de error.

3. Exige la fila de control que no hace nada

La pregunta nunca es «¿puntúa bien el audio procesado?». Es «¿le gana el audio procesado al audio idéntico dejado sin tocar?». Ese listón es mucho más alto de lo que suena: los reconocedores modernos se entrenan con enormes cantidades de audio real y ruidoso, y el ruido está dentro de su distribución de un modo en que los artefactos de procesamiento no lo están. «Le gana al crudo» es el listón, y la mayoría de los motores lo suspenden la mayor parte del tiempo — en nuestra propia matriz publicada, agregado sobre todas las condiciones, nada le ha ganado todavía al control sin tocar, nuestro motor incluido.

Aprobado: la evaluación del proveedor contiene una fila cruda, sin procesar, puntuada de forma idéntica, que estructuralmente podía ganar. Suspenso: cada fila de la tabla es alguna configuración del producto del proveedor. Un benchmark sin control es una clasificación de uno.

4. Mide la latencia como retardo algorítmico más presupuesto por bloque en un núcleo

Una única cifra de «X ms de latencia» confunde dos números que se comportan de forma completamente distinta en producción. El retardo algorítmico — tamaño de frame más lookahead — es una propiedad del modelo: ningún hardware lo hará jamás más pequeño, y se sienta en la ruta crítica de tu conversación para siempre. El presupuesto por bloque es el cómputo que cuesta cada bloque de audio, que en un solo núcleo fijado se convierte en un factor de tiempo real y decide cuántos streams puede servir un núcleo. Un número de marketing que no nombra ni el hardware, ni el número de hilos, ni cuál de los dos está midiendo se produjo en la mejor máquina que el proveedor pudo encontrar, y tu planificación de capacidad heredará la diferencia.

Aprobado: retardo algorítmico declarado como propiedad del modelo, más un factor de tiempo real medido con la cadena de hardware y una disciplina de un solo hilo adjuntas. Suspenso: «latencia ultrabaja».

5. Pregunta adónde va el audio

Hay dos arquitecturas y no son intercambiables. Una biblioteca en proceso mantiene las muestras dentro de tu servidor de medios, lo que significa que tu historia de tratamiento de datos no cambia. Una API en la nube añade un segundo encargado del tratamiento de lo que, en la mayoría de las jurisdicciones, son datos personales — el audio del llamante —, lo que bajo el RGPD significa un acuerdo de tratamiento de datos, una respuesta de residencia y una línea en tu documentación de privacidad; también añade una ida y vuelta de red cuyas latencias de cola empequeñecerán cualquier cifra de retardo algorítmico de la pregunta 4. Ninguna de las dos arquitecturas es descalificante. Un proveedor que no puede decir, en una frase, de qué proceso llegan a salir las muestras, sí lo es.

Aprobado: «el audio nunca sale de tu proceso» o «el audio se procesa en la región X bajo el acuerdo Y» — cualquiera de las dos, dicha con claridad. Suspenso: un diagrama con una nube dentro y ninguna frase.

6. Ponle precio contra el ancla pública

El precio por minuto de esta categoría ya no es hipotético: LiveKit tarifica el aislamiento de voz a $0.0012 por minuto más allá de las cuotas de plan, en una página de precios pública que cualquiera puede citar. Eso la convierte en el ancla del ecosistema, pienses lo que pienses de ella. Toma la cotización que te hayan dado — por hora, por puesto, por mes con un suelo comprometido —, normalízala a un minuto de stream, añade el coste de cómputo de ejecutar el motor según el factor de tiempo real de la pregunta 4, y pon el resultado junto a $0.0012. La comparación lleva cinco minutos y los proveedores saben si su número la sobrevive, que es por lo que la cotización rara vez llega en esa unidad.

Aprobado: un precio que puedes expresar por minuto sin una llamada de ventas. Suspenso: «contáctanos», más un suelo que descubres en la tercera semana.

De dónde sale esta lista

No inventamos estas seis preguntas para este post. Son, punto por punto, lo que nuestro benchmark implementa: WER con referencia al objetivo con sustituciones, eliminaciones e inserciones en cada celda; un manifiesto de corpus direccionado por contenido que puedes descargar; un control que no hace nada y que estructuralmente puede ganar — y que actualmente gana, con 14.32% de WER agregada, sin nada por debajo, nuestro propio motor incluido; factores de tiempo real medidos en un solo núcleo fijado con la cadena de hardware en la fila; y los resultados publicados bajo CC-BY-4.0 para que puedas citarlos en nuestra contra. La metodología lleva las salvedades, que son reales.

Si vendes un motor de aislamiento de hablante y crees que tu fila se vería mejor que la nuestra, escribe a [email protected]. Añadir un motor es un archivo adaptador. Lo ejecutamos bajo las reglas publicadas y publicamos el resultado salga como salga — la tabla por encima de nosotros es la prueba.