Nuestra fila está en la tabla: puntuamos nuestro propio motor en nuestro propio benchmark, y tampoco le ganó al control

Actualización del 20 de octubre de 2026: un segundo experimento, conversaciones en vivo, puntúa ahora v8_2 frente a ai-coustics Quail VF 2.2 S en 200 llamadas construidas de 30–60 s con dos reconocedores. Con faster-whisper base.en es un empate y ningún motor supera al audio sin procesar en el conjunto agregado; con la transcripción de entrada de Gemini Live, v8_2 supera al audio sin procesar y va delante de VF S en el agregado. v8_2 va delante con un hablante cerca del micrófono y un fondo fuerte, VF S con un hablante lejano y al silenciar las pausas, y VF S provoca menos interrupciones falsas (barge-ins) con Gemini Live. La fila y los números de este post no cambian.

Cuando publicamos Null Test en agosto, la matriz llevaba una salvedad en negrita: nuestros propios modelos no están en esta matriz. Publicar al árbitro antes que al concursante era el sentido de ese orden, y la regla dos del benchmark — nos puntuamos a nosotros mismos bajo las mismas reglas, en las mismas tablas — era una promesa sobre el futuro.

El futuro llegó. La fila anecho.ai_focus_model_16khz_v8_2 está hoy en /benchmark, medida por el mismo código de harness que cualquier otro motor de allí, y este post es el relato honesto de lo que dice.

El resultado, antes que el razonamiento

La matriz puntúa ahora once motores de mejora contra el control que no hace nada, en diecinueve condiciones acústicas — incluida una condición de dos voces en la que se puntúa a cada motor, porque un motor de aislamiento de hablante que nunca ha sido medido contra una segunda voz no ha sido medido en absoluto.

Agregado sobre las diecinueve condiciones, el control — el audio sin tocar — queda en 14.32% de WER. Nuestra fila queda en 16.59%.

Nada en la tabla le ganó al control. Nuestro motor incluido. Publicamos la fila de todos modos.

Por qué una fila que pierde es el producto funcionando

Esta es la economía incómoda de los benchmarks de proveedor: la mayoría no puede perder. Un número medido sobre un corpus privado, bajo condiciones que eligió el proveedor, sin control, puntuado por un reconocedor que escogió el proveedor, no es un resultado — es un anuncio con un signo de porcentaje. Hiciera lo que hiciera el modelo, la página siempre iba a decir que el modelo ganó.

Un benchmark solo merece leerse si la propia fila del proveedor puede perder en él. Las reglas que lo hacen posible se publicaron antes de que nuestra fila existiera, precisamente para que no pudiéramos doblarlas cuando tuviéramos algo que proteger: el control crudo está siempre en la matriz y tiene permitido ganar; cada celda se publica, incluidas las que perdemos; las configs están en el repo; cualquier proveedor puede exigir una repetición con otros ajustes y publicamos ambas. En la primera ejecución el control les ganó a diez motores que no eran nuestros. En esta también le ganó al que sí lo es. La página lo dice, en la misma tabla, con la misma descomposición.

Eso no es magnanimidad. Es el único mecanismo que conocemos que hace creíble el resto de la página.

Lo que la fila dice de verdad

Tres cosas, y no las vamos a decorar.

Primero, la derrota agregada. 16.59% contra 14.32% es la respuesta a una sola pregunta — «¿debería este motor estar activado por defecto, para todo el material, delante de este reconocedor?» — y la respuesta es no, para nuestro motor como para cualquier otro motor que hayamos medido. Sobre audio limpio un modelo de aislamiento solo puede eliminar información. Agregar promedia sus condiciones de diseño con las condiciones donde no había nada útil que hacer. Llevamos escribiendo esa frase sobre los motores de otros desde la primera ejecución; sería notable que dejara de ser cierta el día en que el motor fuera el nuestro.

Segundo, dónde queda la fila. De todo lo que hay en esa tabla que puedes enviar a producción legalmente, nuestra fila registra la WER agregada más cercana al crudo. El único motor más cercano al control es una referencia propietaria bajo licencia que ejecutamos como línea base — sus términos la hacen solo-para-benchmark, y nunca es una ruta de código. Lo decimos con cuidado porque es el tipo de frase que deriva hacia el marketing si la dejas: es una posición relativa sobre nuestro propio corpus, no una afirmación de que la brecha con el crudo sea lo bastante pequeña para tu tráfico. La descomposición por condición que responde la pregunta real está en la página, y deliberadamente no vamos a citar aquí nuestras mejores celdas — la cita selectiva es exactamente la enfermedad que este benchmark existe para tratar.

Tercero, la columna de coste. La fila corre con 15 ms de retardo algorítmico en un núcleo de CPU, con un factor de tiempo real medido de 0.067. Los números de precisión y los de coste viajan juntos en cada fila, porque un modelo que gana a cuatro veces el tiempo real no es una opción entregable, y el nuestro tiene que vivir bajo la misma regla.

El precedente que hace creíble la derrota

Un proveedor que dice «publicamos un resultado en nuestra contra» invita a una pregunta justa: ¿lo harías de nuevo, si fuera peor? Tenemos una pieza de evidencia que ofrecer, y no es hipotética. Una versión anterior de nuestro análisis de telefonía repetía una cifra de la comunidad — que una ruta de remuestreo por defecto descarta aproximadamente el 16% del audio del llamante. Construimos el control, nuestra medición no respaldó la afirmación, y nos retractamos en público, dejando la sección corregida en su sitio en lugar de borrarla. La retractación sigue hoy en la página del benchmark, junto a los datos, donde menos cómoda nos resulta.

Desde entonces, la misma suite de verificación que impide que esa retractación desaparezca en silencio también ancla al artefacto publicado cada frase que el sitio dice sobre nuestra propia fila. La página no puede afirmar que nuestro motor le ganó al control a menos que benchmark.json lo diga, porque el texto se deriva del archivo y, si no, la build falla. Construimos esa guarda después de ver a un número refutado sobrevivir en nuestro propio sitio durante días. La lección nunca fue sobre el número; fue que la prosa desconectada de una medición no puede ser corregida por una.

Júzgalo con tu propia voz

Nuestro corpus son diez hablantes y un conjunto fijo de condiciones; las salvedades están listadas en la metodología y no son pequeñas. La condición que de verdad decide una compra no está en nuestra matriz, porque es tu audio — tus terminales, tus habitaciones, tus segundas voces.

El motor detrás de la fila corre en tu navegador, con tu micrófono, en la demo en vivo. Graba la habitación en la que de verdad atiendes llamadas, con la tele encendida, con alguien hablando detrás de ti, y escucha lo que sale. Si no se gana sus 15 ms con tu voz, el control no cuesta nada y nuestra propia tabla dice que ese es un veredicto justo.