Nossa linha está na tabela: pontuamos nossa própria engine no nosso próprio benchmark, e ela também não venceu o controle

Atualização de 20 de outubro de 2026: um segundo experimento, conversas ao vivo, agora pontua o v8_2 contra o ai-coustics Quail VF 2.2 S em 200 chamadas construídas de 30–60 s com dois reconhecedores. Com o faster-whisper base.en é empate e nenhuma das engines vence o áudio bruto no conjunto agrupado; com a transcrição de entrada do Gemini Live o v8_2 vence o bruto e lidera sobre o VF S no agrupado. O v8_2 lidera com um falante de microfone próximo e um fundo alto, o VF S com um falante distante e em silenciar as pausas, e o VF S dispara menos barge-ins falsos com o Gemini Live. A linha e os números deste post não mudaram.

Quando publicamos o Null Test em agosto, a matriz carregava uma ressalva em negrito: nossos próprios modelos não estão nesta matriz. Publicar o árbitro antes do competidor era o sentido dessa ordem, e a regra dois do benchmark — nós nos pontuamos sob as mesmas regras, nas mesmas tabelas — era uma promessa sobre o futuro.

O futuro chegou. A linha anecho.ai_focus_model_16khz_v8_2 está hoje em /benchmark, medida pelo mesmo código de harness que qualquer outra engine de lá, e este post é o relato honesto do que ela diz.

O resultado, antes do raciocínio

A matriz agora pontua onze engines de aprimoramento contra o controle que não faz nada, em dezenove condições acústicas — incluindo uma condição de duas vozes em que cada engine é pontuada, porque uma engine de isolamento de falante que nunca foi medida contra uma segunda voz não foi medida de forma alguma.

Agrupado sobre as dezenove condições, o controle — o áudio intocado — fica em 14.32% de WER. Nossa linha fica em 16.59%.

Nada na tabela venceu o controle. Nossa engine incluída. Publicamos a linha mesmo assim.

Por que uma linha que perde é o produto funcionando

Eis a economia desconfortável dos benchmarks de fornecedor: a maioria não consegue perder. Um número medido sobre um corpus privado, sob condições que o fornecedor escolheu, sem controle, pontuado por um reconhecedor que o fornecedor selecionou, não é um resultado — é um anúncio com um sinal de porcentagem. Fizesse o modelo o que fizesse, a página sempre ia dizer que o modelo venceu.

Um benchmark só vale a leitura se a própria linha do fornecedor puder perder nele. As regras que tornam isso possível foram publicadas antes de a nossa linha existir, precisamente para que não pudéssemos entortá-las quando tivéssemos algo a proteger: o controle bruto está sempre na matriz e tem permissão para vencer; cada célula é publicada, incluindo as que perdemos; as configs estão no repositório; qualquer fornecedor pode exigir uma nova execução com outros ajustes e publicamos ambas. Na primeira execução o controle venceu dez engines que não eram nossas. Nesta, venceu também a que é. A página diz isso, na mesma tabela, com a mesma decomposição.

Isso não é magnanimidade. É o único mecanismo que conhecemos que torna crível o resto da página.

O que a linha realmente diz

Três coisas, e não vamos decorá-las.

Primeiro, a derrota agrupada. 16.59% contra 14.32% é a resposta a uma única pergunta — "esta engine deveria estar ligada por padrão, para todo material, na frente deste reconhecedor?" — e a resposta é não, para a nossa engine como para qualquer outra que já medimos. Sobre áudio limpo, um modelo de isolamento só pode remover informação. Agrupar faz a média entre suas condições de projeto e as condições em que não havia nada útil a fazer. Escrevemos essa frase sobre as engines dos outros desde a primeira execução; seria notável que ela deixasse de ser verdadeira no dia em que a engine fosse a nossa.

Segundo, onde a linha fica. De tudo o que há naquela tabela que você pode legalmente colocar em produção, a nossa linha registra a WER agrupada mais próxima do bruto. A única engine mais próxima do controle é uma referência proprietária licenciada que executamos como linha de base — seus termos a tornam apenas-para-benchmark, e ela nunca é um caminho de código. Dizemos isso com cuidado porque é o tipo de frase que escorrega para o marketing se você deixar: é uma posição relativa sobre o nosso próprio corpus, não uma afirmação de que a distância até o bruto seja pequena o bastante para o seu tráfego. A decomposição por condição que responde à pergunta real está na página, e deliberadamente não vamos citar aqui as nossas melhores células — a citação seletiva é exatamente a doença que este benchmark existe para tratar.

Terceiro, a coluna de custo. A linha roda com 15 ms de atraso algorítmico em um núcleo de CPU, com um fator de tempo real medido de 0.067. Os números de precisão e os de custo viajam juntos em cada linha, porque um modelo que vence a quatro vezes o tempo real não é uma opção entregável, e o nosso tem de viver sob a mesma regra.

O precedente que torna a derrota crível

Um fornecedor dizendo "publicamos um resultado contra nós mesmos" convida a uma pergunta justa: você faria de novo, se fosse pior? Temos uma evidência a oferecer, e ela não é hipotética. Uma versão anterior do nosso estudo de telefonia repetia um número da comunidade — de que um caminho de reamostragem padrão descarta aproximadamente 16% do áudio de quem liga. Construímos o controle, nossa medição não sustentou a afirmação, e nos retratamos em público, deixando a seção corrigida no lugar em vez de apagá-la. A retratação segue hoje na página do benchmark, ao lado dos dados, onde menos confortável é para nós.

Desde então, a mesma suíte de verificação que impede essa retratação de desaparecer em silêncio também prende ao artefato publicado cada frase que o site diz sobre a nossa própria linha. A página não pode afirmar que a nossa engine venceu o controle a menos que o benchmark.json o diga, porque o texto é derivado do arquivo e, caso contrário, o build falha. Construímos essa guarda depois de ver um número refutado sobreviver no nosso próprio site por dias. A lição nunca foi sobre o número; foi que prosa desconectada de uma medição não pode ser corrigida por uma.

Julgue com a sua própria voz

Nosso corpus são dez falantes e um conjunto fixo de condições; as ressalvas estão listadas na metodologia e não são pequenas. A condição que de fato decide uma compra não está na nossa matriz, porque é o seu áudio — seus aparelhos, suas salas, suas segundas vozes.

A engine por trás da linha roda no seu navegador, com o seu microfone, na demo ao vivo. Grave a sala em que você realmente atende chamadas, com a TV ligada, com alguém falando atrás de você, e ouça o que sai. Se ela não fizer jus aos seus 15 ms com a sua voz, o controle não custa nada e a nossa própria tabela diz que esse é um veredito justo.