Como avaliar isolamento de falante: uma lista de seis perguntas para qualquer engine, incluindo a nossa

Atualização de 20 de outubro de 2026: submetemos nossa própria engine a estas perguntas contra o ai-coustics Quail VF 2.2 S em um benchmark de conversas ao vivo: WER referenciada ao alvo, inserções e deleções relatadas separadamente, um controle bruto, intervalos de confiança pareados. A resposta dependeu do reconhecedor: empate com o faster-whisper base.en, vantagem do v8_2 com a transcrição de entrada do Gemini Live, menos barge-ins falsos para o VF S, e a condição decidindo quem lidera.

O isolamento do falante principal deixou de ser um recurso de nicho este ano e virou item de orçamento: vários fornecedores agora comercializam alguma forma de foco no falante principal, e a maioria dos números de precisão em torno disso é medida sobre corpora privados, sob condições que ninguém fora do fornecedor consegue reproduzir. Este post é a lista de verificação que usaríamos para comprar uma engine dessas — qualquer engine, a nossa incluída. Seis perguntas, cada uma com um passa e um reprova que um engenheiro pode executar em uma tarde, e nenhuma exige confiar em um clipe de demo.

1. Exija WER referenciada ao alvo sobre um corpus que você possa baixar

Uma alegação de redução de WER não é uma propriedade de uma engine. É uma propriedade de pelo menos quatro coisas juntas: o corpus, as condições acústicas, o reconhecedor e a normalização de texto aplicada antes da pontuação. Mude qualquer uma delas e o número se move, às vezes cruzando o zero. Um fornecedor que cita o número enquanto mantém as outras quatro privadas não fez uma afirmação falseável — e infalseável é pior do que errado, porque o errado ao menos pode ser demonstrado.

Passa: você consegue baixar o corpus ou seu manifesto, repetir a pontuação e reproduzir a tabela até o dígito. Reprova: "no nosso dataset interno." A polidez da formulação não muda o que ela significa, que é: isto você não pode conferir.

2. Observe especificamente as inserções

Uma engine de isolamento tem um modo de falha que a define: a segunda voz vaza. Uma voz vazada não aparece na transcrição como uma palavra distorcida — aparece como palavras inseridas, o reconhecedor transcrevendo fielmente alguém que não é o seu cliente na linha. A WER agregada é (S + D + I) / N, um único número carregando três mecanismos de falha distintos, e ela esconderá de bom grado uma duplicação das inserções atrás de uma melhora nas substituições. Para um agente de voz, texto fluente inserido a partir do falante errado é a classe de erro mais perigosa que existe, porque um LLM a jusante age sobre ele.

Passa: substituições, deleções e inserções publicadas separadamente, por condição. Reprova: um único escalar de WER. O argumento mais longo sobre por que a decomposição importa mais do que o total está no nosso texto sobre mecanismos de erro.

3. Exija a linha de controle que não faz nada

A pergunta nunca é "o áudio processado pontua bem?". É "o áudio processado vence o áudio idêntico deixado intocado?". Essa barra é bem mais alta do que parece: reconhecedores modernos são treinados com quantidades enormes de áudio real e ruidoso, e o ruído está dentro da distribuição deles de um jeito que os artefatos de processamento não estão. "Vence o bruto" é a barra, e a maioria das engines reprova na maior parte do tempo — na nossa própria matriz publicada, agrupado sobre todas as condições, nada venceu ainda o controle intocado, nossa engine incluída.

Passa: a avaliação do fornecedor contém uma linha bruta, sem processamento, pontuada de forma idêntica, que estruturalmente podia vencer. Reprova: cada linha da tabela é alguma configuração do produto do fornecedor. Um benchmark sem controle é um ranking de um só.

4. Meça a latência como atraso algorítmico mais orçamento por bloco em um núcleo

Uma única cifra de "X ms de latência" confunde dois números que se comportam de maneiras completamente diferentes em produção. O atraso algorítmico — tamanho de frame mais lookahead — é uma propriedade do modelo: nenhum hardware jamais o tornará menor, e ele fica no caminho crítico da sua conversa para sempre. O orçamento por bloco é o cômputo que cada bloco de áudio custa, que em um único núcleo fixado vira um fator de tempo real e decide quantos streams um núcleo consegue servir. Um número de marketing que não nomeia nem o hardware, nem a contagem de threads, nem qual dos dois está medindo foi produzido na melhor máquina que o fornecedor conseguiu encontrar, e o seu planejamento de capacidade herdará a diferença.

Passa: atraso algorítmico declarado como propriedade do modelo, mais um fator de tempo real medido com a string de hardware e uma disciplina de uma thread anexadas. Reprova: "latência ultrabaixa."

5. Pergunte para onde o áudio vai

Há duas arquiteturas e elas não são intercambiáveis. Uma biblioteca em processo mantém as amostras dentro do seu servidor de mídia, o que significa que a sua história de tratamento de dados não muda. Uma API em nuvem adiciona um segundo operador de tratamento do que, na maioria das jurisdições, são dados pessoais — o áudio de quem liga —, o que sob o GDPR significa um acordo de tratamento de dados, uma resposta de residência e uma linha na sua documentação de privacidade; também adiciona uma ida e volta de rede cujas latências de cauda vão apequenar qualquer cifra de atraso algorítmico da pergunta 4. Nenhuma das arquiteturas é desclassificante. Um fornecedor que não consegue dizer, em uma frase, de qual processo as amostras chegam a sair, é.

Passa: "o áudio nunca sai do seu processo" ou "o áudio é processado na região X sob o acordo Y" — qualquer uma das duas, dita com clareza. Reprova: um diagrama com uma nuvem dentro e nenhuma frase.

6. Precifique contra a âncora pública

O preço por minuto desta categoria já não é hipotético: o LiveKit tarifa o isolamento de voz a $0.0012 por minuto além das cotas de plano, em uma página de preços pública que qualquer um pode citar. Isso a torna a âncora do ecossistema, pense você o que pensar dela. Pegue a cotação que recebeu — por hora, por assento, por mês com um piso comprometido —, normalize para um minuto de stream, some o custo de cômputo de rodar a engine pelo fator de tempo real da pergunta 4, e coloque o resultado ao lado de $0.0012. A comparação leva cinco minutos e os fornecedores sabem se o número deles sobrevive a ela — é por isso que a cotação raramente chega nessa unidade.

Passa: um preço que você consegue declarar por minuto sem uma ligação de vendas. Reprova: "fale conosco," mais um piso que você descobre na terceira semana.

De onde vem esta lista

Não inventamos estas seis perguntas para este post. Elas são, ponto por ponto, o que o nosso benchmark implementa: WER referenciada ao alvo com substituições, deleções e inserções em cada célula; um manifesto de corpus endereçado por conteúdo que você pode baixar; um controle que não faz nada e que estruturalmente pode vencer — e que atualmente vence, com 14.32% de WER agrupada, sem nada abaixo dele, nossa própria engine incluída; fatores de tempo real medidos em um único núcleo fixado com a string de hardware na linha; e os resultados publicados sob CC-BY-4.0 para que você possa citá-los contra nós. A metodologia carrega as ressalvas, que são reais.

Se você vende uma engine de isolamento de falante e acredita que a sua linha ficaria melhor que a nossa, escreva para [email protected]. Adicionar uma engine é um arquivo adaptador. Nós a executamos sob as regras publicadas e publicamos o resultado seja ele qual for — a tabela acima de nós é a prova disso.