私たちの行は表の上にある：自社のエンジンを自社のベンチマークで採点し、それも対照に勝てなかった
Null Testは現在、11の強調エンジンを何もしない対照に対して19条件で採点しており、全エンジンに2人の声の条件が含まれます。プールした対照は14.32%のWERです。私たちのv8_2の行は16.59%です。表の上で対照に勝ったものはなく、私たちのエンジンも含みます。それでも行を公開したのは、ベンダーのベンチマークは、ベンダー自身の行がそこで負けうる場合にだけ読む価値があるからです。
2026年10月20日更新：第2の実験ライブ会話で、合成した30〜60秒の通話200本を使い、2つの認識器でv8_2をai-coustics Quail VF 2.2 Sと比較して採点しました。faster-whisper base.enでは互角で、プールした集合ではどちらのエンジンも生の音声に勝っていません。Gemini Liveの入力書き起こしでは、プールでv8_2が生の音声に勝ち、VF Sにも先行します。マイクに近い話者と大きな背景音ではv8_2が、離れた話者と間の無音化ではVF Sが先行し、Gemini LiveのもとではVF Sのほうが誤ったバージインが少なくなります。この記事の行と数字は変わっていません。
昨年8月にNull Testを公開したとき、行列には太字の注意書きがひとつありました。**私たち自身のモデルはこの行列に入っていません。**審判を出場者より先に公開することがこの順序の狙いであり、ベンチマークのルール2——私たちも同じルール、同じ表のなかで自分たちを採点する——は、将来についての約束でした。
その将来が来ました。anecho.ai_focus_model_16khz_v8_2の行は今日、/benchmarkに載っています。そこにある他のどのエンジンとも同じハーネスのコードで測定されたもので、この記事は、それが何を語っているかについての正直な報告です。
理由の前に、結果
行列は現在、11の強調エンジンを何もしない対照に対して、19の音響条件にわたって採点しています。そこには全エンジンが採点される2人の声の条件が含まれます。第二の声に対して一度も測られていない話者分離エンジンは、そもそも測られていないからです。
19条件すべてでプールすると、対照——手を加えない音声——のWERは14.32%。私たちの行は16.59%。
表の上で対照に勝ったものはありませんでした。私たちのエンジンも含めて。それでも私たちは行を公開しました。
負けた行が、製品が機能している証拠である理由
ベンダーのベンチマークの居心地の悪い経済学はこうです。大半は負けることができません。ベンダーが選んだ条件のもとで、非公開のコーパスで、対照なしに、ベンダーが選んだ認識器で採点された数字は、結果ではありません。パーセント記号のついた広告です。モデルが何をしようと、そのページは最初からモデルが勝ったと書くことになっていたのです。
ベンチマークが読む価値を持つのは、ベンダー自身の行がそこで負けうる場合だけです。それを可能にするルールは、私たちの行が存在する前に公開されました。守るものを手にしてからルールを曲げることができないよう、まさにそのためです。生の対照は常に行列に入っていて、勝つことが許されています。負けるセルを含め、すべてのセルが公開されます。設定はリポジトリにあります。どのベンダーも別の設定での再実行を求めることができ、私たちは両方を公開します。最初の実行では、対照は私たちのものではない10のエンジンに勝ちました。今回の実行では、私たちのものにも勝ちました。ページはそれを、同じ表のなかで、同じ内訳とともに述べています。
これは寛大さではありません。ページの残りを信じられるものにする、私たちが知る唯一の仕組みです。
その行が実際に語っていること
3つあります。飾りは付けません。
第一に、プールでの負け。14.32%に対する16.59%は、ひとつの問いへの答えです。「このエンジンを、あらゆる素材に対して、この認識器の前で、デフォルトでオンにすべきか」。答えはノーです。それは私たちのエンジンについても、これまで測定したどのエンジンについても同じです。クリーンな音声では、分離モデルは情報を取り除くことしかできません。プールは、設計上の条件と、有益なことが何もなかった条件を平均してしまいます。私たちは最初の実行以来、他社のエンジンについてこの一文を書いてきました。エンジンが私たちのものになった日にそれが真でなくなるとしたら、驚くべきことです。
第二に、その行の位置。その表のなかで合法的に出荷できるものの中では、私たちの行がrawに最も近いプールWERを記録しています。対照にさらに近い唯一のエンジンは、ベースラインとして動かしているライセンス付きの商用リファレンスで、その条件によりベンチマーク専用であり、コードパスにはなりません。これを慎重に述べるのは、気を抜くとマーケティングに流れてしまう種類の文だからです。これは私たち自身のコーパス上での相対的な位置であって、rawとの差があなたのトラフィックにとって十分小さいという主張ではありません。本当の問いに答える条件別の内訳はページにあり、私たちは自社の最良のセルをここで引用しないことを意図的に選んでいます。選択的な引用こそ、このベンチマークが治療するために存在する病そのものだからです。
第三に、コストの列。この行は1つのCPUコア上でアルゴリズム遅延15 ms、実測のリアルタイム係数0.067で動作します。精度の数字とコストの数字はすべての行で一緒に載っています。実時間の4倍で勝つモデルは出荷の選択肢になりえず、私たちのものも同じルールのもとで生きなければならないからです。
負けを信頼できるものにする前例
ベンダーが「自分たちに不利な結果を公開した」と言えば、当然の疑問が起こります。それがもっと悪かったら、もう一度やりますか。提示できる証拠がひとつあり、仮定の話ではありません。私たちのテレフォニー分析の以前の版は、デフォルトのリサンプル経路が通話者音声の約16%を破棄するというコミュニティの数字を繰り返していました。私たちは対照実験を構築し、私たちの測定はその主張を支持せず、公の場で撤回し、訂正したセクションを削除せずに残しました。撤回は今日もベンチマークのページ、データの隣に載っています。私たちにとって最も居心地の悪い場所です。
それ以来、その撤回が静かに消えることを防ぐのと同じ検証スイートが、自社の行についてサイトが述べるすべての文を、公開されたアーティファクトに固定しています。benchmark.jsonがそう言わない限り、ページは私たちのエンジンが対照に勝ったと主張できません。文面はそのファイルから導出され、そうでなければビルドが失敗するからです。この防御は、反証された数字が私たち自身のサイトに何日も生き残るのを見たあとに作りました。教訓は数字についてのものではありませんでした。測定とつながっていない散文は、測定によって訂正できない、ということです。
あなた自身の声で判断してください
私たちのコーパスは話者10人と固定された条件セットで、注意事項は方法論に挙げてあり、小さなものではありません。購入を実際に決める条件は私たちの行列にはありません。それはあなたの音声、つまりあなたのハンドセット、あなたの部屋、あなたの第二の声だからです。
その行の背後にあるエンジンは、ライブデモで、あなたのマイクを使って、ブラウザ内で動きます。実際に電話を受ける部屋を、テレビをつけたまま、後ろで誰かが話している状態で録音し、出てくるものを聞いてください。あなたの声で15 msに見合う働きをしないなら、対照は無料であり、私たち自身の表がそれを妥当な判定だと言っています。