話者分離（speaker isolation）の評価方法：どのエンジンにも使える6つの質問のチェックリスト（私たち自身のエンジンを含む）

2026年10月20日更新：私たちは自社のエンジンにこれらの問いを当てはめ、ライブ会話ベンチマークでai-coustics Quail VF 2.2 Sと比較しました。ターゲット基準のWER、挿入と削除を別々に報告、生の音声の対照、ペアの信頼区間です。答えは認識器によって変わりました。faster-whisper base.enでは互角、Gemini Liveの入力書き起こしではv8_2が先行、誤ったバージインはVF Sのほうが少なく、どちらが先行するかは条件で決まる、というものでした。

主要話者の分離は今年、ニッチな機能ではなく調達の項目になりました。複数のベンダーが何らかの形の主要話者フォーカスを売り出していますが、その精度の見出し数字の大半は非公開のコーパスで、ベンダー以外の誰にも再実行できない条件のもとで測られています。この記事は、私たちがこの種のエンジンを買うときに使うチェックリストです。どのエンジンにも使えますし、私たちのものも含みます。6つの質問はそれぞれ、エンジニアが午後ひとつで実行できる合格と不合格を持っており、デモ音声を信用することを要求するものはひとつもありません。

1. ダウンロード可能なコーパスでの対象参照WERを求める

WER削減の主張は、エンジンの性質ではありません。少なくとも4つの要素——コーパス、音響条件、認識器、そしてスコアリング前のテキスト正規化——が合わさった性質です。どれかひとつを変えれば数字は動き、ときにはゼロをまたいで動きます。数字だけを示して残りの4つを非公開にするベンダーは、反証可能な主張をしていません。そして反証不可能は誤りより悪いのです。誤りは少なくとも誤りだと示せるからです。

合格：コーパスまたはそのマニフェストを取得し、スコアリングを再実行して、表を桁まで再現できる。不合格：「社内データセットで」。言い回しの丁寧さは意味を変えません。その意味とは、あなたにはこれを確かめられない、ということです。

2. 挿入を特に注視する

分離エンジンには、決定的な失敗モードがひとつあります。第二の声が漏れることです。漏れた声は、トランスクリプトの中で崩れた単語としては現れません。挿入された単語として現れます。認識器が、あなたの通話者ではない誰かを忠実に書き起こすのです。集計WERは(S + D + I) / Nであり、3つの異なる失敗メカニズムをひとつの数字に載せているため、置換の改善の陰で挿入が倍増しても平然と隠してしまいます。音声エージェントにとって、誤った話者の流暢な文章が挿入されることは最も危険な誤りの種類です。下流のLLMがそれに基づいて行動するからです。

合格：置換、削除、挿入が条件ごとに別々に公開されている。不合格：WERの単一スカラー。合計より内訳が重要である理由のより長い議論は、誤りのメカニズムについての記事にあります。

3. 何もしない対照の行を要求する

問いは「処理済みの音声がよいスコアを出すか」ではありません。「処理済みの音声が、手を加えない同一の音声に勝つか」です。このハードルは聞こえるよりずっと高いものです。現代の認識器は大量のノイズ混じりの実世界の音声で訓練されており、ノイズは彼らにとって分布内で、処理アーティファクトはそうではありません。「rawに勝つこと」が基準であり、ほとんどのエンジンはほとんどの場合これを満たせません。私たち自身が公開している行列でも、全条件でプールすると、手を加えない対照に勝ったものはまだなく、私たちのエンジンも含みます。

合格：ベンダーの評価に、同一の方法でスコアされ、構造上勝つことを許された、生の未処理の行がある。不合格：表のすべての行がベンダー製品の何らかの構成である。対照のないベンチマークは、参加者がひとりのリーダーボードです。

4. レイテンシはアルゴリズム遅延と、シングルコアでのブロック予算として測る

単一の「X msのレイテンシ」は、本番でまったく異なる振る舞いをする2つの数字を混同しています。アルゴリズム遅延——フレームサイズにルックアヘッドを足したもの——はモデルの性質です。どんなハードウェアでもこれを小さくすることはできず、会話のクリティカルパスに永久に乗り続けます。ブロック予算は、各オーディオブロックが消費する計算量で、固定された単一コアではリアルタイム係数になり、1コアで何ストリームを捌けるかを決めます。ハードウェアもスレッド数も、2つのどちらを測っているのかも示さないマーケティング上の数字は、ベンダーが見つけられた最良のマシンで出されたものであり、その差分をあなたのキャパシティプランニングが引き継ぐことになります。

合格：アルゴリズム遅延がモデルの性質として示され、ハードウェアの文字列とシングルスレッドの規律を添えた、実測のリアルタイム係数がある。不合格：「超低遅延」。

5. 音声がどこへ行くかを尋ねる

アーキテクチャは2種類あり、互換ではありません。インプロセスのライブラリはサンプルをあなたのメディアサーバーの内側にとどめるので、既存のデータ処理の説明は変わりません。クラウドAPIは、ほとんどの法域で個人データにあたるもの——通話者の音声——の処理者をもうひとり加えます。GDPRのもとでは、データ処理契約、データ所在地への回答、プライバシー文書の一行が必要になるということです。さらにネットワークの往復も加わり、そのテールレイテンシは質問4のアルゴリズム遅延の数字をはるかに上回ります。どちらのアーキテクチャも失格の理由にはなりません。サンプルがどのプロセスから外へ出るのかを一文で言えないベンダーは、失格の理由になります。

合格：「音声はあなたのプロセスから出ない」または「音声はリージョンXでDPA Yのもとで処理される」——どちらでも、平易に述べられている。不合格：雲の入った図があり、文がない。

6. 公開アンカーと照らして価格を付ける

このカテゴリの分単位の価格は、もはや仮定の話ではありません。LiveKitはプランの割当を超えた分について、音声分離を1分あたり$0.0012で課金しており、誰でも引用できる公開の料金ページに載っています。あなたがどう思うかにかかわらず、これがエコシステムのアンカーです。手元の見積もり——時間単位、席単位、最低コミット付きの月単位——を1ストリーム分に正規化し、質問4のリアルタイム係数からエンジンを動かす計算コストを足し、結果を$0.0012と並べてください。比較には5分しかかからず、自社の数字がそれに耐えるかどうかをベンダーは知っています。見積もりがその単位で届くことがめったにないのは、そのためです。

合格：営業との通話なしに、分単位で言える価格。不合格：「お問い合わせください」と、3週目に発見する最低額。

このチェックリストの出どころ

この6つの質問は、この記事のために考え出したものではありません。点ごとに、私たちのベンチマークが実装しているものです。すべてのセルに置換、削除、挿入を備えた対象参照WER。取得できるコンテンツアドレス方式のコーパスマニフェスト。構造上勝つことを許された何もしない対照——そして現に勝っており、プールWERは14.32%で、私たち自身のエンジンを含め、その下に何もありません。固定された1コアで測定され、行にハードウェアの文字列を載せたリアルタイム係数。そして、私たちに対して引用できるようCC-BY-4.0で公開された結果。方法論には注意事項があり、それらは本物です。

話者分離エンジンを販売していて、自社の行は私たちのものより良く見えると考えるなら、[email protected]までご連絡ください。エンジンの追加はアダプタファイル1つです。公開済みのルールで実行し、結果がどちらに転んでも公開します。私たちより上にある表がその証拠です。