ライブ会話：2つの認識器で比べたv8_2とai-coustics Quail VF 2.2 S、どちらが先行するかは条件で決まる
私たちが合成した30〜60秒の会話200本（実在の声と実測した部屋の応答を私たちがミックスしたもの）を、生の音声、v8_2、ai-coustics Quail VF 2.2 Sにそれぞれ丸ごとストリーミングし、2つの認識器で採点しました。faster-whisper base.enでは互角で、生の音声に勝ったエンジンはありません（37.82%、38.46%、38.59%）。Gemini Liveの入力書き起こしでは、プールでv8_2が生の音声に勝ち、VF Sにも先行します（40.50%、36.40%、42.87%）。VF Sは−10 dBの離れた話者で先行し、間をより静かに保ち、誤ったバージインも少なくなります。
私たちのメインベンチマークは、短い単発の発話を採点します。しかし音声エージェントが発話を単独で聞くことはありません。聞くのは通話です。誰かが話し、間を置き、聞き、また話す。その間、部屋にいるほかの人たちが話し始めたりやめたりします。そこで私たちは通話の形をした第2の実験を作り、出荷中のモデルv8_2を、同じ仕事のために作られた製品と比較しました。ai-coustics Quail VF 2.2 Sです。これはVoice Focusモデルで、やはり主話者を残してほかの全員を落とすことが役目です。
要約すると、答えは誰が聞いているかによって変わります。
- faster-whisper base.enでは互角で、プールした集合で生の音声に勝ったエンジンはありません。
- Gemini Liveの入力書き起こし（ライブのGeminiボイスエージェントが発信者について作る書き起こし）では、プールした集合でv8_2が生の音声に勝ち、VF Sにも先行します。差は−6.47 pp [−9.89, −3.26]です。
- どちらの認識器でも、どちらが先行するかは条件で決まります。マイクに近い話者と大きな背景音ではv8_2、−10 dBの離れた話者ではVF Sです。
- ターンテイキングではVF Sのほうが優れています。Gemini Liveのもとで、誤ったバージインはVF Sが52回、v8_2が125回、生の音声が97回です。
この記事のすべての数字は/benchmarkと、benchmark.jsonのconversationにあります。
何を作ったか、そして何ではないか
テストセットは合成です。実在の声と実在の部屋を、私たちがミックスしました。素材はすべて実際の録音ですが、会話はデジタルに組み立てたもので、端から端まで録音したものではありません。実際の通話には、コーデック、自動ゲイン制御、部屋に反応して話し方を変える話者など、ミックスにはないものが加わります。以下の数字はすべて、そのことを念頭に読んでください。
- ターゲット。 会話ごとにLibriSpeech test-cleanの話者1人。1つの章から連続した4〜8発話を、0.3〜2.5 sの自然な間で区切り、少なくとも1回、発信者がエージェントを待つ3〜6 sの「聞いている」間を入れます。
- 背景。 ほかに1〜3人の実在の話者（LibriSpeech dev-cleanとMUSANの音声）が、それぞれ自分の発話区間と自分の間で話し始めたりやめたりします。実測のBUT ReverbDBインパルス応答を通して、マイクから1〜4 mの実在の部屋に配置します。会話の半数には、ターゲットに対して−20 dBの断続的な実環境音（DEMAND、MUSANノイズ）も入ります。
- 状態。 どの会話にも、音声エージェントが扱うべき4つの状態がすべて含まれます。ターゲットのみ、ターゲットの間における背景の声のみ、重なり、そして声がまったくない状態です。
- 条件。 40本の会話スクリプトをそれぞれ5通りにミックスし、30.4〜59.8 sの会話を200本作りました。
- near：ヘッドセットや耳に当てた電話のようにマイクに近いターゲット。各背景話者はターゲットに対して−10、−5、0 dB。
- room：ターゲット自身がマイクから0.5〜1.5 m離れ、実測した部屋の応答を通る。背景は−10または−5 dB。
- ストリーミング。 各会話は、ライブ通話と同じように、途中でリセットせず丸ごとエンジンに通します。エンジンは会話ごとにリセットし、各出力はエンジンが宣言する遅延で補正します。v8_2は15 ms、VF Sは30 msです。
- 比較対象。 ai-coustics Quail VF 2.2 Sを、ライセンスを受けたSDKで、ネイティブの16 kHz、SDKの既定の強調レベル（0.8）で動かしました。これはベンチマークの参照用で、私たちが出荷するもののコードパスになることはありません。
- 採点は2回。 faster-whisper base.enで会話全体をオフラインで書き起こします。それとは別に、各出力を100 msのPCM16フレームとしてリアルタイムでGemini Liveのセッション（
gemini-live-2.5-flash-native-audio）にストリーミングし、その入力書き起こしを採点するとともに、エージェントが応答したタイミングと、割り込まれたと報告したタイミングを記録します。どちらの書き起こしもターゲット自身の書き起こしと比較します。すべての差には、会話単位のペアブートストラップによる95 %信頼区間を付けています。
認識器1、faster-whisper base.en：互角、そして生の音声には勝てていない
| 全200会話 | raw | v8_2 | VF S |
|---|---|---|---|
| WER % | 37.82 | 38.46 | 38.59 |
| 挿入 % | 19.38 | 13.71 | 7.58 |
| 削除 % | 3.20 | 5.54 | 12.51 |
| 背景の単語の漏れ（100語あたり） | 4.06 | 1.74 | 0.94 |
v8_2 − VF Sは**−0.13 pp [−4.56, +4.47]**です。区間はゼロをまたいでいるので、これは互角です。未処理の音声に対しては、v8_2が+0.65 pp [−3.38, +4.73]、VF Sが+0.78 pp [−3.60, +5.13]です。faster-whisperでは、プールした集合で生の音声に勝ったエンジンはありません。 これはメインベンチマークと同じ教訓で、そこでもプールした平均では対照が勝ちました。この認識器では、すべてを平均すると、何もしないことはどちらのエンジンとも同じくらい良いのです。
プールした行が隠しているのは、誤りの内訳です。生の音声は単語をでっち上げることで失敗します（認識器が背景の話者を書き起こす）。両エンジンともそれを減らし、VF Sが最も大きく減らします。しかしVF Sは、ターゲットの単語を落とすこともはるかに多いのです。2つのエンジンは、異なる経路で同じ合計に達しています。
条件別、faster-whisper base.en
| 条件 | raw | v8_2 | VF S | v8_2 − VF S, pp [95 % CI] | 読み方 |
|---|---|---|---|---|---|
| Near、背景 −10 dB | 14.70 | 10.86 | 8.89 | +1.97 [−0.54, +4.63] | 互角 |
| Near、背景 −5 dB | 21.65 | 24.00 | 27.04 | −3.04 [−19.48, +14.99] | 互角 |
| Near、背景 0 dB | 38.70 | 37.19 | 55.94 | −18.75 [−27.75, −9.90] | v8_2が先行 |
| Near、プール | 25.01 | 24.02 | 30.62 | −6.60 [−13.36, −0.06] | v8_2が先行 |
| Room、背景 −10 dB | 53.17 | 49.56 | 40.07 | +9.50 [+4.31, +14.84] | VF Sが先行 |
| Room、背景 −5 dB | 60.86 | 70.69 | 61.03 | +9.66 [+3.07, +16.81] | VF Sが先行 |
| Room、プール | 57.02 | 60.13 | 50.55 | +9.58 [+5.52, +13.90] | VF Sが先行 |
WERは%、faster-whisper base.en。差が負であれば、v8_2の誤りが少ないことを意味します。
v8_2が先行するところ：マイクに近い話者と大きな背景音
背景の話者がターゲットと同じ大きさのとき（near、0 dB）、v8_2のWERは37.19%、VF Sは55.94%です。その差のほぼすべてが削除です。そこでVF Sはターゲットの単語の28.41%を削除しています。v8_2は4.57%です。2つ目の声が1つ目と同じ大きさになると、VF Sは背景と一緒にターゲットの多くも切り落とします。
near条件3つをプールすると、v8_2が−6.60 pp [−13.36, −0.06]で先行します。これは慎重に述べる必要があります。上限はかろうじてゼロを下回る程度で、先行は0 dB条件から来ています。−10 dBでは点推定ではVF Sがわずかに良く（+1.97、区間はゼロをまたぐ）、−5 dBはばらつきが大きすぎてどちらとも言えません。公正な読み方は「背景が話者と同じくらい大きいときに先行する」であって、「あらゆるヘッドセット通話で先行する」ではありません。
VF Sが先行するところ：離れた話者
ターゲット自身がマイクから0.5〜1.5 m離れると、プールでVF Sが+9.58 pp [+5.52, +13.90]先行し、room条件の両方で先行します。room −5 dBではv8_2は何もしないより悪く、生の音声の60.86%に対して70.69%、差は+9.82 pp [+3.09, +17.40]です。残響のあるターゲットは現在のv8_2の弱点であり、この実験はそれをはっきり示しています。
エンジンが音声に何をしているか
書き起こしはひとつの見方です。信号はもうひとつの見方で、こちらでは、音声エージェントが間のあいだに最も望むことをVF Sがはるかにうまくこなします。背景を静かにすることです。
| プール、全条件 | raw | v8_2 | VF S |
|---|---|---|---|
| ターゲットの間における背景の抑圧、dB | 0.0 | 8.5 | 17.4 |
| その間に認識された背景の単語、毎分 | 115.86 | 68.05 | 41.79 |
| 間のあとの最初の200 msにおける立ち上がりの変化、dB | −0.30 | −14.08 | −23.03 |
| ターゲットの発話におけるSI-SDR、dB | 5.29 | 7.49 | 3.91 |
最もきれいなnear条件（−10 dB）では、間の抑圧の差が最も大きくなります。v8_2が10.6 dB、VF Sが30.1 dBです。発信者が黙っている間にエージェントがテレビに応答してしまうことが問題なら、このテストではVF Sのほうが間を静かに保ち、書き起こしに入る背景の単語も少なくなります（100語あたり0.94、v8_2は1.74、生の音声は4.06）。
その静けさには代償があります。VF Sは、ターゲットが再び話し始めた最初の200 msを平均23.03 dB減衰させます。v8_2は14.08 dBです。さらにVF Sは、ターゲット自身の発話のSI-SDRが未処理の入力より低くなります。これがその削除の仕組みです。どちらのエンジンもここではただではありません。v8_2も立ち上がりを大きく減衰させています。
認識器2、Gemini Live：v8_2が生の音声に勝ち、プールでVF Sに先行
Gemini Liveで作られた音声エージェントはfaster-whisperを動かしません。ストリームそのものを聞きます。そこで私たちは600本の出力すべて（200会話 × 3アーム）をリアルタイムでGemini Liveのセッションにストリーミングし、セッション自身の入力書き起こしを採点しました。実行は完了しています。
| 全200会話、Gemini Live | raw | v8_2 | VF S |
|---|---|---|---|
| WER % | 40.50 | 36.40 | 42.87 |
| 挿入 % | 3.17 | 3.66 | 1.54 |
| 削除 % | 27.63 | 19.75 | 29.37 |
| 背景の単語の漏れ（100語あたり） | 0.80 | 0.63 | 0.16 |
v8_2 − VF Sは**−6.47 pp [−9.89, −3.26]、v8_2 − rawは−4.10 pp [−6.28, −1.98]**です。この認識器のもとでは、プールした集合で未処理の音声に勝つエンジンはv8_2だけです。VF S − rawは+2.37 pp [−0.92, +5.54]で、生の音声と互角です。
Gemini Liveはfaster-whisperとは違う形で失敗します。背景の話者の単語をでっち上げることはまれで、ターゲットが聞き取りにくいときに単語を落とすため、誤りの大半は削除です。そしてそこがv8_2の効くところです。削除は生の音声の27.63%から19.75%に下がり、ターゲットをより多く切り落とすVF Sは29.37%です。
| 条件 | raw | v8_2 | VF S | v8_2 − VF S, pp [95 % CI] | 読み方 |
|---|---|---|---|---|---|
| Near、背景 −10 dB | 21.76 | 14.40 | 17.43 | −3.04 [−10.83, +5.06] | 互角 |
| Near、背景 −5 dB | 23.97 | 18.94 | 24.82 | −5.88 [−11.15, −1.18] | v8_2が先行 |
| Near、背景 0 dB | 39.71 | 33.06 | 60.95 | −27.89 [−35.80, −19.85] | v8_2が先行 |
| Near、プール | 28.48 | 22.13 | 34.40 | −12.27 [−16.84, −7.91] | v8_2が先行 |
| Room、背景 −10 dB | 49.67 | 51.89 | 44.14 | +7.74 [+2.48, +12.77] | VF Sが先行 |
| Room、背景 −5 dB | 67.38 | 63.71 | 67.00 | −3.28 [−8.07, +1.40] | 互角 |
| Room、プール | 58.52 | 57.80 | 55.57 | +2.23 [−1.64, +6.08] | 互角 |
WERは%、Gemini Liveの入力書き起こし。差が負であれば、v8_2の誤りが少ないことを意味します。
形はfaster-whisperと同じで、バランスが違います。マイクに近い話者での先行は大きく、はっきりしています。near条件をプールすると−12.27 pp [−16.84, −7.91]で、0 dBではVF Sがターゲットの単語の48.71%を削除し、v8_2は16.53%です。離れた話者の側では差が縮まります。room −10 dBではVF Sが依然としてはっきり先行しますが（+7.74 pp [+2.48, +12.77]）、Gemini Liveではroomのプールは互角です（+2.23 pp [−1.64, +6.08]）。
ターンテイキング：ここではVF Sのほうが優れている
同じセッションから、エージェントがいつ応答を始め、Gemini Liveがいつ割り込まれたと報告したかがわかります。誤った応答とは、直前3 sにターゲットの発話がないのに始まった応答です。誤ったバージインとは、直前1.5 sにターゲットの発話がないのに起きた割り込みで、実際には背景の話者がエージェントを遮ったことを意味します。
| 全200会話 | raw | v8_2 | VF S |
|---|---|---|---|
| エージェントの応答 | 976 | 1001 | 970 |
| 誤った応答 | 49 | 56 | 37 |
| バージイン | 939 | 1038 | 923 |
| 誤ったバージイン | 97 | 125 | 52 |
この結果は私たちに不利であり、はっきり述べます。誤ったバージインはVF Sが52回、v8_2が125回で、v8_2は未処理の音声（97回）よりも多く引き起こしています。 誤った応答も同じ方向を示しています。会話あたりのv8_2 − VF Sは+0.10 [+0.01, +0.18]です。これは上の信号指標と合っています。VF Sは間をはるかに静かに保つので、発信者が黙っている間の背景の声が、エージェントにとって発信者のように見えることが少なくなります。v8_2はその背景をより多く通してしまい、Gemini Liveはそれを発話として聞きます。誤った割り込みが主な問題なら、この実験はVF Sを支持します。
注意事項
- 合成であり、録音ではない。 実在の声と部屋を、私たちがミックスしたものです。現場の録音ではなく、自分の通話でのテストの代わりにもなりません。
- 2つの認識器、2つの答え。 faster-whisper base.enはプールした集合を互角と読み、Gemini Liveはv8_2の先行と読みます。どちらもあなたのスタックにとっての真実ではありません。どの結果が当てはまるかは、あなたが使う認識器で決まります。
- 話者は40人。 5つの条件は同じ40本のスクリプトをミックスし直したものなので、独立したサンプルではありません。また1語はプールで0.005 ppに相当します。
- Gemini Liveはホスト型のモデル。 その挙動はバージョン間で変わりえます。これらの数字は、2026年10月に私たちが動かした
gemini-live-2.5-flash-native-audioのものです。 - VF Sの設定はひとつ。 SDKの既定の強調レベルで動かしました。別のレベルにすれば、抑圧と削除のトレードオフはどちらの方向にも動きます。
- 漏れは下限値。 単語単位で帰属できるのは書き起こしのある背景話者（LibriSpeech dev-clean）だけで、MUSANの話者は帰属できません。
- ライセンス。 LibriSpeech（CC BY 4.0）、MUSAN（CC BY 4.0）、DEMAND（CC BY-SA 3.0）、BUT ReverbDB（CC BY 4.0）。公開するのは数字のみで、ミックスや音声は公開しません。
メインベンチマークはこれによって何も変わりません。19条件の行列では、対照が14.32%のWER、私たちのv8_2の行が16.59%です。この実験は、クリップではなく通話についての別の問いを加えるもので、その答えもまた一方的ではありません。
ユーザーが騒がしい場所でヘッドセットや電話を使っているなら、そして特にエージェントがGemini Live上で動いているなら、この実験はv8_2を試す価値があることを示唆しています。残響のある部屋でノートPCから離れて座っている場合や、最も止めたいのが誤った割り込みである場合は、VF Sを示唆しています。いずれにせよ、ライブデモではあなた自身のマイクでv8_2が動きます。決め手になるのは、あなた自身の通話でのテストです。
FAQ
v8_2とai-coustics Quail VF 2.2 S、どちらが優れていますか？
認識器と条件によります。faster-whisper base.enでは、プールした結果は互角で、v8_2 − VF Sは−0.13 pp [−4.56, +4.47]です。Gemini Liveの入力書き起こしでは、プールした集合でv8_2が−6.47 pp [−9.89, −3.26]先行します。どちらの認識器でも、マイクに近い話者と大きな背景音ではv8_2が先行し、話者が0.5〜1.5 m離れた−10 dBではVF Sが先行します。VF Sはさらに間をより静かに保ち、Gemini Liveのもとでは誤ったバージインも少なくなります（52回対125回）。
どちらかのエンジンは生の音声より書き起こしを改善しますか？
faster-whisper base.enでは、プールした集合では改善しません。生の音声は37.82%のWER、v8_2は38.46%、VF Sは38.59%で、生の音声に対するどちらの差も区間がゼロをまたいでいます。Gemini Liveではv8_2が改善します。生の音声の40.50%に対して36.40%で、差は−4.10 pp [−6.28, −1.98]です。Gemini LiveでのVF Sと生の音声の差は+2.37 pp [−0.92, +5.54]で、互角です。
v8_2はGemini Liveエージェントの誤った割り込みを減らしますか？
いいえ。この実験では増やしています。200会話で、誤ったバージインはv8_2が125回、未処理の音声が97回、VF Sが52回でした。ここでVF Sのほうが良い理由としては、発信者の間におけるより強い抑圧が考えられます。
これは実際の録音ですか？
実際の録音から作られています。LibriSpeechとMUSANの声、DEMANDの環境音、実測したBUT ReverbDBの部屋の応答です。会話そのものは私たちがデジタルにミックスしたもので、端から端まで録音したものではありません。
音声をダウンロードできますか？
できません。公開しているのは、benchmark.jsonにある数字、手法、条件別の表です。ミックスと音声は公開していません。