Unsere Zeile steht in der Tabelle: Wir haben unsere eigene Engine auf unserem eigenen Benchmark bewertet — und auch sie schlug die Kontrolle nicht

Update vom 20. Oktober 2026: Ein zweites Experiment, Live-Gespräche, bewertet v8_2 jetzt gegen ai-coustics Quail VF 2.2 S auf 200 konstruierten Gesprächen von 30–60 s mit zwei Erkennern. Mit faster-whisper base.en herrscht Gleichstand, und keine der beiden Engines schlägt Roh-Audio auf dem gepoolten Set; mit der Eingangstranskription von Gemini Live schlägt v8_2 raw und liegt gepoolt vor VF S. v8_2 liegt bei einem nah besprochenen Mikrofon und lautem Hintergrund vorn, VF S bei einem entfernten Sprecher und beim Stummschalten der Pausen, und VF S löst unter Gemini Live weniger falsche Barge-ins aus. Die Zeile und die Zahlen in diesem Post bleiben unverändert.

Als wir im August Null Test veröffentlichten, trug die Matrix einen Vorbehalt in Fettschrift: Unsere eigenen Modelle sind nicht in dieser Matrix. Den Schiedsrichter vor dem Teilnehmer zu veröffentlichen war der Sinn dieser Reihenfolge, und Regel zwei des Benchmarks — wir bewerten uns selbst nach denselben Regeln, in denselben Tabellen — war ein Versprechen über die Zukunft.

Die Zukunft ist da. Die Zeile anecho.ai_focus_model_16khz_v8_2 steht heute auf /benchmark, gemessen von demselben Harness-Code wie jede andere Engine dort, und dieser Post ist der ehrliche Bericht darüber, was sie sagt.

Das Ergebnis, vor der Begründung

Die Matrix bewertet jetzt elf Enhancer gegen die Nichts-tun-Kontrolle, über neunzehn akustische Bedingungen — darunter eine Zwei-Stimmen-Bedingung, auf der jede Engine bewertet wird, denn eine Sprecher-Isolations-Engine, die nie gegen eine zweite Stimme gemessen wurde, wurde überhaupt nicht gemessen.

Gepoolt über alle neunzehn Bedingungen liegt die Kontrolle — das unangetastete Audio — bei 14.32% WER. Unsere Zeile liegt bei 16.59%.

Nichts auf der Tabelle schlug die Kontrolle. Unsere Engine eingeschlossen. Wir haben die Zeile trotzdem veröffentlicht.

Warum eine verlierende Zeile das funktionierende Produkt ist

Hier ist die unbequeme Ökonomie von Hersteller-Benchmarks: Die meisten können nicht verlieren. Eine Zahl, gemessen auf einem privaten Korpus, unter Bedingungen, die der Hersteller gewählt hat, gegen keine Kontrolle, bewertet von einem Recognizer, den der Hersteller ausgesucht hat, ist kein Ergebnis — sie ist eine Anzeige mit Prozentzeichen. Was auch immer das Modell tat, die Seite hätte immer gesagt, dass das Modell gewonnen hat.

Ein Benchmark ist nur lesenswert, wenn die eigene Zeile des Herstellers darauf verlieren kann. Die Regeln, die das möglich machen, wurden veröffentlicht, bevor unsere Zeile existierte — genau damit wir sie nicht verbiegen konnten, sobald wir etwas zu schützen hatten: Die rohe Kontrolle steht immer in der Matrix und darf gewinnen; jede Zelle wird veröffentlicht, auch die, die wir verlieren; die Configs liegen im Repo; jeder Hersteller kann einen erneuten Lauf mit anderen Einstellungen verlangen, und wir veröffentlichen beide. Im ersten Lauf schlug die Kontrolle zehn Engines, die nicht unsere waren. In diesem Lauf schlug sie auch die, die es ist. Die Seite sagt das, in derselben Tabelle, mit derselben Zerlegung.

Das ist keine Großmut. Es ist der einzige Mechanismus, den wir kennen, der den Rest der Seite glaubwürdig macht.

Was die Zeile tatsächlich sagt

Drei Dinge, und wir werden sie nicht dekorieren.

Erstens, die gepoolte Niederlage. 16.59% gegen 14.32% ist die Antwort auf genau eine Frage — „sollte diese Engine standardmäßig eingeschaltet sein, für alles Material, vor diesem Recognizer?" — und die Antwort ist nein, für unsere Engine wie für jede andere Engine, die wir je gemessen haben. Auf sauberem Audio kann ein Isolationsmodell nur Information entfernen. Pooling mittelt seine Design-Bedingungen mit den Bedingungen, in denen es nichts Nützliches zu tun gab. Diesen Satz schreiben wir über die Engines anderer Leute seit dem ersten Lauf; es wäre bemerkenswert, wenn er ausgerechnet an dem Tag aufhörte wahr zu sein, an dem die Engine unsere ist.

Zweitens, wo die Zeile steht. Von allem auf dieser Tabelle, das man legal ausliefern kann, verzeichnet unsere Zeile die gepoolte WER, die dem Rohsignal am nächsten liegt. Die eine Engine, die näher an der Kontrolle liegt, ist eine lizenzierte proprietäre Referenz, die wir als Baseline laufen lassen — ihre Bedingungen machen sie zur Nur-Benchmark-Referenz, und sie ist nie ein Code-Pfad. Wir formulieren das vorsichtig, weil es die Art von Satz ist, die ins Marketing abdriftet, wenn man sie lässt: Es ist eine relative Position auf unserem eigenen Korpus, keine Behauptung, der Abstand zum Rohsignal sei klein genug für Ihren Traffic. Die Zerlegung pro Bedingung, die die eigentliche Frage beantwortet, steht auf der Seite — und wir zitieren hier absichtlich nicht unsere besten Zellen: Selektives Zitieren ist genau die Krankheit, zu deren Behandlung dieser Benchmark existiert.

Drittens, die Kostenspalte. Die Zeile läuft mit 15 ms algorithmischer Verzögerung auf einem CPU-Kern, mit einem gemessenen Echtzeitfaktor von 0.067. Genauigkeits- und Kostenzahlen reisen in jeder Zeile zusammen, denn ein Modell, das bei vierfacher Echtzeit gewinnt, ist keine auslieferbare Option — und unseres muss nach derselben Regel leben.

Der Präzedenzfall, der die Niederlage glaubwürdig macht

Ein Hersteller, der sagt „wir haben ein Ergebnis gegen uns selbst veröffentlicht", lädt zu einer fairen Frage ein: Würdet ihr das wieder tun, wenn es schlechter ausfiele? Wir haben ein Beweisstück anzubieten, und es ist nicht hypothetisch. Eine frühere Version unserer Telefonie-Analyse wiederholte eine Zahl aus der Community — dass ein Standard-Resample-Pfad rund 16% des Anrufer-Audios verwirft. Wir bauten die Kontrolle, unsere Messung stützte die Behauptung nicht, und wir zogen sie öffentlich zurück, wobei wir den korrigierten Abschnitt stehen ließen, statt ihn zu löschen. Der Widerruf steht noch heute auf der Benchmark-Seite, neben den Daten — dort, wo er für uns am unbequemsten ist.

Seitdem bindet dieselbe Verifikations-Suite, die diesen Widerruf am stillen Verschwinden hindert, auch jeden Satz, den die Website über unsere eigene Zeile sagt, an das veröffentlichte Artefakt. Die Seite kann nicht behaupten, unsere Engine habe die Kontrolle geschlagen, solange benchmark.json das nicht sagt — der Text wird aus der Datei abgeleitet, andernfalls schlägt der Build fehl. Wir haben diese Wache gebaut, nachdem wir eine widerlegte Zahl tagelang auf unserer eigenen Website überleben sahen. Die Lektion handelte nie von der Zahl; sie lautete, dass Prosa ohne Verbindung zu einer Messung durch keine Messung korrigiert werden kann.

Urteilen Sie mit Ihrer eigenen Stimme

Unser Korpus sind zehn Sprecher und ein fester Bedingungssatz; die Vorbehalte stehen in der Methodik, und sie sind nicht klein. Die Bedingung, die einen Kauf wirklich entscheidet, steht nicht in unserer Matrix, denn sie ist Ihr Audio — Ihre Endgeräte, Ihre Räume, Ihre zweiten Stimmen.

Die Engine hinter der Zeile läuft in Ihrem Browser, mit Ihrem Mikrofon, in der Live-Demo. Nehmen Sie den Raum auf, in dem Sie tatsächlich Anrufe entgegennehmen, mit laufendem Fernseher, mit jemandem, der hinter Ihnen spricht, und hören Sie, was herauskommt. Wenn sie sich ihre 15 ms auf Ihrer Stimme nicht verdient, kostet die Kontrolle nichts — und unsere eigene Tabelle sagt, dass das ein faires Urteil ist.