Fish Audio bringt Drama 3 auf den Markt, um KI-Stimmen zu steuern und einzelne Wörter zu bearbeiten

Ein Dialogsatz kann alle richtigen Wörter enthalten und trotzdem falsch vorgetragen werden. Die Pause kommt zu früh. Eine Figur klingt selbstsicher, obwohl die Szene Zögern verlangt. Ein falsch ausgesprochenes Wort macht eine ansonsten überzeugende Erzählung zunichte.

Fish Audio will diese Produktionsprobleme mit Drama 3 angehen, seinem neuen Text-zu-Sprache-Modell, das am 13. Oktober angekündigt wurde. Das Unternehmen gibt an, dass Kreative den Vortrag mit alltäglicher Sprache steuern, Szenen mit mehreren Sprechern erzeugen und einen ausgewählten Abschnitt synthetisierter Audiodaten überarbeiten können, ohne den umgebenden Vortrag neu zu generieren.

Das womöglich folgenreichste Merkmal ist vielleicht die kleinste Bearbeitung: ein einzelnes Wort zu ändern und dabei Stimme, Stimmung und Rhythmus davor und danach beizubehalten. Für Teams, die Hörbücher, synchronisierte Inhalte, Spiele oder Hörspiele produzieren, hängt der Wert einer synthetischen Stimme zunehmend davon ab, wie leicht sie sich überarbeiten lässt.

Einer Stimme eine Regieanweisung geben

Drama 3 versteht Beschreibungen von Tonfall, Tempo und Charakter, darunter Anweisungen, die den Vortrag mitten im Satz verändern. Laut der Ankündigung kann eine Passage ruhig beginnen und in Panik übergehen, sodass nicht für jeden Abschnitt mit anderer Gefühlslage eine neue Generierung nötig ist.

„Sprach-KI ist beim Erzeugen von Sprache sehr gut geworden. Der nächste Schritt besteht darin, eine Darbietung zu dirigieren“, sagte Rissa Cao, Mitgründerin und CEO von Fish Audio, in der Ankündigung zur Markteinführung.

Die öffentliche Vorschauseite von Drama 3 des Unternehmens vermittelt einen konkreteren Eindruck von den Steuerelementen. Nutzer können Anweisungen, Geräusche und Pausen in eckigen Klammern einfügen oder ausgewählte Wörter mit zusammengehörigen Tags versehen. So können Schreibende einen Effekt wie Flüstern, Betonung oder langsameres Sprechen auf eine bestimmte Formulierung beschränken. Eine Auto-Tag-Funktion kann außerdem erste Regieanweisungen für ein Skript vorschlagen, die Kreative anschließend überarbeiten können.

Die kreative Konsequenz liegt auf der Hand: Ein Skript wird sowohl zum Dialog als auch zu einer Reihe von Regieanweisungen. Schreibende können im selben bearbeitbaren Text daran arbeiten, was eine Figur meint, wo ein Atemzug hingehört und welche Formulierung betont werden soll.

Audio-Inpainting: Den misslungenen Moment korrigieren

Fish Audio beschreibt das Audio-Inpainting von Drama 3 als Möglichkeit, einen Abschnitt eines bestehenden Vortrags auszuwählen, die Anweisungen anzupassen und diesen Abschnitt neu zu generieren, während das umgebende Audio erhalten bleibt. Mitgründer und leitender Wissenschaftler Shijia Liao zufolge nutzt das Modell den Klang vor und nach einem bearbeiteten Wort, damit sich der Ersatz passend einfügt.

Das ist eine andere Aufgabe, als eine isolierte Ersatzzeile zu generieren. Das neue Audio muss sich in einen bestehenden Vortrag einfügen: Timing, Intonation und stimmliche Identität müssen an den Übergängen der Bearbeitung glaubwürdig bleiben.

Man stelle sich eine fiktive Hörbuchproduktion vor, in der ein Sprecher einen Absatz korrekt vorträgt, aber einen Namen unpassend betont. Eine gezielte Korrektur könnte den gelungenen Vortrag des übrigen Absatzes bewahren. Derselbe Ansatz könnte einem Spielteam helfen, nach einer Skriptänderung einen kurzen Dialog zu überarbeiten.

Dabei handelt es sich um mögliche Vorteile für den Arbeitsablauf, nicht um gemessene Produktivitätssteigerungen. Die Veröffentlichung enthält keine unabhängige Bewertung dazu, wie zuverlässig Korrekturen einzelner Wörter das umgebende Audio bei verschiedenen Stimmen, Akzenten oder schwierigen Übergängen bewahren.

Szenen, Figuren und mehrsprachige Konsistenz

Drama 3 unterstützt auch die Generierung einer vollständigen Szene mit mehreren Sprechern in einem Durchgang. Fish Audio zufolge behält jede Figur eine unverwechselbare Stimme und reagiert im Kontext des vorangegangenen Dialogs. Bei der Markteinführung hebt das Unternehmen die Konsistenz der Figuren in langen Skripten, Sprachwechsel innerhalb einer Szene und die Aussprachekontrolle auf Phonemebene in Sprachen wie Englisch, Chinesisch, Japanisch und Koreanisch hervor.

Bei Dialogen bedeutet Kontinuität mehr, als nur zu erkennen, wer spricht. Eine Antwort muss so klingen, als schlösse sie an die vorherige Zeile an, und nicht wie eine zusammenhanglose Aufnahme, die in eine Sequenz eingefügt wurde. Bei der Lokalisierung müssen Aussprache und Charakterisierung auch beim Wechsel zwischen Sprachen erhalten bleiben.

Die Aussagen des Unternehmens beziehen sich auf beide Probleme, doch der Praxistest ist die fertige Szene: Zuhörer sollten keine abrupten Veränderungen der stimmlichen Identität oder des Vortrags bemerken, wenn die Sprecher wechseln, eine Passage bearbeitet wird oder die Sprache des Skripts wechselt.

Wie Drama 3 in die Technologie von Fish Audio passt

Der Ansatz, zuerst Regieanweisungen zu geben, baut auf einem Forschungsweg auf, den Fish Audio bereits beschrieben hat. Die frühere S2-Forschungsveröffentlichung unterstützte Anweisungen in natürlicher Sprache, die an bestimmten Wort- oder Satzpositionen eingebettet waren. Das Unternehmen beschrieb eine dual-autoregressive Architektur, die die Vorhersage entlang des Audiozeitverlaufs von der Erzeugung feinerer akustischer Details trennt, ergänzt durch eine Ausrichtung mittels bestärkendem Lernen auf Verständlichkeit, Befolgung von Anweisungen und Stimmähnlichkeit.

Diese frühere Arbeit bietet hilfreichen Kontext für den Schwerpunkt von Fish Audio auf steuerbarer Sprache. Sie belegt nicht die genaue Architektur von Drama 3: In der neuen Ankündigung ist zwar von einer architektonischen Änderung die Rede, doch werden nicht genügend Einzelheiten veröffentlicht, um die beiden Systeme gleichzusetzen oder die Benchmark-Ergebnisse von S2 auf Drama 3 zu übertragen.

Für Entwickler führt die Dokumentation zur Text-to-Speech-API Drama 3 unter der Modellkennung drama-3-preview. Anfragen mit mehreren Sprechern verwenden eine Liste von Stimmkennungen und Sprechermarkierungen im Text. Der Endpunkt bietet außerdem Steuerungsmöglichkeiten für Geschwindigkeit, Lautstärke und Sampling sowie Ausgabeformate wie WAV, PCM, MP3 und Opus.

Auf der öffentlichen Produktseite und in der API-Dokumentation wird Drama 3 weiterhin als Vorschau bezeichnet. Fish Audio weist darauf hin, dass die Ergebnisse von Durchlauf zu Durchlauf variieren und das Modell weiter verändert wird. Produktionsteams sollten daher die bei der Markteinführung angepriesenen Funktionen von der Konsistenz unterscheiden, die sie mit ihrem eigenen Material beobachten.

Ein Produktionstool wird an seinen Überarbeitungsmöglichkeiten gemessen

Fish Audio zufolge nutzen inzwischen mehr als 15 Millionen Menschen das Angebot, und das Unternehmen erzielt einen jährlich wiederkehrenden Umsatz von 21 Millionen US-Dollar. Diese vom Unternehmen veröffentlichten Zahlen ordnen Drama 3 in eine breiter aufgestellte Plattform ein, die Sprachgenerierung, Transkription, Stimmenklonen und Kreativwerkzeuge umfasst.

Zur Markteinführung will das Unternehmen die API-Nutzung in den ersten 30 Tagen um 80 % vergünstigen. Unternehmen, die die Voraussetzungen erfüllen und ihren Sprachanbieter wechseln, erhalten drei kostenlose Monate. Auf der Preisseite von Fish Audio finden sich aktuelle Tarife und Angebotsdetails.

Das größte Potenzial von Drama 3 zeigt sich dort, wo Generierung auf Überarbeitung trifft. Ein überzeugender erster Entwurf ist hilfreich; ein Sprachmodell lässt sich jedoch erst dann leichter in einen Produktionsworkflow integrieren, wenn gelungene Passagen erhalten bleiben und schwächere verbessert werden. Mit der Markteinführung rückt Fish Audio diese Fähigkeit ins Zentrum des nächsten Kapitels.