Fish Audio lanceert Drama 3 om AI-stemmen te regisseren en één woord aan te passen

Een dialoogregel kan alle juiste woorden bevatten en toch verkeerd worden gebracht. De pauze valt te vroeg. Een personage klinkt zelfverzekerd terwijl de scène juist om aarzeling vraagt. Eén verkeerd uitgesproken woord doorbreekt een verder overtuigende vertelling.

Fish Audio richt zich met Drama 3, het nieuwe tekst-naar-spraakmodel dat op 13 oktober werd aangekondigd, op dit soort productieproblemen. Het bedrijf zegt dat makers de voordracht in gewone taal kunnen aansturen, scènes met meerdere sprekers kunnen genereren en een geselecteerd segment van gesynthetiseerde audio kunnen herstellen zonder de omliggende voordracht opnieuw te genereren.

De meest ingrijpende functie is misschien wel de kleinste aanpassing: één woord veranderen en daarbij de stem, sfeer en het ritme aan weerszijden behouden. Voor teams die luisterboeken, nagesynchroniseerde content, games of audiodrama’s maken, hangt de waarde van een synthetische stem steeds meer af van hoe gemakkelijk die kan worden aangepast.

Een stemvoordracht regieaanwijzingen geven

Drama 3 kan beschrijvingen van toon, tempo en karakter verwerken, waaronder aanwijzingen die de voordracht binnen een zin veranderen. Volgens de aankondiging kan een passage rustig beginnen en vervolgens paniekerig worden, zonder dat voor elk emotioneel deel een nieuwe generatie nodig is.

‘AI voor stemmen is erg goed geworden in het genereren van spraak. De volgende stap is een voordracht regisseren’, zei Rissa Cao, medeoprichter en CEO van Fish Audio, in de aankondiging van de lancering.

De openbare voorbeeldpagina van Drama 3 van het bedrijf geeft een concreter beeld van de bediening. Gebruikers kunnen aanwijzingen, geluiden en pauzes tussen vierkante haken plaatsen of bij geselecteerde woorden een openings- en sluitingstag toepassen. Zo kan een schrijver een effect, zoals fluisteren, nadruk of langzamer spreken, beperken tot een bepaalde frase. De functie Auto Tag kan ook eerste aanwijzingen voor een script voorstellen, die makers vervolgens kunnen aanpassen.

De creatieve implicatie is duidelijk: een script wordt zowel dialoog als een reeks aanwijzingen voor de voordracht. Schrijvers kunnen in dezelfde bewerkbare tekst bepalen wat een personage bedoelt, waar een ademhaling hoort en welke frase nadruk verdient.

Audio-inpainting: het moment herstellen dat misgaat

Fish Audio omschrijft audio-inpainting in Drama 3 als een manier om een deel van een bestaande voordracht te selecteren, de aanwijzingen aan te passen en dat segment opnieuw te genereren, terwijl de omliggende audio behouden blijft. Medeoprichter en hoofdwetenschapper Shijia Liao zegt dat het model het geluid aan weerszijden van een aangepast woord gebruikt om de vervanging passend te laten klinken.

Dat is iets anders dan een op zichzelf staande vervangende zin genereren. De nieuwe audio moet aansluiten op een bestaande voordracht: de timing, intonatie en stemidentiteit moeten bij de overgangen van de bewerking allemaal geloofwaardig blijven.

Denk aan een fictieve productie van een luisterboek waarin een verteller een alinea correct voordraagt, maar één naam onhandig benadrukt. Een gerichte aanpassing kan ervoor zorgen dat de geslaagde voordracht van de rest van de alinea behouden blijft. Dezelfde aanpak kan een gameteam helpen om na een scriptwijziging een kort stuk dialoog aan te passen.

Dit zijn mogelijke voordelen voor de workflow, geen gemeten productiviteitswinsten. De release bevat geen onafhankelijke evaluatie van hoe betrouwbaar aanpassingen van één woord de omliggende audio behouden bij verschillende stemmen, accenten of lastige overgangen.

Scènes, personages en meertalige consistentie

Drama 3 kan ook in één keer een complete scène met meerdere sprekers genereren. Fish Audio zegt dat elk personage een eigen stem behoudt en reageert in de context van de voorafgaande dialoog. De lancering legt de nadruk op consistente personages in lange scripts, taalwisselingen binnen een scène en uitspraakcontrole op foneemniveau in onder meer het Engels, Chinees, Japans en Koreaans.

Bij dialogen gaat continuïteit om meer dan herkennen wie er spreekt. Een reactie moet klinken alsof die volgt op de vorige zin, en niet als een losstaande opname die in een reeks is geplakt. Bij lokalisatie moeten ook de uitspraak en de karakterisering overeind blijven wanneer naar een andere taal wordt overgeschakeld.

De claims van het bedrijf hebben betrekking op beide problemen, maar de praktijktest is de uiteindelijke scène: luisteraars mogen geen abrupte veranderingen in stemidentiteit of voordracht horen wanneer sprekers wisselen, een passage wordt aangepast of het script van taal verandert.

De plaats van Drama 3 in de technologie van Fish Audio

De aanpak waarbij aanwijzingen vooropstaan, bouwt voort op een onderzoekstraject dat Fish Audio al eerder heeft beschreven. De eerdere onderzoeksrelease S2 ondersteunde instructies in natuurlijke taal die op specifieke woord- of fraseposities waren ingebed. Het bedrijf beschreef een dual-autoregressieve architectuur die voorspellingen op de audiotijdlijn scheidt van het genereren van fijnere akoestische details, naast uitlijning op basis van reinforcement learning voor verstaanbaarheid, het opvolgen van instructies en stemgelijkenis.

Dat eerdere werk biedt nuttige context voor de focus van Fish Audio op bestuurbare spraak. Het stelt de precieze architectuur van Drama 3 niet vast: de nieuwe aankondiging verwijst naar een architectuurwijziging, maar publiceert niet genoeg details om de twee systemen als gelijkwaardig te beschouwen of de benchmarkresultaten van S2 aan Drama 3 toe te schrijven.

Voor ontwikkelaars vermeldt de documentatie van de tekst-naar-spraak-API Drama 3 onder de modelidentificatie drama-3-preview. Verzoeken met meerdere sprekers gebruiken een lijst met stem-ID’s en sprekermarkeringen in de tekst. Het endpoint biedt ook instelmogelijkheden voor snelheid, volume en sampling, evenals uitvoerformaten zoals WAV, PCM, MP3 en Opus.

Op de openbare productpagina en in de API-documentatie wordt Drama 3 nog steeds als preview aangeduid. Fish Audio waarschuwt dat de resultaten per opname kunnen verschillen en dat het model zich verder zal blijven ontwikkelen. Productieteams moeten de functieclaims bij de lancering daarom onderscheiden van de consistentie die ze met hun eigen materiaal waarnemen.

Een productietool wordt beoordeeld op basis van de aanpassingen

Fish Audio zegt inmiddels meer dan 15 miljoen gebruikers te bedienen en een jaarlijkse terugkerende omzet van 21 miljoen dollar te hebben bereikt. Deze cijfers, die door het bedrijf zelf zijn gemeld, plaatsen Drama 3 binnen een breder platform voor spraakgeneratie, transcriptie, stemklonen en creatieve tools.

Het bedrijf zegt dat het API-gebruik de eerste 30 dagen met 80% wordt afgeprijsd en dat bedrijven die aan de voorwaarden voldoen en van spraakaanbieder overstappen, drie maanden gratis krijgen. Raadpleeg de prijspagina van Fish Audio voor de actuele abonnementen en aanbiedingsvoorwaarden.

Drama 3 komt het best tot zijn recht op het snijvlak van genereren en reviseren. Een overtuigende eerste versie is nuttig; de geslaagde momenten behouden en de zwakkere verbeteren maakt een stemmodel pas echt geschikt voor een productieproces. Met de lancering stelt Fish Audio deze mogelijkheid centraal in de volgende fase van het bedrijf.