Fish Audio lanserer Drama 3 for å styre AI-stemmer og redigere enkeltord

En replikklinje kan inneholde alle de riktige ordene og likevel bli framført på feil måte. Pausen kommer for tidlig. En karakter høres selvsikker ut når scenen krever nøling. Ett feiluttalt ord bryter med en ellers overbevisende fortellerstemme.

Fish Audio retter seg mot slike produksjonsutfordringer med Drama 3, sin nye tekst-til-tale-modell, som ble annonsert 13. oktober. Selskapet sier at innholdsskaperne kan styre framføringen med dagligdags språk, lage scener med flere stemmer og reparere et utvalgt segment av syntetisert lyd uten å generere den omkringliggende framføringen på nytt.

Den mest betydningsfulle funksjonen kan være den minste redigeringen: å endre ett enkelt ord og samtidig bevare stemmen, stemningen og rytmen på hver side av det. For team som lager lydbøker, dubbet innhold, spill eller lydserier, avhenger verdien av en syntetisk stemme stadig mer av hvor enkelt den kan revideres.

Å gi stemmeprestasjonen tydelige føringer

Drama 3 tar imot beskrivelser av tone, tempo og karakter, også instruksjoner som endrer framføringen midt i en setning. Ifølge kunngjøringen kan en tekstpassasje begynne rolig og bli panisk, i stedet for at man må generere den på nytt for hver følelsesmessige del.

«AI for stemmer har blitt svært god til å generere tale. Neste steg er å regissere en framføring», sa Rissa Cao, medgrunnlegger og administrerende direktør i Fish Audio, i lanseringskunngjøringen.

Selskapets offentlige forhåndsvisningsside for Drama 3 gir et mer konkret innblikk i kontrollene. Brukerne kan sette inn instruksjoner, lyder og pauser i hakeparenteser eller legge til matchende tagger rundt utvalgte ord. Dermed kan en skribent knytte en effekt, for eksempel hvisking, trykk eller langsommere tale, til en bestemt frase. En funksjon for automatisk tagging kan også foreslå innledende instruksjoner til et manus, som innholdsskaperne deretter kan revidere.

Den kreative konsekvensen er tydelig: Et manus blir både dialog og et sett med instruksjoner for framføringen. Skribentene kan arbeide med hva en karakter mener, hvor et åndedrag skal komme, og hvilken frase som fortjener ekstra trykk, alt i den samme redigerbare teksten.

Lydreparasjon: Slik retter du opp øyeblikket som ikke fungerer

Fish Audio beskriver lydreparasjonen i Drama 3 som en måte å velge ut en del av en eksisterende framføring, oppdatere instruksjonene og generere dette segmentet på nytt, samtidig som lyden rundt beholdes. Medgrunnlegger og sjefsforsker Shijia Liao sier at modellen bruker lyden både før og etter et redigert ord for å få erstatningen til å passe inn.

Dette er en annen oppgave enn å generere en isolert erstatningsreplikk. Den nye lyden må passe inn i en etablert framføring: Tidsplasseringen, intonasjonen og stemmeidentiteten må alle fortsatt virke troverdige i overgangene rundt redigeringen.

Tenk deg en fiktiv lydbokproduksjon der en forteller leser et avsnitt riktig, men legger et unaturlig trykk på et navn. En målrettet reparasjon kan bevare den vellykkede framføringen av resten av avsnittet. Den samme metoden kan hjelpe et spillteam med å revidere en kort dialog etter en manusendring.

Dette er mulige fordeler for arbeidsflyten, ikke målte produktivitetsgevinster. Lanseringen inneholder ingen uavhengig evaluering av hvor pålitelig reparasjoner av enkeltord bevarer lyden rundt på tvers av stemmer, aksenter eller vanskelige overganger.

Scener, karakterer og flerspråklig konsistens

Drama 3 støtter også generering av en hel scene med flere stemmer i én omgang. Fish Audio sier at hver karakter beholder en særpreget stemme og svarer i lys av den foregående dialogen. Lanseringen framhever konsistente karakterer gjennom lange manus, språkskifter innad i en scene og uttalekontroll på fonemnivå for språk som engelsk, kinesisk, japansk og koreansk.

I dialog handler kontinuitet om mer enn å kjenne igjen hvem som snakker. Et svar må høres ut som en naturlig fortsettelse av den forrige replikken, ikke som et uvedkommende opptak som er limt inn i en sekvens. Ved lokalisering må også uttale og karakterisering bevares når man går over til et annet språk.

Selskapets påstander tar for seg begge problemene, men den praktiske prøven blir den ferdige scenen: Lytterne bør ikke høre brå endringer i identitet eller framføring når talerne bytter på å snakke, en tekstpassasje redigeres eller manuset skifter språk.

Drama 3 i Fish Audios teknologiske utvikling

Den instruksjonsbaserte tilnærmingen bygger videre på en forskningsretning Fish Audio allerede har beskrevet. Den tidligere forskningslanseringen av S2 støttet instruksjoner på naturlig språk som var lagt inn ved bestemte ord eller fraser. Selskapet beskrev en dobbelt autoregressiv arkitektur som skiller mellom prediksjon langs lydens tidslinje og generering av mer finmaskede akustiske detaljer, i tillegg til justering ved hjelp av forsterkende læring for forståelighet, etterlevelse av instruksjoner og stemmelikhet.

Dette tidligere arbeidet gir nyttig kontekst for Fish Audios satsing på styrbar tale. Det fastslår ikke den nøyaktige arkitekturen i Drama 3: Den nye kunngjøringen viser til en arkitektonisk endring, men publiserer ikke nok detaljer til at man kan slå fast at de to systemene er like, eller overføre referanseresultatene for S2 til Drama 3.

For utviklere oppgir dokumentasjonen for tekst-til-tale-API-et Drama 3 under modellidentifikatoren drama-3-preview. Forespørsler med flere talere bruker en liste over stemmeidentifikatorer og talermarkører i teksten. Endepunktet tilbyr også innstillinger for hastighet, volum og sampling samt utdataformater som WAV, PCM, MP3 og Opus.

Den offentlige produktsiden og API-dokumentasjonen beskriver fortsatt Drama 3 som en forhåndsversjon. Fish Audio opplyser at resultatene varierer fra forsøk til forsøk, og at modellen vil fortsette å endres. Produksjonsteam bør derfor skille mellom funksjonene som omtales ved lanseringen, og hvor konsistente resultatene er med deres eget materiale.

Et produksjonsverktøy måles på hvordan det håndterer revisjoner

Fish Audio opplyser at selskapet nå betjener over 15 millioner brukere og har nådd 21 millioner dollar i årlig gjentakende omsetning. Disse tallene, som selskapet selv har oppgitt, plasserer Drama 3 innenfor en bredere plattform som omfatter talegenerering, transkripsjon, stemmekloning og kreative verktøy.

I forbindelse med lanseringen opplyser selskapet at API-bruken får 80 % rabatt de første 30 dagene, og at kvalifiserte virksomheter som bytter stemmeleverandør, får tre måneder gratis. Leserne kan se Fish Audios prisside for gjeldende abonnementer og detaljer om tilbudet.

Drama 3s styrke ligger særlig i samspillet mellom generering og redigering. Et overbevisende førsteutkast er nyttig, men det som gjør en stemmemodell enklere å innpasse i en produksjonsarbeidsflyt, er muligheten til å beholde de vellykkede øyeblikkene og rette opp de svake. Med lanseringen setter Fish Audio denne funksjonen i sentrum for selskapets neste kapittel.