Fish Audio lancerer Drama 3 til at styre AI-stemmer og redigere et enkelt ord

En replik kan indeholde alle de rigtige ord og stadig blive leveret forkert. Pausen kommer for tidligt. En figur lyder selvsikker, selvom scenen kræver tøven. Et enkelt forkert udtalt ord bryder en ellers overbevisende fortælling.

Fish Audio vil løse disse produktionsproblemer med Drama 3, sin nye tekst-til-tale-model, som blev annonceret den 13. oktober. Virksomheden siger, at skabere kan styre stemmeføringen med almindeligt sprog, generere scener med flere talere og reparere et udvalgt segment af syntetiseret lyd uden at generere resten af stemmepræstationen på ny.

Den mest betydningsfulde funktion kan være den mindste redigering: at ændre et enkelt ord, mens stemmen, stemningen og rytmen på begge sider bevares. For teams, der producerer lydbøger, eftersynkroniseret indhold, spil eller lyddramaer, afhænger værdien af en syntetisk stemme i stigende grad af, hvor let den kan revideres.

Sådan instruerer du en stemmepræstation

Drama 3 kan håndtere beskrivelser af tone, tempo og karakter, herunder instruktioner, der ændrer stemmeføringen midt i en sætning. Ifølge annonceringen kan en passage begynde roligt og blive panisk, så man ikke behøver at generere hver følelsesmæssig del for sig.

»AI til stemmegenerering er blevet rigtig god til at generere tale. Det næste skridt er at instruere en præstation,« sagde Rissa Cao, medstifter og administrerende direktør for Fish Audio, i lanceringsmeddelelsen.

Virksomhedens offentlige forhåndsvisningsside for Drama 3 giver et mere konkret indblik i kontrollerne. Brugerne kan indsætte instruktioner, lyde og pauser i firkantede parenteser eller sætte parrede tags omkring udvalgte ord. Det gør det muligt for en forfatter at knytte en effekt som hvisken, betoning eller langsommere levering til en bestemt frase. Funktionen Auto Tag kan også foreslå indledende instruktioner til et manuskript, som skaberne derefter kan revidere.

Den kreative betydning er ligetil: Et manuskript bliver både dialog og et sæt instruktioner til stemmeføringen. Forfattere kan i den samme redigerbare tekst arbejde med, hvad en figur mener, hvor et åndedrag skal ligge, og hvilken frase der skal betones.

Lydreparation: Sådan retter du det, der ikke fungerer

Fish Audio beskriver lydreparationen i Drama 3 som en måde at udvælge et udsnit af en eksisterende stemmepræstation, opdatere instruktionerne og generere det pågældende segment igen, mens den omgivende lyd bevares. Medstifter og chefforsker Shijia Liao siger, at modellen bruger lyden på begge sider af et redigeret ord til at få erstatningen til at passe ind.

Det er en anden opgave end at generere en løs erstatningsreplik. Den nye lyd skal passe ind i en etableret stemmepræstation: Timing, intonation og stemmeidentitet skal alle fortsat virke troværdige ved redigeringens grænser.

Forestil dig en fiktiv lydbogsproduktion, hvor en fortæller læser et afsnit korrekt, men lægger en akavet betoning på et navn. En målrettet reparation kunne bevare den vellykkede levering af resten af afsnittet. Den samme metode kunne hjælpe et spilteam med at revidere en kort dialogsekvens efter en ændring i manuskriptet.

Det er mulige fordele for arbejdsgangen, ikke målte produktivitetsgevinster. Udgivelsen indeholder ingen uafhængig evaluering af, hvor pålideligt reparationer af enkeltord bevarer den omgivende lyd på tværs af stemmer, accenter eller vanskelige overgange.

Scener, figurer og flersproget konsistens

Drama 3 kan også generere en hel scene med flere talere i én arbejdsgang. Fish Audio siger, at hver figur bevarer sin særprægede stemme og reagerer i sammenhæng med den foregående dialog. Lanceringen fremhæver konsistente figurer på tværs af lange manuskripter, skift mellem sprog i en scene og kontrol over udtalen på fonemniveau på blandt andet engelsk, kinesisk, japansk og koreansk.

I dialog handler kontinuitet om mere end at genkende, hvem der taler. Et svar skal lyde, som om det følger efter den foregående replik, og ikke som en uvedkommende optagelse, der er klippet ind i en sekvens. Ved lokalisering skal både udtale og karaktertegning også bevares, når man skifter mellem sprog.

Virksomhedens påstande tager højde for begge problemer, men den praktiske prøve bliver den færdige scene: Lytterne bør ikke høre pludselige ændringer i stemmeidentitet eller levering, når talerne skifter, en passage redigeres, eller manuskriptet skifter sprog.

Drama 3’s plads i Fish Audios teknologi

Den instruktionsbaserede tilgang bygger videre på en forskningsretning, som Fish Audio allerede har beskrevet. Virksomhedens tidligere forskningsudgivelse om S2 understøttede instruktioner i naturligt sprog, der var indlejret ved bestemte ord eller fraser. Virksomheden beskrev en dual-autoregressiv arkitektur, der adskiller forudsigelser langs lydens tidslinje fra genereringen af finere akustiske detaljer, samt forstærkningslæringsbaseret tilpasning med henblik på forståelighed, efterlevelse af instruktioner og stemmelighed.

Dette tidligere arbejde giver nyttig kontekst for Fish Audios fokus på styrbar tale. Det fastslår ikke Drama 3’s præcise arkitektur: Den nye annoncering omtaler en arkitekturændring, men offentliggør ikke nok detaljer til, at man kan sidestille de to systemer eller overføre S2’s benchmarkresultater til Drama 3.

For udviklere angiver dokumentationen til tekst-til-tale-API’et Drama 3 under modelidentifikatoren drama-3-preview. Forespørgsler med flere talere bruger en liste over stemmeidentifikatorer og talermarkører i teksten. Endepunktet giver også adgang til styring af hastighed, lydstyrke og sampling samt outputformater som WAV, PCM, MP3 og Opus.

Den offentlige produktside og API-dokumentationen beskriver stadig Drama 3 som en forhåndsvisning. Fish Audio gør opmærksom på, at resultaterne varierer fra optagelse til optagelse, og at modellen fortsat vil ændre sig. Produktionsteams bør derfor skelne mellem de funktioner, der fremhæves ved lanceringen, og den konsistens, de selv oplever med deres eget materiale.

Et produktionsværktøj bedømmes på sine redigeringsmuligheder

Fish Audio oplyser, at tjenesten nu har mere end 15 millioner brugere og har nået en årlig tilbagevendende omsætning på 21 millioner dollar. Disse tal, som virksomheden selv har oplyst, placerer Drama 3 på en bredere platform, der spænder over talegenerering, transskription, stemmekloning og kreative værktøjer.

I forbindelse med lanceringen oplyser virksomheden, at API-brug får 80 % rabat de første 30 dage, og at virksomheder, der opfylder betingelserne og skifter stemmeleverandør, får tre gratis måneder. Læsere kan se Fish Audios prisside for aktuelle abonnementer og oplysninger om tilbuddet.

Drama 3’s styrke ligger især i samspillet mellem generering og redigering. Et overbevisende første forsøg er nyttigt; det er muligheden for at bevare de vellykkede øjeblikke og rette op på de svage, der gør det lettere at tilpasse en stemmemodel til en produktionsarbejdsgang. Lanceringen sætter denne funktion i centrum for Fish Audios næste kapitel.