Fish Audio lanserar Drama 3 för att styra AI-röster och redigera enstaka ord

En dialogreplik kan innehålla alla rätta ord och ändå framföras på fel sätt. Pausen kommer för tidigt. En karaktär låter självsäker när scenen kräver tvekan. Ett feluttalat ord bryter en annars övertygande berättarröst.

Fish Audio vill lösa sådana produktionsproblem med Drama 3, företagets nya talsyntesmodell som presenterades den 13 oktober. Företaget uppger att innehållsskapare kan styra framförandet med vanligt språk, skapa scener med flera talare och åtgärda ett utvalt segment av syntetiserat ljud utan att generera om det omgivande framförandet.

Den kanske mest betydelsefulla funktionen är den minsta redigeringen: att ändra ett enda ord och samtidigt bevara rösten, stämningen och rytmen på båda sidor om det. För team som producerar ljudböcker, dubbat innehåll, spel eller ljuddrama beror värdet av en syntetisk röst allt mer på hur enkelt den går att redigera.

Att ge röstframförandet instruktioner

Drama 3 kan ta emot beskrivningar av tonfall, tempo och karaktär, inklusive instruktioner som ändrar framförandet mitt i en mening. En passage kan börja lugnt och sedan övergå i panik, enligt tillkännagivandet, i stället för att behöva genereras på nytt för varje känslomässigt avsnitt.

”AI för röster har blivit mycket bra på att generera tal. Nästa steg är att regissera ett framförande”, sade Rissa Cao, medgrundare och vd för Fish Audio, i samband med lanseringen.

Företagets offentliga förhandsvisningssida för Drama 3 ger en mer konkret bild av kontrollerna. Användare kan ange instruktioner, ljud och pauser inom hakparenteser eller lägga till parvisa taggar runt utvalda ord. På så sätt kan en skribent begränsa en effekt, som en viskning, betoning eller långsammare leverans, till en viss fras. Funktionen Auto Tag kan också föreslå inledande instruktioner för ett manus, som innehållsskaparna sedan kan ändra.

Den kreativa innebörden är tydlig: ett manus blir både dialog och en uppsättning instruktioner för framförandet. Skribenter kan i samma redigerbara text arbeta med vad en karaktär menar, var en andningspaus ska ligga och vilken fras som ska betonas.

Ljudinmålning: åtgärda det som inte fungerar

Fish Audio beskriver Drama 3:s ljudinmålning som ett sätt att markera en del av ett befintligt framförande, uppdatera instruktionerna och generera om det segmentet samtidigt som det omgivande ljudet bevaras. Medgrundaren och chefsforskaren Shijia Liao säger att modellen använder ljudet på båda sidor om ett redigerat ord för att få ersättningen att passa in.

Det är en annan uppgift än att generera en fristående ersättningsreplik. Det nya ljudet måste passa in i ett redan etablerat framförande: tajmingen, intonationen och röstens identitet måste alla förbli trovärdiga vid redigeringens gränser.

Tänk dig en fiktiv ljudboksproduktion där en berättare läser upp ett stycke korrekt men betonar ett namn på ett konstlat sätt. En riktad korrigering skulle kunna bevara det lyckade framförandet av resten av stycket. Samma metod skulle kunna hjälpa ett spelteam att revidera en kort dialogreplik efter en manusändring.

Det här är möjliga fördelar för arbetsflödet, inte uppmätta produktivitetsvinster. I lanseringsinformationen ingår ingen oberoende utvärdering av hur tillförlitligt korrigeringar av enstaka ord bevarar det omgivande ljudet mellan olika röster och accenter eller vid svåra övergångar.

Scener, karaktärer och flerspråkig konsekvens

Drama 3 kan också generera en hel scen med flera talare i ett enda svep. Fish Audio uppger att varje karaktär behåller en tydlig egen röst och svarar utifrån den föregående dialogen. I samband med lanseringen lyfter företaget fram konsekventa karaktärer genom långa manus, språkbyten inom en scen och uttalskontroll på fonemnivå på bland annat engelska, kinesiska, japanska och koreanska.

När det gäller dialog handlar kontinuitet om mer än att känna igen vem som talar. Ett svar måste låta som en fortsättning på den föregående repliken, inte som en orelaterad inspelning som klistrats in i en sekvens. Vid lokalisering måste uttal och karaktärsskildring dessutom hålla även när språket ändras.

Företagets påståenden berör båda problemen, men det praktiska testet är den färdiga scenen: lyssnare ska inte höra abrupta förändringar i röstidentitet eller framförande när talarna byter av varandra, en passage redigeras eller manuset byter språk.

Så passar Drama 3 in i Fish Audios teknik

Det instruktionsbaserade arbetssättet bygger vidare på en forskningsinriktning som Fish Audio redan har beskrivit. Företagets tidigare forskningssläpp av S2 hade stöd för instruktioner på naturligt språk som bäddats in vid specifika ord eller fraser. Företaget beskrev en dubbel autoregressiv arkitektur som skiljer förutsägelser längs ljudets tidslinje från genereringen av finare akustiska detaljer, samt en anpassning med förstärkningsinlärning för begriplighet, följsamhet till instruktioner och röstlikhet.

Det tidigare arbetet ger användbar bakgrund till Fish Audios fokus på styrbart tal. Det fastställer inte Drama 3:s exakta arkitektur: det nya tillkännagivandet hänvisar till en arkitekturförändring, men innehåller inte tillräckligt med detaljer för att slå fast att de två systemen är likvärdiga eller överföra S2:s benchmarkresultat till Drama 3.

För utvecklare listar dokumentationen för text-till-tal-API:t Drama 3 under modellidentifieraren drama-3-preview. Begäranden med flera talare använder en lista med röstidentifierare och talarmarkörer i texten. Ändpunkten har också reglage för hastighet, volym och sampling samt utdataformat som WAV, PCM, MP3 och Opus.

Den offentliga produktsidan och API-dokumentationen beskriver fortfarande Drama 3 som en förhandsversion. Fish Audio uppger att resultaten varierar mellan olika tagningar och att modellen kommer att fortsätta förändras. Produktionsteam bör därför skilja mellan de funktioner som utlovas vid lanseringen och den jämnhet i resultaten som de själva ser i sitt eget material.

Ett produktionsverktyg bedöms utifrån sina revideringar

Fish Audio uppger att tjänsten nu har fler än 15 miljoner användare och att de årliga återkommande intäkterna har nått 21 miljoner dollar. Dessa siffror, som företaget självt har rapporterat, placerar Drama 3 i en bredare plattform med talgenerering, transkribering, röstkloning och kreativa verktyg.

Inför lanseringen uppger företaget att API-användningen får 80 procents rabatt under de första 30 dagarna och att kvalificerade företag som byter röstleverantör får tre månader gratis. Läsare kan besöka Fish Audios prissida för att se aktuella abonnemang och erbjudandevillkor.

Drama 3:s styrka märks tydligast i mötet mellan generering och bearbetning. En övertygande första tagning är användbar; det som gör en röstmodell lättare att passa in i ett produktionsflöde är möjligheten att behålla de lyckade delarna och samtidigt åtgärda de svaga. Med lanseringen sätter Fish Audio den förmågan i centrum för företagets nästa kapitel.