Fish Audio lansează Drama 3 pentru a dirija vocile generate de IA și a edita un singur cuvânt

O replică poate conține toate cuvintele potrivite și totuși să fie interpretată greșit. Pauza vine prea devreme. Un personaj pare încrezător, deși scena cere ezitare. Un singur cuvânt pronunțat greșit compromite o narațiune altfel convingătoare.

Fish Audio își propune să rezolve aceste probleme de producție cu Drama 3, noul său model de sinteză vocală, anunțat pe 13 octombrie. Compania spune că creatorii pot dirija interpretarea folosind limbaj obișnuit, pot genera scene cu mai mulți vorbitori și pot repara un segment ales din materialul audio sintetizat fără a regenera interpretarea din jurul acestuia.

Cea mai importantă funcție ar putea fi cea mai mică modificare: schimbarea unui singur cuvânt, păstrând vocea, atmosfera și ritmul de-o parte și de alta a acestuia. Pentru echipele care produc cărți audio, conținut dublat, jocuri sau drame audio, valoarea unei voci sintetice depinde tot mai mult de ușurința cu care poate fi revizuită.

Dirijarea interpretării vocale

Drama 3 acceptă descrieri ale tonului, ritmului și personajului, inclusiv instrucțiuni care schimbă interpretarea în interiorul unei propoziții. Potrivit anunțului, un pasaj poate începe calm și deveni panicat, fără să fie nevoie de o nouă generare pentru fiecare secțiune cu încărcătură emoțională.

„IA vocală a devenit foarte bună la generarea vorbirii. Următorul pas este dirijarea unei interpretări”, a declarat Rissa Cao, cofondatoare și directoare generală a Fish Audio, în anunțul de lansare.

Pagina publică de previzualizare a Drama 3 a companiei oferă o imagine mai concretă asupra comenzilor disponibile. Utilizatorii pot introduce indicații, sunete și pauze între paranteze drepte sau pot aplica etichete pereche cuvintelor selectate. Astfel, autorul poate limita un efect, precum șoapta, accentuarea sau rostirea mai lentă, la o anumită expresie. Funcția Auto Tag poate, de asemenea, să sugereze indicații inițiale pentru un scenariu, pe care creatorii le pot apoi revizui.

Implicația pentru procesul creativ este clară: scenariul devine atât dialog, cât și un set de indicații de interpretare. Autorii pot lucra în același text editabil la ceea ce vrea să spună un personaj, la locul în care trebuie să inspire și la expresia care merită accentuată.

Retușarea audio: corectarea momentului nereușit

Fish Audio descrie retușarea audio din Drama 3 ca pe o metodă de a selecta o secțiune dintr-o interpretare existentă, de a actualiza indicațiile și de a regenera segmentul respectiv, păstrând sunetul din jur. Cofondatorul și cercetătorul-șef Shijia Liao spune că modelul folosește sunetul de pe ambele părți ale cuvântului editat, astfel încât înlocuirea să se integreze firesc.

Este o sarcină diferită de generarea unei replici de înlocuire izolate. Noul material audio trebuie să se lege de o interpretare deja stabilită: sincronizarea, intonația și identitatea vocală trebuie să rămână credibile la limitele editării.

Să ne imaginăm o producție fictivă de carte audio, în care naratorul citește corect un paragraf, dar pronunță stângaci un nume. O corectare punctuală ar putea păstra interpretarea reușită a restului paragrafului. Aceeași abordare ar putea ajuta o echipă de jocuri să revizuiască o replică scurtă după modificarea scenariului.

Acestea sunt posibile beneficii pentru fluxul de lucru, nu câștiguri de productivitate măsurate. Lansarea nu prezintă o evaluare independentă a fiabilității cu care corectarea unui singur cuvânt păstrează sunetul din jur în cazul diferitelor voci, accente sau tranziții dificile.

Scene, personaje și consecvență multilingvă

Drama 3 permite și generarea dintr-o singură trecere a unei scene complete, cu mai mulți vorbitori. Fish Audio spune că fiecare personaj își păstrează vocea distinctă și răspunde ținând cont de dialogul anterior. La lansare, compania a pus accentul pe consecvența personajelor în scenarii lungi, pe schimbările de limbă din interiorul unei scene și pe controlul pronunției la nivel de fonem în limbi precum engleza, chineza, japoneza și coreeana.

În dialog, continuitatea înseamnă mai mult decât să recunoști cine vorbește. Replica trebuie să sune ca o continuare a celei precedente, nu ca o înregistrare fără legătură, inserată într-o succesiune. În localizare, pronunția și caracterizarea trebuie, de asemenea, să se păstreze la trecerea de la o limbă la alta.

Afirmațiile companiei vizează ambele probleme, însă proba practică va fi scena finalizată: ascultătorii nu ar trebui să audă schimbări bruște de identitate sau de interpretare atunci când se schimbă vorbitorul, se editează un pasaj sau scenariul trece în altă limbă.

Locul Drama 3 în tehnologia Fish Audio

Abordarea care pune indicațiile pe primul plan continuă o direcție de cercetare descrisă anterior de Fish Audio. Versiunea sa anterioară, lansarea de cercetare S2, permitea încorporarea unor instrucțiuni în limbaj natural în anumite poziții ale cuvintelor sau expresiilor. Compania a descris o arhitectură autoregresivă duală, care separă predicția de-a lungul cronologiei audio de generarea detaliilor acustice mai fine, precum și o aliniere prin învățare prin întărire pentru inteligibilitate, respectarea instrucțiunilor și similaritatea vocală.

Acea activitate anterioară oferă un context util pentru interesul Fish Audio față de vorbirea controlabilă. Totuși, ea nu stabilește arhitectura exactă a Drama 3: noul anunț menționează o schimbare arhitecturală, dar nu publică suficiente detalii pentru a considera cele două sisteme echivalente sau pentru a transfera către Drama 3 rezultatele de referință ale S2.

Pentru dezvoltatori, documentația API-ului de conversie a textului în vorbire listează Drama 3 sub identificatorul de model drama-3-preview. Solicitările cu mai mulți vorbitori folosesc o listă de identificatori vocali și marcatori de vorbitor în text. Endpointul oferă și comenzi pentru viteză, volum, eșantionare și formate de ieșire precum WAV, PCM, MP3 și Opus.

Pagina publică a produsului și documentația API descriu în continuare Drama 3 ca versiune de previzualizare. Fish Audio precizează că rezultatele variază de la o generare la alta și că modelul va continua să se schimbe. Prin urmare, echipele de producție ar trebui să distingă între funcționalitățile prezentate la lansare și consecvența pe care o observă în propriile materiale.

Un instrument de producție este evaluat după revizuirile sale

Fish Audio afirmă că deservește acum peste 15 milioane de utilizatori și că a ajuns la venituri recurente anuale de 21 de milioane de dolari. Aceste cifre raportate de companie plasează Drama 3 în cadrul unei platforme mai ample, care cuprinde generarea vorbirii, transcrierea, clonarea vocală și instrumente creative.

Pentru lansare, compania spune că utilizarea API-ului va beneficia de o reducere de 80% în primele 30 de zile, iar întreprinderile eligibile care își schimbă furnizorul de servicii vocale vor primi trei luni gratuite. Cititorii pot consulta pagina de prețuri a Fish Audio pentru planurile actuale și detaliile ofertei.

Propunerea de valoare a Drama 3 este cea mai convingătoare în punctul în care generarea se întâlnește cu revizuirea. O primă variantă reușită este utilă; posibilitatea de a păstra momentele reușite și de a le corecta pe cele slabe face ca modelul vocal să se integreze mai ușor într-un flux de lucru de producție. Lansarea plasează această capacitate în centrul următoarei etape pentru Fish Audio.