Fish Audio julkaisee Drama 3:n tekoälyäänien ohjaamiseen ja yksittäisten sanojen muokkaamiseen

Vuorosanassa voivat olla kaikki oikeat sanat, mutta esitys voi silti olla vääränlainen. Tauko tulee liian aikaisin. Hahmo kuulostaa itsevarmalta, vaikka kohtaus edellyttää epäröintiä. Yksi väärin lausuttu sana rikkoo muuten vakuuttavan kerronnan.

Fish Audio pyrkii ratkaisemaan näitä tuotantohaasteita uudella tekstistä puheeksi -mallillaan Drama 3:lla, jonka se julkisti 13. lokakuuta. Yhtiön mukaan sisällöntuottajat voivat ohjata puheen esitystapaa tavallisella kielellä, luoda usean puhujan kohtauksia ja korjata valitun kohdan synteettisestä äänestä luomatta ympäröivää esitystä uudelleen.

Merkittävin ominaisuus saattaa olla pienin muutos: yhden sanan vaihtaminen niin, että ääni, tunnelma ja rytmi säilyvät sen molemmin puolin. Äänikirjoja, dubattua sisältöä, pelejä tai kuunnelmia tuottaville työryhmille synteettisen äänen arvo riippuu yhä enemmän siitä, kuinka helposti sitä voi muokata.

Ääniesityksen ohjaaminen

Drama 3 ymmärtää sävyä, puhenopeutta ja hahmoa kuvailevia ohjeita, myös sellaisia, jotka muuttavat esitystapaa kesken lauseen. Julkistuksen mukaan katkelma voi alkaa rauhallisesti ja muuttua sitten paniikinomaiseksi, joten jokaista tunnepitoista osuutta varten ei tarvitse luoda uutta äänitettä.

”Puhetta tuottava tekoäly on kehittynyt erittäin hyväksi puheen luomisessa. Seuraava askel on esityksen ohjaaminen”, sanoi Fish Audion perustajiin kuuluva toimitusjohtaja Rissa Cao julkistustiedotteessa.

Yhtiön Drama 3:n julkinen esikatselusivu havainnollistaa ohjausmahdollisuuksia konkreettisemmin. Käyttäjät voivat lisätä ohjeita, ääniä ja taukoja hakasulkeisiin tai liittää tunnistepareja valittuihin sanoihin. Näin kirjoittaja voi rajata tiettyyn ilmaukseen esimerkiksi kuiskauksen, painotuksen tai hitaamman puhetyylin. Auto Tag -ominaisuus voi myös ehdottaa käsikirjoitukseen alustavia ohjeita, joita sisällöntuottajat voivat sen jälkeen muokata.

Luova merkitys on selvä: käsikirjoituksesta tulee sekä vuoropuhelua että joukko esitysohjeita. Kirjoittajat voivat muokata samassa tekstissä sitä, mitä hahmo tarkoittaa, mihin hengenveto sijoittuu ja mitä ilmausta pitää painottaa.

Äänen täydentäminen: epäonnistuneen kohdan korjaaminen

Fish Audion mukaan Drama 3:n äänen täydentämisellä voi valita osan valmiista esityksestä, päivittää ohjeita ja luoda kyseisen kohdan uudelleen niin, että ympäröivä ääni säilyy. Perustajiin kuuluva päätutkija Shijia Liao kertoo, että malli hyödyntää muokattavan sanan molemmin puolin kuuluvaa ääntä, jotta korvaus sopii kokonaisuuteen.

Tämä on eri tehtävä kuin irrallisen korvaavan vuorosanan luominen. Uuden äänen on liityttävä aiempaan esitykseen: ajoituksen, intonaation ja äänen ominaispiirteiden on kaikkien säilyttävä uskottavina muokkauksen rajakohdissa.

Kuvitellaan kuvitteellinen äänikirjatuotanto, jossa kertoja lukee kappaleen muuten oikein mutta painottaa yhtä nimeä kömpelösti. Kohdennetulla korjauksella kappaleen muu onnistunut esitys voisi säilyä ennallaan. Sama menetelmä voisi auttaa pelitiimiä muokkaamaan lyhyttä vuorosanaa käsikirjoitusmuutoksen jälkeen.

Nämä ovat mahdollisia hyötyjä työnkululle, eivät mitattuja tuottavuushyötyjä. Julkaisussa ei esitetä riippumatonta arviota siitä, kuinka luotettavasti yksittäisten sanojen korjaukset säilyttävät ympäröivän äänen eri äänillä, aksenteilla tai vaikeissa siirtymissä.

Kohtaukset, hahmot ja monikielinen yhdenmukaisuus

Drama 3:lla voi myös luoda kokonaisen usean puhujan kohtauksen yhdellä kertaa. Fish Audion mukaan jokaisella hahmolla säilyy omaleimainen ääni, ja hahmo reagoi aiemman vuoropuhelun perusteella. Julkistuksessa korostetaan hahmojen yhdenmukaisuutta pitkissä käsikirjoituksissa, kielen vaihtumista kohtauksen sisällä sekä foneemitason ääntämisen ohjausta muun muassa englanniksi, kiinaksi, japaniksi ja koreaksi.

Vuoropuhelussa jatkuvuus tarkoittaa muutakin kuin sen tunnistamista, kuka puhuu. Vastauksen pitää kuulostaa edeltävän vuorosanan jatkolta, ei irralliselta äänitteeltä, joka on liitetty osaksi sarjaa. Lokalisoinnissa myös ääntämisen ja hahmon luonnehdinnan on säilyttävä kielestä toiseen siirryttäessä.

Yhtiön väitteet koskevat molempia ongelmia, mutta käytännön testi on valmis kohtaus: kuuntelijoiden ei pitäisi kuulla äkillisiä muutoksia äänen identiteetissä tai esitystavassa, kun puhujat vaihtuvat, katkelmaa muokataan tai käsikirjoituksen kieli vaihtuu.

Drama 3:n asema Fish Audion teknologiassa

Ohjeisiin perustuva lähestymistapa jatkaa Fish Audion aiemmin kuvaamaa tutkimustyötä. Yhtiön aiemmassa S2-tutkimusjulkaisussa tuettiin luonnolliskielisiä ohjeita, jotka sijoitettiin tiettyihin sana- tai ilmauskohtiin. Yhtiö kuvaili kaksoisautoregressiivista arkkitehtuuria, joka erottaa ääniaikajanan ennustamisen yksityiskohtaisemman akustisen sisällön tuottamisesta, sekä vahvistusoppimiseen perustuvaa optimointia ymmärrettävyyden, ohjeiden noudattamisen ja äänen samankaltaisuuden parantamiseksi.

Aiempi työ tarjoaa hyödyllistä taustaa Fish Audion painotukselle, jonka mukaan puheen tuottamisen pitää olla hallittavissa. Se ei kuitenkaan vahvista Drama 3:n täsmällistä arkkitehtuuria: uudessa julkistuksessa mainitaan arkkitehtuurin muuttuminen, mutta yksityiskohtia ei julkaista riittävästi, jotta järjestelmät voisi rinnastaa toisiinsa tai S2:n vertailutulokset siirtää Drama 3:een.

Kehittäjille tekstistä puheeksi -rajapinnan dokumentaatiossa Drama 3 on lueteltu mallin tunnisteen alla drama-3-preview. Monipuhujapyynnöissä käytetään tekstin sisällä äänitunnisteiden luetteloa ja puhujamerkintöjä. Päätepisteessä on myös säädöt nopeudelle, äänenvoimakkuudelle ja näytteenotolle sekä tulostusmuodoille, kuten WAV, PCM, MP3 ja Opus.

Julkisella tuotesivulla ja rajapinnan dokumentaatiossa Drama 3:a kuvataan edelleen esikatseluversioksi. Fish Audio kertoo, että tulokset vaihtelevat otosten välillä ja että mallia kehitetään edelleen. Tuotantotiimien kannattaa siksi erottaa julkaisun ominaisuuksia koskevat väitteet siitä, kuinka tasalaatuisena malli toimii niiden omalla materiaalilla.

Tuotantotyökalua arvioidaan sen muokkausmahdollisuuksien perusteella

Fish Audion mukaan sillä on nyt yli 15 miljoonaa käyttäjää ja sen toistuva vuosiliikevaihto on saavuttanut 21 miljoonaa dollaria. Nämä yrityksen ilmoittamat luvut sijoittavat Drama 3:n osaksi laajempaa alustaa, johon kuuluvat puheen tuottaminen, litterointi, äänen kloonaus ja luovat työkalut.

Yhtiö kertoo, että julkaisun yhteydessä rajapinnan käyttöä alennetaan 80 prosentilla ensimmäisten 30 päivän ajan ja että puhepalvelun tarjoajaa vaihtaville ehdot täyttäville yrityksille tarjotaan kolme kuukautta maksutta. Nykyiset paketit ja tarjouksen ehdot voi tarkistaa Fish Audion hinnoittelusivulta.

Drama 3:n vahvuus näkyy parhaiten siinä, missä generointi ja muokkaaminen kohtaavat. Vakuuttava ensimmäinen otos on hyödyllinen, mutta äänimallin sovittamista tuotantotyönkulkuun helpottaa se, että onnistuneet kohdat voidaan säilyttää ja heikot korjata. Julkaisu nostaa tämän ominaisuuden Fish Audion seuraavan vaiheen keskiöön.