LASS eli kielen avulla tehty äänilähteen erottelu on uusi paradigma CASA:lle eli laskennallisen kuulon analyysille, jonka tavoitteena on erottaa kohdeääni ääniseoksesta luonnollisen kielen avulla, joka tarjoaa luonnollisen ja skaalautuvan käyttöliittymän digitaalisille äänitehtäville ja sovelluksille. Vaikka LASS-kehykset ovat edistyneet merkittävästi viime vuosina saavuttaen toivottua suorituskykyä tiettyjen äänilähteiden, kuten musiikki-instrumenttien, osalta, ne eivät pysty erottamaan kohdeääntä avoimessa ympäristössä.

AudioSep on perusrunko, jonka tavoitteena on ratkaista LASS-kehysten nykyiset rajoitukset mahdollistamalla kohdeäänen erottelun luonnollisen kielen avulla. AudioSep-kehyksen kehittäjät ovat kouluttaneet mallia laajasti suurella määrällä suurten multimodaalisten tietojoukkojen avulla ja ovat arvioineet kehyksen suorituskykyä laajalla valikoimalla äänitehtäviä, mukaan lukien musiikki-instrumenttien erottelu, äänitapahtumien erottelu ja puheen parantaminen.

Tässä artikkelissa tullaan syventymään AudioSep-kehyksen toimintaan, ja tarkastelemaan mallin arkkitehtuuria, koulutus- ja arviointitietojoukkoja sekä kehyksen toiminnassa mukana olevia keskeisiä käsitteitä. Aloitaan perusjohdantoon CASA-kehykseen.

CASA, USS, QSS, LASS-kehykset: Perusta AudioSepille

CASA eli laskennallinen kuulon analyysi on kehys, jota kehittäjät käyttävät suunniteltaessa konekuuntelujärjestelmiä, jotka pystyvät havainnoimaan monimutkaisia äänimaisemia samalla tavalla kuin ihmiset havainnoivat ääniä kuulonsa avulla. Äänen erottelu, erityisesti kohdeäänen erottelu, on perustava tutkimusalue CASA-kehyksessä, ja sen tavoitteena on ratkaista “cocktail-ongelma” eli erottaa todelliset ääninauhat yksittäisistä äänilähteistä tai tiedostoista.

Suurin osa äänen erottelua koskevasta työstä on keskittynyt äänilähteiden, kuten musiikin tai puheen, erotteluun. Uusi malli, jota kutsutaan USS:ksi eli yleiseksi äänen erotteluksi, pyrkii erottamaan mielivaltaisia ääniä todellisista ääninauhoista. On kuitenkin haasteellista ja rajoittavaa erottaa jokainen äänilähde ääniseoksesta, koska maailmassa on laaja valikoima erilaisia äänilähteitä, mikä on tärkein syy, miksi USS-menetelmä ei ole käytännöllinen todellisille sovelluksille, jotka toimivat reaaliajassa.

Toimiva vaihtoehto USS-menetelmälle on QSS eli kysymysperusteinen äänen erottelu, joka pyrkii erottamaan yksittäisen tai kohdeäänen ääniseoksesta tietyjen kysymysten perusteella. Tämän ansiosta QSS-kehyksessä kehittäjät ja käyttäjät voivat erottaa haluamansa äänilähteet seoksesta tarpeidensa mukaan, mikä tekee QSS-menetelmästä käytännöllisemmän ratkaisun digitaalisille sovelluksille, kuten multimedia-sisällön muokkaamiselle tai äänien muokkaamiselle.

Lisäksi kehittäjät ovat ehdottaneet QSS-kehyksen laajennusta, LASS-kehyksen eli kielen avulla tehdyn äänilähteen erottelun, joka pyrkii erottamaan mielivaltaisia äänilähteitä ääniseoksesta luonnollisen kielen kuvauksia hyödyntämällä. Koska LASS-kehyksessä käyttäjät voivat erottaa kohdeäänet luonnollisen kielen ohjeiden avulla, se voi tulla voimakkaaksi työkaluksi laajalla soveltamisalueella digitaalisissa äänisovelluksissa.

Vertaillessa perinteisiä ääni- tai visuaaliperusteisia menetelmiä, luonnollisen kielen kuvauksien käyttäminen äänen erotteluun tarjoaa suuremman joustavuuden ja tekee kysymysinformaation hankinnan helpommaksi ja kätevämmäksi. Lisäksi, verrattuna tägiperusteisiin äänen erotteluun, LASS-kehyksessä ei rajoiteta syötteen kysymysten määrää, ja se on joustava ja voidaan yleistää avoimeen ympäristöön.

Alun perin LASS-kehyksessä luotetaan valvottuun oppimiseen, jossa malli koulutetaan merkittyjen ääni- ja tekstipareiden avulla. On kuitenkin ongelma, että merkittyjä ääni- ja tekstipareja on rajallisesti saatavilla. Vähentämään LASS-kehyksen riippuvuutta merkityistä ääni- ja tekstipareista, mallit koulutetaan multimodaalisen valvontaan perustuvalla oppimismenetelmällä. Multimodaalisen valvontatarkoituksena on käyttää multimodaalista kontrastia etukoulutusmallia, kuten CLIP eli kontrastinen kieli- ja kuvaetukoulutusmalli, kehyksen kysymyskooderinä.

CLIP-malli on koulutettu suurella tietojoukolla kuvia ja tekstiä kontrastisen oppimisen avulla, jolloin sen tekstikooderi oppii kartuttamaan tekstikuvauksia semanttiselle tasolle, jota jaetaan visuaalisten edustusten kanssa. AudioSep hyötyy CLIP:n tekstikooderista, koska se voi kouluttaa LASS-malleja tietojoukoista, joissa on runsaasti multimodaalista dataa, ja sallii tekstidatan väärinkäsittelyn nollasoitossa.

AudioSep: Avainkomponentit ja Arkkitehtuuri

AudioSep-kehyksen arkkitehtuuri koostuu kahdesta avainkomponentista: tekstikooderista ja erottelumallista.

Tekstikooderi

AudioSep-kehyksessä käytetään CLIP- tai CLAP-mallin tekstikooderia luonnollisen kielen kysymyksen tekstiedustusten hakemiseen. Syötteenä oleva tekstikysymys koostuu “N” tokenista, jotka käsitellään tekstikooderilla hakemalla tekstiedustukset annetulle kielen kysymykselle.

CLIP-malli on koulutettu suurella tietojoukolla kuvia ja tekstiä kontrastisen oppimisen avulla, jolloin sen tekstikooderi oppii kartuttamaan tekstikuvauksia semanttiselle tasolle, jota jaetaan visuaalisten edustusten kanssa. AudioSep hyötyy CLIP:n tekstikooderista, koska se voi kouluttaa LASS-malleja tietojoukoista, joissa on runsaasti multimodaalista dataa, ja sallii tekstidatan väärinkäsittelyn nollasoitossa.

CLAP-malli toimii samalla tavalla kuin CLIP-malli ja käyttää kontrastista oppimistavoitetta yhdistääkseen äänen ja kielen ääni- ja tekstiedustusten latenttiavaruuteen.

Erottelumalli

AudioSep-kehyksessä käytetään taajuusalueen ResUNet-mallia, jolle syötetään ääniklippejä seoksena erottelurungon avulla. Malli toimii hakemalla kompleksisen spektrografiikan aallonmuodosta STFT:n avulla, josta saadaan magnitudispektrografia ja vaihe.

ResUNet-kooderin ja dekooderin verkkorakenne koostuu 6 residuallohkosta, 6 dekooderilohkosta ja 4 pullonkaulalohkosta. Spektrografia jokaisessa kooderilohkossa käyttää 4 residualkonvoluutiolohkoa alasäätelemään itsensä pullonkaulaominaisuuteen, kun taas dekooderilohkot käyttävät 4 residualdekonvoluutiolohkoa saadakseen erottelukomponentit ylösäätelemällä ominaisuuksia.

AudioSep-kehyksessä käytetään FiLm- eli ominaisuuskohtaisesti lineaarisesti moduloitua kerrosta siltaamaan erottelumalli ja tekstikooderi convolutionaalisien lohkojen käytön jälkeen ResUNetissa.

Koulutus ja Tappio

AudioSep-mallin koulutuksessa kehittäjät käyttävät äänen vahvistamismenetelmää ja kouluttavat AudioSep-kehyksen loppuun asti käyttäen L1-tappiofunktiota maalitiedon ja ennustetun aallonmuodon välillä.

Tietojoukot ja Vertailu

Kuten edellä mainittiin, AudioSep on perusrunko, jonka tavoitteena on ratkaista LASS-mallien nykyinen riippuvuus merkityistä ääni- ja tekstipareista. AudioSep-malli on koulutettu laajalla valikoimalla tietojoukkoja antaakseen sille multimodaalisen oppimiskyvyn, ja tässä on yksityiskohtainen kuvaus tietojoukosta ja vertailusta, joita kehittäjät ovat käyttäneet AudioSep-kehyksen kouluttamiseen.

AudioSet

AudioSet on heikosti merkitty suuri äänitietojoukko, joka koostuu yli 2 miljoonasta 10 sekunnin ääninäytteestä, jotka on poimittu suoraan YouTubesta. Jokainen ääninäyte AudioSet-tietojoukossa on luokiteltu ääniluokkien läsnäolon tai poissaolon perusteella ilman tarkkaa aikaa äänitapahtumista.

AudioSet-tietojoukossa on yli 500 erilaista ääniluokkaa, mukaan lukien luonnonäänet, ihmisen äänet, ajoneuvon äänet ja paljon muuta.

VGGSound

VGGSound-tietojoukko on suuri visuaalinen äänitietojoukko, joka on poimittu suoraan YouTubesta, ja se sisältää yli 200 000 videoklippiä, joista jokainen on 10 sekuntia pitkä. VGGSound-tietojoukko on luokiteltu yli 300 ääniluokkaan, mukaan lukien ihmisen äänet, luonnon äänet, linnun äänet ja paljon muuta.

VGGSound-tietojoukon käyttäminen varmistaa, että äänen tuottava objekti on myös kuvauduttavissa vastaavassa visuaalisessa klipissä.

AudioCaps

AudioCaps on suurin julkinen äänikuvauksen tietojoukko, joka koostuu yli 50 000:sta 10 sekunnin ääniklipistä, jotka on poimittu AudioSet-tietojoukosta. AudioCaps-tietojoukko on jaettu kolmeen luokkaan: koulutusdata, testidata ja validointidata, ja ääniklipit on merkitty ihmisin kuvausten avulla Amazon (AMZN ) Mechanical Turk -alustalla.

Kunkin koulutusdatan ääniklipillä on yksi kuvaus, kun taas testi- ja validointidatassa on viisi maalitietokuvauksen mukaista kuvausta.

ClothoV2

ClothoV2 on äänikuvauksen tietojoukko, joka koostuu klippejä FreeSound-alustalta, ja kuten AudioCaps, jokainen ääniklippi on merkitty ihmisin kuvausten avulla Amazon Mechanical Turk -alustalla.

WavCaps on heikosti merkitty suuri äänitietojoukko, joka koostuu yli 400 000 ääniklipistä ja kuvauksista, ja sen kokonaiskesto on noin 7568 tuntia koulutusdataa.

Koulutusyksityiskohtia

Koulutusvaiheessa AudioSep-malli satunnaisesti ottaa kaksi ääniosaa eri ääniklippeistä koulutusjoukosta ja sekoittaa ne yhteen koulutusseokseksi, jonka pituus on noin 5 sekuntia.

Malli käyttää sitten CLIP- tai CLAP-mallin tekstikooderia tekstiedustusten hakemiseen oletusarvon mukaisella tekstivalvonnalla. Erottelumallissa AudioSep-kehyksessä käytetään ResUNet-kerrosta, joka koostuu 30 kerrosta, 6 kooderilohkoa ja 6 dekooderilohkoa, ja joka muistuttaa arkkitehtuuria, jota käytetään yleisessä äänen erottelussa.

Arviointitulokset

Näkyvillä Tietojoukoilla

Seuraava kuva vertaa AudioSep-kehyksen suorituskykyä näkyvillä tietojoukoilla koulutusvaiheessa, mukaan lukien koulutustietojoukot. Alla oleva kuva edustaa AudioSep-kehyksen vertailuarviointituloksia verrattuna perusjärjestelmiin, mukaan lukien puheen parantamismallit, LASS ja CLIP.

Kuten kuvasta voidaan nähdä, AudioSep-kehyksen suorituskyky on hyvä, kun käytetään äänikuvauksia tai tekstiluokkia syötteenä, ja tulokset osoittavat AudioSep-kehyksen ylivoimaisen suorituskyvyn verrattuna aiempiin vertailumalleihin, kuten LASS- ja ääniin perustuviin äänen erotteluun.

Näkymättömillä Tietojoukoilla

Arvioidakseen AudioSep-kehyksen suorituskykyä nollasoitossa, kehittäjät jatkoivat sen arviointia näkymättömillä tietojoukoilla, ja AudioSep-kehyksen erottelusuorituskyky on vaikuttava nollasoitossa, ja tulokset on esitetty alla olevassa kuvassa.

Lisäksi alla oleva kuva näyttää AudioSep-mallin arviointitulokset Voicebank-Demand-puheen parantamisessa.

AudioSep-kehyksen arviointi osoittaa vahvan ja toivottavan suorituskyvyn näkymättömillä tietojoukoilla nollasoitossa, ja se mahdollistaa äänen operaatioiden suorittamisen uusilla datajakaumilla.

Erottelutulosten Visualisointi

Alla oleva kuva näyttää tulokset, kun kehittäjät käyttivät AudioSep-CLAP-kehyksen visualisointiin spektrografeja kohdeäänten maalitiedoille, ääniseoksille ja erotelluille äänen lähteille tekstikysymyksillä, jotka kuvaavat erilaisia ääniä tai ääniä.

Vertailu Tekstikysymyksillä

Kehittäjät arvioivat AudioSep-CLAP- ja AudioSep-CLIP-mallien suorituskykyä AudioCaps Minillä ja käyttivät AudioSet-tapahtumaluokkia, AudioCaps-kuvauksia ja uudelleen merkittyjä luonnollisen kielen kuvauksia tutkimaan eri kysymysten vaikutusta, ja alla oleva kuva näyttää esimerkin AudioCaps Ministä toiminnassa.

Johtopäätös

AudioSep on perusrunko, joka on kehitetty avoimen alan yleiseksi äänen erotteluksi, joka käyttää luonnollisen kielen kuvauksia äänen erotteluun. Kuten arviointituloksissa havaittiin, AudioSep-kehyksessä voidaan suorittaa nollasoitoksen ja valvomattoman oppimisen erottelutehtäviä käyttämällä äänikuvauksia tai tekstiluokkia syötteenä. AudioSep-kehyksen tulokset ja arviointisuorituskyky osoittavat vahvan suorituskyvyn, joka ylittää nykyiset äänen erotteluun perustuvat kehykset, kuten LASS, ja se voi olla riittävän tehokas ratkaisemaan nykyisten äänen erotteluun perustuvien kehyksien rajoitukset.