data2vec: Merkkipaalu itseohjautuvassa oppimisessa

Koneoppimismallit ovat perinteisesti riippuvaisia merkityistä tiedoista koulutuksessa, ja perinteisesti puhuen, mallien koulutus merkityillä tiedoilla tuottaa tarkkoja tuloksia. Merkittyjen tietojen käytön pääasiallinen haitta on kuitenkin korkeat merkintäkustannukset, jotka nousevat koulutusdatan koosta johtuen. Korkeat merkintäkustannukset ovat suuri este kehittäjille, erityisesti suurten projektijen parissa, joissa on merkittäviä määriä koulutusdataa.

Merkintäongelman ratkaisemiseksi kehittäjät keksivät SSL:n eli itseohjautuvan oppimisen käsitteen. Itseohjautuva oppiminen on koneoppimisprosessi, jossa malli kouluttaa itsensä oppimaan osan syötettä toisesta syötteen osasta . Itseohjautuvan oppimisen malli pyrkii hyödyntämään tietojen välisen suhteen sijaan valvottujen signaalien käyttämistä.

Itseohjautuvan oppimisen lisäksi on olemassa useita muita menetelmiä ja malleja koneoppimismallien kouluttamiseen ilman merkittyjä tietoja. Useimmat näistä menetelmistä kuitenkin ovat kaksi suurta ongelmaa

1. Ne ovat usein erikoistuneet yhteen modaaliseen, kuten kuvaan tai tekstiin.
2. Ne vaativat suuren määrän laskentatehoa.

Nämä rajoitukset ovat suuri ongelma, koska keskivertaisen ihmisen mieli pystyy oppimaan yhdestä tietotyyppiä paljon tehokkaammin verrattuna koneoppimismalliin, joka riippuu eri malleista ja koulutusdatasta erottamaan kuvan, tekstin ja puheen.

Tätä yhden modaalisen ongelmaa vastaan Meta AI julkaisi data2vecin, joka on ensimmäinen laatuaan, itseohjautuva korkean suorituskyvyn algoritmi oppiakseen kuvioita tietoja kolmesta eri modaalista: kuva, teksti ja puhe. Data2vec-algoritmin toteutuksella tekstiymmärrykset voidaan soveltaa kuva-segmentointiongelmaan tai se voidaan käyttää puheentunnistustehtävään.

Tässä artikkelissa perehdytään data2vec-malliin syvemmälle. Käsitellään mallin menetelmä, liittyvät työt, arkkitehtuuri ja tulokset tarkemmin, jotta sinulla on selkeä ymmärrys data2vec-algoritmista.

Data2vec Johdanto: Ydinidea

Vaikka itseohjautuvan oppimisen peruskäsite sovelletaan modaalisten yli, todelliset tavoitteet ja algoritmit eroavat toisistaan, koska ne suunniteltiin yhden modaalisen suhteen. Yhden modaalisen mallin suunnittelu on syy, miksi sama itseohjautuva oppimisalgoritmi ei voi toimia tehokkaasti erilaisilla koulutusdatatyypeillä.

Yhden modaalisen mallien ja algoritmien haasteen voittamiseksi Meta AI julkaisi data2vecin, joka käyttää samaa oppimismenetelmää joko tietokoneen näön, NLP:n tai puheen kanssa.

Data2vec-algoritmin taustalla oleva ydinidea on käyttää syötteen maskattua näkymää ennustamaan latenttisia edustuksia koko syötedatasta itse-tilan avulla standardin Transformer-arkkitehtuurin avulla. Sen sijaan, että modaalikohtaisia objekteja, kuten kuvia, tekstejä tai ääniä, jotka ovat paikallisia luonteeltaan, data2vec-algoritmi ennustaa latenttisia edustuksia, jotka sisältävät tietoa koko koulutusdatasta.

Miksi tekoälyteollisuudelle tarvitaan data2vec-algoritmi?

Itseohjautuvat oppimismallit rakentavat koulutusdatan edustuksia käyttäen inhimillisiä annotaatioita, ja se on yksi tärkeimmistä syistä NLP:n ja tietokoneen näön edistymiseen. Nämä itseohjautuvat oppimisedustukset ovat syy, miksi tehtävät kuten puheentunnistus ja koneoppiminen käyttävät valvomattomia oppimismalleja.

Tähän asti nämä itseohjautuvat oppimisalgoritmit keskittyvät yksittäisiin modaalisiin, mikä johtaa oppimisvienneisiin ja tiettyihin suunnittelumalleihin. Yksittäisen modaalisen itseohjautuvan oppimisen algoritmit luovat haasteita erilaisissa tekoälysovelluksissa, mukaan lukien tietokoneen näkö ja NLP.

Esimerkiksi puheen prosessoinnissa on sanastoa puheyksiköistä, jotka voivat määritellä itseohjautuvan oppimistehtävän NLP:ssä. Vastaavasti tietokoneen näössä kehittäjät voivat joko regressoida syötettä, oppia diskreettejä visuaalisia tokenien tai oppia edustuksia, jotka ovat invariantteja tietojen muokkaukselle. Vaikka nämä oppimisviat ovat hyödyllisiä, on vaikea vahvistaa, voivatko nämä viat yleistyä muihin modaalisiin.

Data2vec-algoritmi on merkittävä askel itseohjautuvan oppimisen teollisuudessa, koska se pyrkii parantamaan useita modaalisiin eikä vain yhtä. Lisäksi data2vec-algoritmi ei riipu syötteen rekonstruktiosta tai kontrastisesta oppimisesta.

Joten syy, miksi maailma tarvitsee data2veciä, on, että data2vec-algoritmi voi kiihdyttää edistystä tekoälyssä ja edistää kehittämistä tekoälymallien, jotka voivat oppia ympäristönsä eri puolista vaivattomasti. Tutkijat toivovat, että data2vec-algoritmi mahdollistaisi sokeammin tekoäly- ja koneoppimismallien kehittämisen, jotka pystyvät suorittamaan edistyneitä tehtäviä, joita nykyiset tekoälymallit eivät pysty tekemään.

Mikä on data2vec-algoritmi?

Data2vec on yhdenmukainen kehys, joka pyrkii toteuttamaan itseohjautuvaa koneoppimista eri tietotyypeissä, mukaan lukien kuvat, puhe ja teksti.

Data2vec-algoritmi pyrkii kehittämään koneoppimismalleja, jotka voivat oppia yleisiä kuvioita ympäristössä paremmin pitämällä oppimistavoitteet yhdenmukaisina eri modaalisten yli. Data2vec-malli yhdenmukaisee oppimisalgoritmin, mutta se oppii edustuksia kullekin modaalille erikseen.

Data2vec-algoritmin julkaisun myötä Meta AI toivoo, että se tekee monimodaalisen oppimisen tehokkaammaksi ja yksinkertaisemmaksi.

Miten data2vec-algoritmi toimii?

Data2vec-algoritmi yhdistää latenttisten kohde-edustusten oppimisen maskattujen ennusteiden kanssa, vaikka se käyttää useita verkkoalueita kohde-edustusten yleistämiseen. Malli kouluttaa erillisen Transformer-verkon , jota käytetään joko opettaja- tai oppilas- tilassa.

Opettajan tilassa malli ensin rakentaa syötteen edustukset, jotka toimivat kohde-edustuksina oppimistehtävässä. Oppilaan tilassa malli koodaa maskatun version syötetystä, josta tehdään ennusteita koko syötteen edustuksista.

Yllä oleva kuva edustaa, miten data2vec-malli käyttää samaa oppimisprosessia eri modaalisten kanssa. Ensimmäisessä vaiheessa malli tuottaa syötteen edustukset (opettajan tila). Sitten malli regressoi nämä edustukset maskatun version syötetystä perusteella.

Lisäksi, koska data2vec-algoritmi käyttää syötteen latenttisia edustuksia, se voidaan nähdä yksinkertaisempana versiona modaalikohtaisista suunnittelumalleista, kuten luomalla sopivia kohde-edustuksia normalisoiden syötettä tai oppimalla kiinteä joukko visuaalisten tokenien. Mutta tärkeä eroavaisuus data2vecin ja muiden algoritmien välillä on, että data2vec-algoritmi käyttää itsehuomiota tekemään kohde-edustuksensa kontekstualisoituneiksi ja jatkuviksi. Toisaalta muut itseohjautuvat oppimismallit käyttävät kiinteää joukkoa kohde-edustuksia, jotka perustuvat paikalliseen kontekstiin.

Data2vec: Mallin Menetelmä

Data2vec-malli koulutetaan ennustamaan mallin edustuksia syötetystä, josta annetaan osittainen näkymä. Kuten voit nähdä annetussa kuvassa, koiran kasvoja on maskattu, tietty osa äänen muistiinpanoa on maskattu ja sana “with” on maskattu tekstissä.

Malli koodaa ensin maskatun version koulutusnäytteestä (oppilaan tila), ja sitten koodaa maskaamattoman version syötetystä rakentamaan koulutuskohde-edustuksia samalla mallilla, mutta vain, kun se on parametrisona eksponentiaalisen keskiarvon mallipainoista (opettajan tila). Lisäksi kohde-edustukset koodaavat tiedon koulutusnäytteestä, ja oppilaan tilassa oppimistehtävänä on ennustaa nämä edustukset, kun annetaan osittainen näkymä syötetystä.

Mallin Arkkitehtuuri

Data2vec-malli käyttää standardin Transformer-arkkitehtuuria modaalikohtaisella koodauksella syötetystä. Kuvien käsittelyssä malli käyttää ViT-strategiaa koodatakuville 16×16 pikselin kokoisina, ja jokainen kuva esitetään 196 edustuksena, ja syötetään standardi-Transformeriin.

Lisäksi puheentunnistuksen datan käsittelyssä malli koodaa datan monikerroksisella 1-D konvoluutioverkkorakenteella, joka kartoittaa 16 kHz aaltoalueet 50 Hz edustuksiin. Tekstin käsittelyssä malli esikäsittelee datan poistamaan sub-sanayksiköitä, ja sitten upottaa datan jakautuneeseen avaruuteen upottamisvektoreiden avulla.

Maskaus

Kun malli koodaa syötetystä tokenien sarjaksi, malli maskaa osia näistä yksiköistä korvaamalla ne upottamistokeneilla, ja sitten syöttää sarjan Transformer- verkkoon. Kuvien käsittelyssä malli harjoittaa lohko-kohtaisen maskausstrategiaa. Latenttiset puhe-edustukset käytetään maskataksesi äänen aikajaksoja, ja kielikohtaisissa tehtävissä tokenit maskataan.

Koulutuskohde-edustukset

Data2vec-malli pyrkii ennustamaan mallin edustuksia maskaamattomasta koulutusnäytteestä, joka on alun perin syötetty malliin. Malli ennustaa edustuksia vain maskattujen aikajaksojen osalta.

Malli ennustaa kontekstualisoituneita edustuksia , jotka koodaavat sekä tietyn aikajakson että muun tiedon näytteestä, koska se käyttää itsehuomiota Transformer-verkossa. Kontekstualisoituneet edustukset ja Transformer-verkon käyttö erottavat data2vec-mallin olemassa olevista BERT, wav2vec, BEiT, SimMIM, MAE ja MaskFeat -malleista, jotka ennustavat kohde-edustuksia ilman kontekstualista tietoa.

Tässä on, miten data2vec-malli parametrisee opettajan tilan ennustamaan verkkoedustuksia, jotka toimivat kohde-edustuksina.

Opettajan Parametrisointi

Data2vec-malli parametrisee maskaamattoman koulutusnäytteen koodauksen käyttäen EMA:ta (eksponentiaalista liukuvaa keskiarvoa) mallipainoista (θ), jossa opettajan painot (△) ovat seuraavat

                                           ∆ ← τ∆ + (1 − τ ) θ

Lisäksi malli ajoittaa τ:ta, joka lisää parametria lineaarisesti τ0:sta τe:hen (kohdearvo) ensimmäisten τn:n päivitysten aikana. Päivitysten jälkeen malli pitää arvon vakiona, kunnes koulutus on valmis. EMA-strategian käyttäminen päivittää opettajaa useammin alussa, kun malli on satunnainen. Kun koulutus etenee ja hyvät painot on opittu, opettaja päivitetään vähemmän usein.

Tulokset osoittavat, että malli on tehokkaampi ja tarkempi, kun se jakaa piirrustus- ja asemapiirrustuskoodejien parametreja opettajan ja oppilaan tilan välillä.

Kohde-edustukset

Koulutuskohde-edustusten rakentaminen riippuu opettajan verkon yläosan K lohkosta aikajaksoille, jotka on maskattu oppilaan tilassa. Opettajan verkon l lohkon tulostus aikajaksolla t on merkittynä a l t. Sitten malli soveltaa normalisointia kullekin lohkolle saadakseen âl t ennen kuin se keskiarvoistaa yläosan K lohkot

saadakseen koulutuskohde-y t aikajaksolle t verkolla, jossa on L lohkot yhteensä.

Se luo koulutuskohde-edustuksia, joita malli regressoi, kun se on oppilaan tilassa. Alkuvaiheen kokeissa data2vec-malli toimi hyvin ennustamalla kunkin lohkon erikseen omalla projektiolla, ja se oli samalla tehokkaampi.

Lisäksi kohde-edustusten normalisointi mahdollistaa data2vec-mallille välttämisen edustusten romahdus jatkuviin edustuksiin aikajaksoille, ja estää kerrosten hallitsemisen edustuksilla kohde-aineistossa. Puheentunnistuksessa malli käyttää instanssinormaalia nykyiselle syötteenä ilman opittuja parametreja. Se johtuu siitä, että aste syötteen datassa on pieni, ja läheiset edustukset ovat voimakkaasti korrelavoituneita.

Lisäksi tutkijat totesivat, että työskennellessä tietokoneen näön ja NLP:n kanssa, parametriltaan normaali muokkaus tekee työn tarpeeksi hyvin, eikä se vaadi lisäparametreja. Ongelma voidaan myös ratkaista Variance-Invariance-Covariance- sääntelyllä, mutta yllä mainittu strategia toimii tarpeeksi hyvin, eikä se vaadi lisäparametreja.

Tavoite

Kontekstualisoituneille koulutuskohde-y t:lle malli käyttää Sileää L1 -häviötä regressoimaan kohde-edustuksia seuraavasti

Tässä β on siirtymisen hallinnassa neliöisen häviön ja L1-häviön välillä, ja se riippuu voimakkaasti aukon koon välillä mallin ennuste f t (x) aikajaksolla t. Tämän häviön etu on, että se on vertailukelpoisesti vähemmän herkkä poikkeuksille, ilman β:n säätämistarpeita.

Kokeellinen Asettelu

Data2vec-malli kokeillaan kahdella mallikoolle: data2vec Large ja data2vec Base. Numerisen stabiilisuuden vuoksi EMA-päivitykset tehdään fp32: ssä, ja malleissa on L= 12 tai L= 24 Transformer-lohkot piiloparametreilla (H) = 768 tai H= 1024. Katsotaan tarkemmin kokeellista asettelua eri modaalisten ja tarkoituksen mukaisesti.

Tietokoneen Näkö

Data2vec-malli koodaa kuvat 224×224 pikselinä 16×16 pikselin kokoisina kuville, joista jokainen kuva muunnetaan lineaarisesti, ja 196 edustuksen sarja syötetään standardi-Transformeriin.

Malli seuraa BEiT :tä maskataksesi lohkoja, joissa on vierekkäisiä kuvia, joista jokainen lohko sisältää vähintään 16 kuvausta satunnaisella suhteella. Kuitenkin toisin kuin alkuperäisessä BEiT-mallissa, data2vec-malli maskaa 60%: n kuvalohkoista paremman tarkkuuden vuoksi.

Lisäksi malli satunnaistaa kuva-alueita, kääntää vaakasuoraan ja väri-vaikutusta. Lopulta data2vec-malli käyttää samaa muutettua kuvaa sekä opettajan että oppilaan tilassa.

ViT-B-mallit esikoulutetaan 800 episodille, ja data2vec-malli käyttää erän kokoa 8,192: ta ViT-L-mallille ja 2,048: ta ViT-B-mallille. Data2vec-malli käyttää myös kosmiista ja Adam-ajoitusta yhden syklin kanssa lämmittääkseen oppimisnopeuden 80 episodille 0,001: een ViT-L: lle ja 40 episodille 0,001: een ViT-B: lle.

Molemmille ViT-B: lle ja ViT-L: lle data2vec-malli käyttää β = 2, K = 6 ja τ = 0,9998: aa vakiona ilman aikataulua. Malli käyttää myös stokastista syvyyttä 0,2.

Lisäksi ViT-L: lle malli koulutetaan 1,600 episodille, joista ensimmäiset 800 episodia ovat oppimisnopeudella 0,9998, ja sitten malli nollaa oppimisnopeuden aikataulun ja jatkaa loppua 800 episodia oppimisnopeudella 0,9999.

Kuvien luokitteluun malli käyttää keskiarvoa viimeisen Transformer-lohkon tuloksesta, ja syöttää sen softmax-normalisoituun luokitteluun. Sitten malli hienosäätää ViT-L: n 50 episodille ja ViT-B: n 100 episodille käyttäen kosmiista ja Adamia lämmittääkseen oppimisnopeuden.

Puheen Prosessointi

Puheen prosessoinnissa data2vec-malli käyttää Fairseq:ia, joka on sarjamallin koulutuskiti yhteenvetoon, käännökseen ja tekstin generointiin. Malli ottaa 16 kHz aaltoalueen syötteenä, joka prosessoidaan piirrustuskoodejilla, joka sisältää aikaisia konvoluutioita 512 kanavilla, ydinleveydet (10,3,3,3,3,2,2) ja askelkoot (5,2,2,2,2,2,2).

Yllä olevat tulokset johtavat siitä, että koodauskojeen tulostus on 50 Hz, ja siinä on 20 ms väli kussakin näytteessä. Ottimen vastaanottokenttä käsittää 400 syötteenäytettä tai 25 ms ääntä. Raaka aalto, joka syötetään koodauskojeelle, on normalisoitu yhden varianssiin ja nollaan keskiarvoon.

Maskausstrategia, jota data2vec käyttää Base-mallissa, muistuttaa Baevskin kehystä itseohjautuvassa oppimisessa puheentunnistuksessa. Malli ottaa p = 0,065 kaikille aikajaksoille aloitusindekseiksi, ja merkitsee seuraavat kymmenen aikajaksoa. Tyypilliselle koulutusjaksolle tämä prosessi sallii noin 49%: n koko aikajaksojen määrästä maskattavaksi.

Koulutuksen aikana data2vec-malli lineaarisesti anneaa τ: ta käyttäen τo = 0,999, τe = 0,9999, ja τn = 30,000. Data2vec-malli käyttää Adam-optimointia huipun oppimisnopeudella 5×10-4 Base-mallille. Lisäksi Base-malli käyttää tri-vaiheen aikataulua, joka lämmittää oppimisnopeuden lineaarisesti ensimmäisten 3%: n päivitysten aikana, ylläpitää sitä seuraavien 90%: n ajan, ja sitten laskee sen lineaarisesti loppuvuoden 7%: ssä.

Luonnollinen Kielen Prosessointi

Luonnollisen kielen prosessoinnissa data2vec-malli käyttää 50K-tyypin bittiparitehtä, ja sitten malli oppii upottamisen kullekin tyypille. Kun data on koodattu, malli soveltaa BERT-maskauksen 15%: lle yhdenmukaisesti valituille tokeneille, joista 80%: lle korvataan opitulla maskitokeneilla, 10%: lle satunnaisten sanastotokeneilla ja loput 10%: lle muutetaan muutoin.

Esikoulutuksen aikana malli käyttää τo = 0,999, τe = 0,9999, ja τn = 100,000, K= 10, ja β = 4. Malli käyttää Adam-optimointia tri-vaiheen oppimisnopeuden aikataululla, joka lämmittää oppimisnopeuden lineaarisesti ensimmäisten 5%: n päivitysten aikana, ylläpitää sitä seuraavien 80%: n ajan, ja sitten laskee sen lineaarisesti loppuvuoden 15%: ssä, huipun oppimisnopeuden ollessa 2×10-4.

Lisäksi malli koulutetaan 16 GPU: llä, erän koko on 256 jaksoa, ja kussakin jaksossa on noin 512 tokenia. Laskennan aikana malli koulutetaan neljällä eri oppimisnopeudella: 1×10-4, 2×10-4, 3×10-4, 4×10-4, ja valitaan paras suorituskyky laskennan jälkeen NLP: n laskennan tehtäville.

Tulokset

Katsotaan, miten data2vec-malli suoriutuu, kun se toteuttaa yllä mainittuja strategioita eri modaalisten kanssa.

Tietokoneen Näkö

Tietokoneen näön tuloksia arvioidaan esikouluttamalla data2vec-mallia kuvista, jotka on saatu ImageNet-1K- aineistosta. Tuloksena oleva malli hienosäätetään merkityillä tiedoilla samasta vertailuaineistosta. Kuten on tavallista, malli arvioidaan validointidatassa ylin tarkkuuden perusteella.

Tulokset ovat eritelty yhden itseohjautuvan mallin perusteella, ja koulutetaan erillistä visuaalista tokenoijaa lisäaineistoon tai muihin itseohjautuviin oppimismalleihin.

Alla oleva taulukko vertaa data2vec-mallin suorituskykyä tietokoneen näössä ja muiden olemassa olevien mallien kanssa: ViT-L ja ViT-B.

Yllä olevan taulukon tulokset voidaan tiivistää seuraavasti.

• Data2vec-malli suoriutuu aiemmasta työstä paremmin sekä ViT-L- että ViT-B-malleilla yksittäisessä malliasetelussa.
• Maskattu ennustusasettelu, jota data2vec-algoritmi käyttää, ennustaa kontekstualisoituneita latenttisia edustuksia, suoriutuu paremmin kuin menetelmät, jotka ennustavat paikallisia kohde-edustuksia, kuten kuvapiirteiden insinöörit, syötteen pikselit tai visuaaliset tokenit.
• Data2vec-malli suoriutuu myös paremmin kuin itse-tilan menetelmät, jotka regressoivat oppilasverkon lopullista kerrosta, kun otetaan kaksi eri kuvan muokkausta syötteenä.

Ääni- ja Puheen Prosessointi

Puheen ja äänen prosessoinnissa data2vec-malli koulutetaan noin 960 tunnin äänen aineistosta, joka on saatu Librispeech (LS-960) aineistosta. Aineisto sisältää puhdasta ääntä äänikirjoista englanniksi, ja se on käsitelty standardina puheen ja äänen prosessoinnin teollisuudessa.

Arvioidakseen mallin suorituskykyä eri resurssiasetuksissa, tutkijat ovat hienosäätäneet data2vec-mallia käyttämään eri määriä merkittyjä tietoja (muutamasta minuutista useisiin tuntiin) automaattiselle puheentunnistukselle. Arvioidakseen mallin suorituskykyä, data2vec vertaillaan HuBERT ja wav2vec 2.0 :iin, jotka ovat kaksi suosituinta algoritmia äänen ja puheen edustusten oppimiseen, jotka riippuvat diskreeteistä puheyksiköistä.

Yllä oleva taulukko vertaa data2vec-mallin suorituskykyä puheentunnistuksessa sanavirheen osalta muihin olemassa oleviin malleihin. LM edustaa kielen mallia, jota käytetään dekoodaukseen. Tulokset voidaan tiivistää seuraavasti.

• Data2vec-malli osoittaa parannuksia useimmissa merkittyjen tietojen asetuksissa, suurimman hyödyn ollessa 10 minuutin merkittyjä tietoja Base-malleille.
• Isoissa malleissa malli suoriutuu merkittävästi paremmin pienillä merkittyjen tietojen aineistoissa, ja suorituskyky on vertailukelpoinen resursirikkailla aineistoilla, joissa on yli 100 ja 960 tuntia merkittyjä tietoja. Se johtuu siitä, että suorituskyky yleensä tyyntyy resursirikkailla aineistoilla useimmissa malleissa.
• Tulosten analyysin perusteella voidaan päätellä, että kun malli käyttää rikkaampia kontekstualisoituneita kohde-edustuksia, ei ole välttämätöntä oppia diskreettejä yksiköitä.
• Kontekstualisoituneiden kohde-edustusten oppiminen koulutuksen aikana parantaa suorituskykyä merkittävästi.

Lisäksi vahvistamaan data2vecin lähestymistapaa puheentunnistuksessa malli koulutetaan AudioSet- aineistoon. Vaikka esikoulutusasettelu AudioSetissa on samanlainen kuin Librispeechissa, malli koulutetaan K= 12: lle ja yli 200 000 päivityksellä, jossa kunkin erän koko on 94,5 minuuttia.

Malli soveltaa sitten DeepNorm- kehyksen ja kerroksen normalisoinnin kohde-edustuksiin avustamaan koulutuksen stabilisoinnissa. Lisäksi malli hienosäätetään tasapainotetuilla alijoukoilla, erän koko on 21,3 minuuttia, 13k päivityksellä. Malli käyttää myös Lineaarista Softmax- poolausta ja sekoitusta todennäköisyydellä 0,7. Sitten malli lisää yksittäisen lineaarisen projektiivisen 527 yksilölliseen äänen luokkaan, ja asettaa projektion oppimisnopeuden 2e-4: ksi.

Lisäksi esikoulutetut parametriarvot ovat oppimisnopeudella 3e-5, ja malli käyttää maskausmenetelmiä hienosäätäämään aineistoa. Taulukko alla tiivistää tulokset, ja voidaan nähdä, että data2vec-malli pystyy suoriutumaan vertailukelpoisesta asettelusta samalla hienosäätö- ja esikoulutusdatalla.

Luonnollinen Kieli

Arvioidakseen data2vecin suorituskykyä tekstissä, malli seuraa samaa koulutusasettelua kuin BERT ja esikouluttaa mallin englannin Wikipedia-aineistolla, jossa on yli 1M päivityksiä ja erän koko on 256 jaksoa. Malli arvioidaan GLUE tai yleisen kielen ymmärtämisen arviointi- aineistossa, joka sisältää luonnollisen kielen inference-tehtäviä (MNLI tai monigenren luonnollisen kielen inference), lauseiden samankaltaisuutta (QQP tai Quora Question Pairs benchmark, MRPC tai Microsoft (MSFT ) Research Paragraph Corpus, ja STS-B tai Semanttinen Tekstuaalinen Samankaltaisuus- aineisto), mielipidetutkimusta (SST-2 tai Stanford Sentiment Treebank) ja kieliopin (CoLA).

Lisäksi hienosäätöä varten malli saa merkittyjä tietoja kustakin tehtävästä, ja keskimääräinen tarkkuus ilmoitetaan kehitysaineistojen osalla viidellä hienosäätöajolla. Seuraava taulukko tiivistää data2vec-mallin suorituskykyä NLP-tehtävissä ja vertaa sitä muihin malleihin.

• Yllä oleva data osoittaa, että data2vec-malli suoriutuu paremmin kuin RoBERTa-baseline-malli, koska strategia data2vec-mallissa ei käytä satunnaisia kohde-edustuksia.
• Data2vec-malli on ensimmäinen onnistunut esikoulutettu NLP-malli, joka ei käytä diskreettejä yksiköitä, kuten merkkejä, sanoja tai sub-sanoja, koulutuskohteina. Sen sijaan data2vec-kehys ennustaa kontekstualisoituneita latenttisia edustuksia koko maskaamattoman tekstijakson yli.
• Se auttaa luomaan oppimistehtävän, jossa malli vaaditaan ennustamaan kohde-edustuksia, joilla on tiettyjä ominaisuuksia nykyisestä jaksosta, sen sijaan, että ennustetaan edustuksia, jotka ovat yleisiä jokaiselle tekstiyksikölle tietyn diskreetin ominaisuuden kanssa.
• Lisäksi koulutuskohteen joukko ei ole kiinteä, ja malli on vapaa määritelmään uusia kohde-edustuksia, ja se on avoin sanastoon.

Data2vec: Poistotutkimus

Poisto on termi, joka määrittelee komponentin poistamisen tekoäly- ja ML- järjestelmissä. Poistotutkimus on tutkimus, jossa tutkitaan tekoäly- tai ML- mallin suorituskykyä poistamalla tiettyjä avainkomponentteja mallista, mikä mahdollistaa tutkijoiden ymmärtämisen komponentin panoksen koko järjestelmään.

Kerrosten Keskivertaiset Kohde-edustukset

Tärkeä ero data2vec ja muiden itseohjautuvien oppimismallien välillä on, että data2vec-malli käyttää kohde-edustuksia, jotka perustuvat useiden kerrosten keskiarvoon opettajan verkkorakenteessa. Idea perustuu siihen, että wav2vec 2.0-mallin yläosan kerrokset eivät suoriudu hyvin alimpien kerrosten verrattuna laskennan tehtävissä.

Seuraavassa kokeessa mitataan kaikkien kolmen modaalisen suorituskykyä keskiarvoistamalla K= 1, 2, …, 12 kerrosta, missä K= 1 ennustaa vain yläosan. Kuitenkin nopean käännöksen vuoksi data2vec kouluttaa Base-mallin 12 kerroksella yhteensä. Puheentunnistuksessa malli koulutetaan yli 200 000 päivityksellä Librispeech-aineistolla, ja sitten hienosäätetään 10 tunnin merkittyyn jakoon Libri-light-aineistosta. NLP: ssä malli ilmoittaa keskimääräisen GLUE-tuloksen validointijoukon osalta, ja kouluttaa mallin 300 episodille tietokoneen näön osalta, ja ilmoittaa ylin tarkkuuden, jonka saadaan ImageNet- aineistosta.

Yllä oleva kuva osoittaa, että kerrosten keskiarvo yleensä parantaa, kun vain yläosa K=1 käytetään kaikissa modaalissa. Käyttäminen kaikkia saatavilla olevia kerroksia on hyvä käytäntö, koska neuroverkot rakentavat ominaisuuksia eri tyyppisistä ominaisuuksista, ja useista kerroksista, jotka voidaan poistaa ominaisuuskerroksina.

Kerrosten käyttäminen useista kerroksista auttaa parantamaan tarkkuutta ja rikastuttaa itseohjautuvan oppimisprosessin.

Kohde-edustusten Tyyppi

Transformer-lohkot data2vec-mallissa sisältävät useita kerroksia, jotka voivat toimia kohde-edustuksina. Tutkimaan, miten eri kerrokset vaikuttavat suorituskykyyn, malli koulutetaan Librispeech-puheen malleilla, jotka käyttävät eri kerroksia kohde-edustusten ominaisuuksina.

Yllä oleva kuva osoittaa selvästi, että syötteen eteenpäin verkon tulostus toimii hyvin, kun taas itsehuomion lohkojen tulostus ei johtanut toimivaan malliin.

Kohde-edustusten Kontekstualisointi

Opettajan edustukset data2vec-mallissa käyttävät itsehuomiota koko syötteen yli tuottamaan kontekstualisoituneita kohde-edustuksia. Se erottaa data2vecin muista itseohjautuvista oppimismalleista, jotka rakentavat oppimistehtävän rekonstruoimalla tai ennustamalla paikallisia osia syötetystä. Se asettaa kysymyksen: vaativatko data2vec-mallit kontekstualisoituneita kohde-edustuksia toimiakseen hyvin?

Vastatakseen kysymykseen tutkijat rakentavat kohde-edustuksia, jotka eivät pääse koko syötteen aineistoon, vaan vain ennalta määrättyyn osaan. Sitten malli rajoittaa opettajan itsehuomio-mekanismia, joka sallii sen pääsyn vain osaan ympäröivää ympäristön syötettä. Kun malli on koulutettu, se hienosäätetään päästäkseen koko kontekstin.

Yllä oleva kuva osoittaa, että suuremmat kontekstikoot usein johtavat parempaan suorituskykyyn, ja kun koko syöte-aineisto on näkyvissä, se antaa parhaimman tarkkuuden. Se osoittaa myös, että rikkaammat kohde-edustukset voivat johtaa parempaan suorituskykyyn.

Modaalikohtaiset Piirrustuskojeet ja Maskaus

Data2vecin pääasiallinen tavoite on suunnitella yksinkertainen oppimismekanismi, joka voi toimia eri modaalisten kanssa. Se on järkevää, että kehykset toimivat pääasiassa yhden modaalisen kanssa, koska syötteen luonteen ominaisuudet vaihtelevat suuresti toisistaan. Esimerkiksi puheentunnistusmallit käyttävät korkearesoluutioista syötettä (kuten 10 kHz aaltoaluetta), joka sisältää tuhansia näytteitä. Aaltoalue prosessoidaan sitten kehyksen avulla monikerroksisella konvoluutioverkkorakenteella saadakseen 50 Hz edustusjoukkoja.

Rakenteelliset ja Kontekstualisoituneet Kohde-edustukset

Pääasiallinen eroavaisuus data2vec ja muiden maskattujen ennustusmallejen välillä on, että data2vec-mallissa koulutuskohteiden ominaisuudet ovat kontekstualisoituneita. Nämä ominaisuudet rakennetaan opettajan itsehuomion avulla koko maskattua syötettä opettajan tilassa.

Jotkut muut kehykset, kuten BYOL (Bootstrap Your Own Latent) tai DINO, käyttävät myös latenttisia edustuksia, kuten data2vec, mutta niiden pääasiallinen tavoite on oppia muunnosinvariantteja edustuksia.

Loppukommentit

Viimeaikaiset tutkimukset tekoäly- ja ML- teollisuudessa ovat osoittaneet, että yhdenmukaiset mallirakenteet voivat olla tehokas lähestymistapa useiden modaalisten käsittelyyn. Data2vec-malli käyttää itseohjautuvaa oppimismenetelmää työskennellessä kolmen modaalisen kanssa: puhe, kuvat ja kieli.

Data2vec-mallin avainidea on käyttää osittaisen syötteen näkymää regressoimaan kontekstualisoituneita tietoja tai syötettä. Data2vec-kehys on tehokas, koska se suoriutuu paremmin kuin aiemmat itseohjautuvat oppimismallit ImageNet-1K- aineistossa sekä ViT-B- että ViT-L-yksittäisissä malleissa.

Data2vec on todella merkittävä askel itseohjautuvan oppimisen teollisuudessa, koska se osoittaa, että yksinkertainen oppimismenetelmä useiden modaalisten oppimiseen voi tehdä mallien oppimisen helpommaksi modaalisten yli.