AI-mallit ja alustat
data2vec: Merkkipaalu itseohjautuvassa oppimisessa

Keskeiset kohdatMeta AI:n data2vec on ensimmäinen itseohjautuva algoritmi, joka toimii kuvien, tekstin…
Näytä lisää
- Meta AI:n data2vec on ensimmäinen itseohjautuva algoritmi, joka toimii kuvien, tekstin ja puheen parissa.
- Se ennustaa täydellisiä kontekstualisoituja datan esityksiä peilotuista syötteistä käyttäen yhtä Transformeria-arkkitehtuuria.
- Malli välttää muotoiluun liittyviä harhoja käyttämällä yhtenäistä oppimistavoitetta kaikille datatyypeille.
Koneoppimismallit ovat perinteisesti riippuvaisia merkityistä tiedoista koulutuksessa, ja perinteisesti puhuen, mallien koulutus merkityillä tiedoilla tuottaa tarkkoja tuloksia. Merkittyjen tietojen käytön pääasiallinen haitta on kuitenkin korkeat merkintäkustannukset, jotka nousevat koulutusdatan koosta johtuen. Korkeat merkintäkustannukset ovat suuri este kehittäjille, erityisesti suurten projektien parissa, joissa on merkittäviä määriä koulutusdataa.
Merkintäongelman ratkaisemiseksi kehittäjät keksivät SSL:n eli itseohjautuvan oppimisen käsitteen. Itseohjautuva oppiminen on koneoppimisprosessi, jossa malli kouluttaa itsensä oppimaan osan syötettä toisesta syötteen osasta . Itseohjautuvan oppimisen malli pyrkii hyödyntämään tietojen välisiä suhteita sen sijaan, että se käyttäisi merkityn datan ohjaussignaaleja.
Itseohjautuvan oppimisen lisäksi on olemassa useita muita menetelmiä ja malleja koneoppimismallien kouluttamiseen ilman merkittyjä tietoja. Useimmissa näistä menetelmistä on kuitenkin kaksi suurta ongelmaa
- Ne ovat usein erikoistuneet yhteen modaliteettiin, kuten kuvaan tai tekstiin.
- Ne vaativat suuren määrän laskentatehoa.
Nämä rajoitukset ovat suuri ongelma, koska keskivertaisen ihmisen mieli pystyy oppimaan yhdestä tietotyypistä paljon tehokkaammin verrattuna koneoppimismalliin, joka riippuu eri malleista ja koulutusdatasta erottamaan kuvan, tekstin ja puheen.
Tätä yhden modaalisen ongelmaa vastaan Meta AI julkaisi data2vecin, joka on ensimmäinen laatuaan, itseohjautuva korkean suorituskyvyn algoritmi oppimaan tiedon säännönmukaisuuksia kolmesta modaliteetista: kuvista, tekstistä ja puheesta. Data2vec-algoritmin toteutuksella tekstiymmärrykset voidaan soveltaa kuva-segmentointiongelmaan tai se voidaan käyttää puheentunnistustehtävään.
Tässä artikkelissa perehdytään data2vec-malliin syvemmälle. Käsitellään mallin menetelmä, liittyvät työt, arkkitehtuuri ja tulokset tarkemmin, jotta sinulla on selkeä ymmärrys data2vec-algoritmista.
Data2vec Johdanto: Ydinidea
Vaikka itseohjautuvan oppimisen peruskäsite sovelletaan modaalisten yli, todelliset tavoitteet ja algoritmit eroavat toisistaan, koska ne suunniteltiin yhden modaalisen suhteen. Yhden modaalisen mallin suunnittelu on syy, miksi sama itseohjautuva oppimisalgoritmi ei voi toimia tehokkaasti erilaisilla koulutusdatatyypeillä.
Yhden modaalisen mallien ja algoritmien haasteen voittamiseksi Meta AI julkaisi data2vecin, joka käyttää samaa oppimismenetelmää joko tietokoneen näön, NLP:n tai puheen kanssa.
Data2vec-algoritmin taustalla oleva ydinidea on käyttää syötteen maskattua näkymää ennustamaan latenttisia edustuksia koko syötedatasta itsetislausasetelmassa standardin Transformer-arkkitehtuurin avulla. Sen sijaan, että modaalikohtaisia objekteja, kuten kuvia, tekstejä tai ääniä, jotka ovat paikallisia luonteeltaan, data2vec-algoritmi ennustaa latenttisia edustuksia, jotka sisältävät tietoa koko koulutusdatasta.

Miksi tekoälyteollisuudelle tarvitaan data2vec-algoritmi?
Itseohjautuvat oppimismallit rakentavat koulutusdatan esityksiä ilman ihmisten tekemiä luokkamerkintöjä, ja se on yksi tärkeimmistä syistä NLP:n ja tietokoneen näön edistymiseen. Nämä itseohjautuvat oppimisedustukset ovat syy, miksi tehtävät kuten puheentunnistus ja koneoppiminen käyttävät valvomattomia oppimismalleja.
Tähän asti nämä itseohjautuvat oppimisalgoritmit keskittyvät yksittäisiin modaalisiin, mikä johtaa oppimisen induktiivisiin vinoumiin ja tiettyihin suunnittelumalleihin. Yksittäisen modaalisen itseohjautuvan oppimisen algoritmit luovat haasteita erilaisissa tekoälysovelluksissa, mukaan lukien tietokoneen näkö ja NLP.
Esimerkiksi puheen prosessoinnissa on sanastoa puheyksiköistä, jotka voivat määritellä itseohjautuvan oppimistehtävän NLP:ssä. Vastaavasti konenäössä kehittäjät voivat joko regressoida syötettä, oppia diskreettejä visuaalisia tokenien tai oppia edustuksia, jotka ovat invariantteja tietojen muokkaukselle. Vaikka nämä oppimisen induktiiviset vinoumat ovat hyödyllisiä, on vaikea vahvistaa, voivatko nämä vinoumat yleistyä muihin modaalisiin.
Data2vec-algoritmi on merkittävä askel itseohjautuvan oppimisen teollisuudessa, koska se pyrkii parantamaan useita modaalisiin eikä vain yhtä. Lisäksi data2vec-algoritmi ei riipu syötteen rekonstruktiosta tai kontrastisesta oppimisesta.
Joten syy, miksi maailma tarvitsee data2veciä, on, että data2vec-algoritmi voi kiihdyttää edistystä tekoälyssä ja edistää kehittämistä tekoälymallien, jotka voivat oppia ympäristönsä eri puolista vaivattomasti. Tutkijat toivovat, että data2vec-algoritmi mahdollistaisi paremmin sopeutuvien tekoäly- ja koneoppimismallien kehittämisen, jotka pystyvät suorittamaan edistyneitä tehtäviä, joita nykyiset tekoälymallit eivät pysty tekemään.
Mikä on data2vec-algoritmi?
Data2vec on yhdenmukainen kehys, joka pyrkii toteuttamaan itseohjautuvaa koneoppimista eri tietotyypeissä, mukaan lukien kuvat, puhe ja teksti.
Data2vec-algoritmi pyrkii kehittämään koneoppimismalleja, jotka voivat oppia yleisiä kuvioita ympäristössä paremmin pitämällä oppimistavoitteet yhdenmukaisina eri modaalisten yli. Data2vec-malli yhdenmukaisee oppimisalgoritmin, mutta se oppii edustuksia kullekin modaalille erikseen.
Data2vec-algoritmin julkaisun myötä Meta AI toivoo, että se tekee monimodaalisen oppimisen tehokkaammaksi ja yksinkertaisemmaksi.
Miten data2vec-algoritmi toimii?
Data2vec-algoritmi yhdistää latenttisten kohde-edustusten oppimisen maskattujen ennusteiden kanssa, vaikka se käyttää useita verkkokerroksia kohde-edustusten yleistämiseen. Malli kouluttaa erillisen Transformer-verkon , jota käytetään joko opettaja- tai oppilas- tilassa.
Opettajan tilassa malli ensin rakentaa syötteen edustukset, jotka toimivat kohde-edustuksina oppimistehtävässä. Oppilaan tilassa malli koodaa maskatun version syötetystä, josta tehdään ennusteita koko syötteen edustuksista.

Yllä oleva kuva edustaa, miten data2vec-malli käyttää samaa oppimisprosessia eri modaalisten kanssa. Ensimmäisessä vaiheessa malli tuottaa syötteen edustukset (opettajan tila). Sitten malli regressoi nämä edustukset maskatun version syötetystä perusteella.
Lisäksi, koska data2vec-algoritmi käyttää syötteen latenttisia edustuksia, se voidaan nähdä yksinkertaisempana versiona modaalikohtaisista suunnittelumalleista, kuten luomalla sopivia kohde-edustuksia normalisoiden syötettä tai oppimalla kiinteä joukko visuaalisten tokenien. Mutta tärkeä eroavaisuus data2vecin ja muiden algoritmien välillä on, että data2vec-algoritmi käyttää itsehuomiota tekemään kohde-edustuksensa kontekstualisoituneiksi ja jatkuviksi. Toisaalta muut itseohjautuvat oppimismallit käyttävät kiinteää joukkoa kohde-edustuksia, jotka perustuvat paikalliseen kontekstiin.
Data2vec: Mallin Menetelmä
Data2vec-malli koulutetaan ennustamaan mallin edustuksia syötetystä, josta annetaan osittainen näkymä. Kuten voit nähdä annetussa kuvassa, koiran kasvoja on maskattu, tietty osa äänitallenteesta on maskattu ja sana “with” on maskattu tekstissä.

Malli koodaa ensin maskatun version koulutusnäytteestä (oppilaan tila), ja sitten koodaa maskaamattoman version syötetystä rakentamaan koulutuskohde-edustuksia samalla mallilla, mutta vain, kun se on parametrisoitu mallipainojen eksponentiaalisella liukuvalla keskiarvolla (opettajan tila). Lisäksi kohde-edustukset koodaavat tiedon koulutusnäytteestä, ja oppilaan tilassa oppimistehtävänä on ennustaa nämä edustukset, kun annetaan osittainen näkymä syötetystä.
Mallin Arkkitehtuuri
Data2vec-malli käyttää standardin Transformer-arkkitehtuuria modaalikohtaisella koodauksella syötetystä. Kuvien käsittelyssä malli käyttää ViT-strategiaa kuvan koodaamiseen 16 × 16 pikselin paikkojen sarjaksi ja muuntaa jokaisen paikan lineaarisesti.
Lisäksi puheentunnistuksen datan käsittelyssä malli koodaa datan monikerroksisella 1-D konvoluutioverkkorakenteella, joka kartoittaa 16 kHz aaltoalueet 50 Hz edustuksiin. Tekstin käsittelyssä malli esikäsittelee datan erottamaan osasanayksiköitä, ja sitten upottaa datan jakautuneeseen avaruuteen upottamisvektoreiden avulla.
Maskaus
Kun malli koodaa syötetystä tokenien sarjaksi, malli maskaa osia näistä yksiköistä korvaamalla ne upottamistokeneilla, ja sitten syöttää sarjan Transformer- verkkoon. Kuvien käsittelyssä malli harjoittaa lohko-kohtaisen maskausstrategiaa. Latenttiset puhe-edustukset käytetään maskataksesi äänen aikajaksoja, ja kielikohtaisissa tehtävissä tokenit maskataan.
Koulutuskohde-edustukset
Data2vec-malli pyrkii ennustamaan mallin edustuksia maskaamattomasta koulutusnäytteestä, joka on alun perin syötetty malliin. Malli ennustaa edustuksia vain maskattujen aikajaksojen osalta.
Malli ennustaa kontekstualisoituneita edustuksia , jotka koodaavat sekä tietyn aikajakson että muun tiedon näytteestä, koska se käyttää itsehuomiota Transformer-verkossa. Kontekstualisoituneet edustukset ja Transformer-verkon käyttö erottavat data2vec-mallin olemassa olevista BERT, wav2vec, BEiT, SimMIM, MAE ja MaskFeat -malleista, jotka ennustavat kohde-edustuksia ilman kontekstualista tietoa.
Tässä on, miten data2vec-malli parametrisee opettajan tilan ennustamaan verkkoedustuksia, jotka toimivat kohde-edustuksina.
Opettajan Parametrisointi
Data2vec-malli parametrisee maskaamattoman koulutusnäytteen koodauksen käyttäen EMA:ta (eksponentiaalista liukuvaa keskiarvoa) mallipainoista (θ), jossa opettajan painot (△) ovat seuraavat
∆ ← τ∆ + (1 − τ ) θ
Lisäksi malli ajoittaa τ:ta, joka lisää parametria lineaarisesti τ0:sta τe:hen (kohdearvo) ensimmäisten τn:n päivitysten aikana. Päivitysten jälkeen malli pitää arvon vakiona, kunnes koulutus on valmis. EMA-strategian käyttäminen päivittää opettajaa useammin alussa, kun malli on satunnainen. Kun koulutus etenee ja hyvät painot on opittu, opettaja päivitetään vähemmän usein.
Tulokset osoittavat, että malli on tehokkaampi ja tarkempi, kun se jakaa piirrekoodaimen ja positiokoodaimen parametreja opettajan ja oppilaan tilan välillä.
Kohde-edustukset
Koulutuskohde-edustusten rakentaminen riippuu opettajan verkon yläosan K lohkosta aikajaksoille, jotka on maskattu oppilaan tilassa. Opettajan verkon l lohkon tulostus aikajaksolla t on merkittynä a l t. Sitten malli soveltaa normalisointia kullekin lohkolle saadakseen âl t ennen kuin se keskiarvoistaa yläosan K lohkot

saadakseen koulutuskohde-y t aikajaksolle t verkolla, jossa on L lohkot yhteensä.
Se luo koulutuskohde-edustuksia, joita malli regressoi, kun se on oppilaan tilassa. Alkuvaiheen kokeissa data2vec-malli toimi hyvin ennustamalla kunkin lohkon erikseen omalla projektiolla, ja se oli samalla tehokkaampi.
Lisäksi kohde-edustusten normalisointi estää data2vec-mallin esityksiä romahtamasta samoiksi vakioesityksiksi eri aika-askeleilla ja estää suurten arvojen kerroksia hallitsemasta kohdeaineiston piirteitä. Puheentunnistuksessa malli käyttää instanssinormalisointia nykyiselle syötenäytteelle ilman opittuja parametreja. Se johtuu siitä, että askelkoko syötedatassa on pieni, ja läheiset edustukset ovat voimakkaasti korrelavoituneita.
Lisäksi tutkijat totesivat, että työskennellessä tietokoneen näön ja NLP:n kanssa, parametriton normalisointi tekee työn tarpeeksi hyvin, eikä se vaadi lisäparametreja. Ongelma voidaan myös ratkaista Variance-Invariance-Covariance- sääntelyllä, mutta yllä mainittu strategia toimii tarpeeksi hyvin, eikä se vaadi lisäparametreja.
Tavoite
Kontekstualisoituneille koulutuskohde-y t:lle malli käyttää Sileää L1 -häviötä regressoimaan kohde-edustuksia seuraavasti

Tässä β on siirtymisen hallinnassa neliöisen häviön ja L1-häviön välillä, ja se riippuu voimakkaasti aukon koon välillä mallin ennuste f t (x) aikajaksolla t. Tämän häviön etu on, että se on vertailukelpoisesti vähemmän herkkä poikkeuksille, mutta β:n arvoa on säädettävä.
Kokeellinen Asettelu
Data2vec-malli kokeillaan kahdella mallikoolle: data2vec Large ja data2vec Base. Numerisen stabiilisuuden vuoksi EMA-päivitykset tehdään fp32: ssä, ja malleissa on L= 12 tai L= 24 Transformer-lohkot piiloulottuvuuksilla (H) = 768 tai H= 1024. Katsotaan tarkemmin kokeellista asettelua eri modaalisten ja tarkoituksen mukaisesti.
Tietokoneen Näkö
Data2vec-malli jakaa 224 × 224 pikselin kuvat 16 × 16 pikselin paikkoihin. Kukin paikka muunnetaan lineaarisesti, ja 196 esityksen sarja syötetään tavalliseen Transformer-verkkoon.
Malli seuraa BEiT :tä maskataksesi lohkoja, joissa on vierekkäisiä kuvapaikkoja. Kukin lohko sisältää vähintään 16 paikkaa ja sillä on satunnainen kuvasuhde. Kuitenkin toisin kuin alkuperäisen BEiT-mallin 40 prosentin peittoasteessa, data2vec-malli peittää 60 prosenttia kuvapaikoista paremman tarkkuuden vuoksi.
Lisäksi malli satunnaistaa kuva-alueita, kääntää vaakasuoraan ja väri-vaikutusta. Lopulta data2vec-malli käyttää samaa muutettua kuvaa sekä opettajan että oppilaan tilassa.
ViT-B-mallit esikoulutetaan 800 koulutuskierroksen ajan, ja data2vec-malli käyttää erän kokoa 8,192: ta ViT-L-mallille ja 2,048: ta ViT-B-mallille. Data2vec-malli käyttää myös kosinipohjaista ja Adam-ajoitusta yhden syklin kanssa lämmittääkseen oppimisnopeuden 80 koulutuskierroksen ajan 0,001: een ViT-L: lle ja 40 koulutuskierroksen ajan 0,001: een ViT-B: lle.
Molemmille ViT-B: lle ja ViT-L: lle data2vec-malli käyttää β = 2, K = 6 ja τ = 0,9998: aa vakiona ilman aikataulua. Malli käyttää myös stokastista syvyyttä 0,2.
Lisäksi ViT-L: lle malli koulutetaan 1,600 koulutuskierroksen ajan, joista ensimmäiset 800 koulutuskierrosta ovat oppimisnopeudella 0,9998, ja sitten malli nollaa oppimisnopeuden aikataulun ja jatkaa loppua 800 koulutuskierrosta oppimisnopeudella 0,9999.
Kuvien luokitteluun malli käyttää keskiarvoa viimeisen Transformer-lohkon tuloksesta, ja syöttää sen softmax-normalisoituun luokitteluun. Sitten malli hienosäätää ViT-L: n 50 koulutuskierroksen ajan ja ViT-B: n 100 koulutuskierroksen ajan käyttäen kosinipohjaista ja Adamia lämmittääkseen oppimisnopeuden.
Puheen Prosessointi
Puheen prosessoinnissa data2vec-malli käyttää Fairseq:ia, joka on sarjamallin koulutuskiti yhteenvetoon, käännökseen ja tekstin generointiin. Malli ottaa 16 kHz aaltoalueen syötteenä, joka prosessoidaan piirrekoodaimella, joka sisältää ajallisia konvoluutioita 512 kanavilla, ydinleveydet (10,3,3,3,3,2,2) ja askelkoot (5,2,2,2,2,2,2).
Yllä olevat tulokset johtavat siitä, että koodaimen ulostulotaajuus on 50 Hz, ja siinä on 20 ms väli kussakin näytteessä. Vastaanottokenttä käsittää 400 syötteenäytettä tai 25 ms ääntä. Raaka aalto, joka syötetään koodaimelle, on normalisoitu yksikkövarianssiin ja nollakeskiarvoon.
Maskausstrategia, jota data2vec käyttää Base-mallissa, muistuttaa Baevskin kehystä itseohjautuvassa oppimisessa puheentunnistuksessa. Malli ottaa p = 0,065 kaikille aikajaksoille aloitusindekseiksi, ja merkitsee seuraavat kymmenen aikajaksoa. Tyypilliselle koulutusjaksolle tämä prosessi sallii noin 49%: n koko aikajaksojen määrästä maskattavaksi.
Koulutuksen aikana data2vec-malli lineaarisesti anneaa τ: ta käyttäen τo = 0,999, τe = 0,9999, ja τn = 30,000. Data2vec-malli käyttää Adam-optimointia huipun oppimisnopeudella 5×10-4 Base-mallille. Lisäksi Base-malli käyttää tri-vaiheen aikataulua, joka lämmittää oppimisnopeuden lineaarisesti ensimmäisten 3%: n päivitysten aikana, ylläpitää sitä seuraavien 90%: n ajan, ja sitten laskee sen lineaarisesti viimeisten 7 prosentin aikana.
Luonnollinen Kielen Prosessointi
Luonnollisen kielen prosessoinnissa data2vec-malli käyttää 50 000 tokenityypin tavuparikoodausta, ja sitten malli oppii upottamisen kullekin tyypille. Kun data on koodattu, malli soveltaa BERT-maskauksen 15%: lle yhdenmukaisesti valituille tokeneille, joista 80%: lle korvataan opitulla maskitokeneilla, 10%: lle satunnaisten sanastotokeneilla ja loput 10 prosenttia jätetään ennalleen.
Esikoulutuksen aikana malli käyttää τo = 0,999, τe = 0,9999, ja τn = 100,000, K= 10, ja β = 4. Malli käyttää Adam-optimointia tri-vaiheen oppimisnopeuden aikataululla, joka lämmittää oppimisnopeuden lineaarisesti ensimmäisten 5%: n päivitysten aikana, ylläpitää sitä seuraavien 80%: n ajan, ja sitten laskee sen lineaarisesti viimeisten 15 prosentin aikana, huipun oppimisnopeuden ollessa 2×10-4.
Lisäksi malli koulutetaan 16 GPU: llä, erän koko on 256 jaksoa, ja kussakin jaksossa on noin 512 tokenia. Laskennan aikana malli koulutetaan neljällä eri oppimisnopeudella: 1×10-4, 2×10-4, 3×10-4, 4×10-4, ja valitaan paras suorituskyky laskennan jälkeen NLP: n laskennan tehtäville.
Tulokset
Katsotaan, miten data2vec-malli suoriutuu, kun se toteuttaa yllä mainittuja strategioita eri modaalisten kanssa.
Tietokoneen Näkö
Tietokoneen näön tuloksia arvioidaan esikouluttamalla data2vec-mallia kuvista, jotka on saatu ImageNet-1K- aineistosta. Tuloksena oleva malli hienosäätetään merkityillä tiedoilla samasta vertailuaineistosta. Kuten on tavallista, malli arvioidaan validointidatassa top-1-tarkkuuden perusteella.
Tulokset ovat eritelty yhden itseohjautuvan mallin perusteella, ja koulutetaan erillistä visuaalista tokenoijaa lisäaineistoon tai muihin itseohjautuviin oppimismalleihin.
Alla oleva taulukko vertaa data2vec-mallin suorituskykyä tietokoneen näössä ja muiden olemassa olevien mallien kanssa: ViT-L ja ViT-B.

Yllä olevan taulukon tulokset voidaan tiivistää seuraavasti.
- Data2vec-malli suoriutuu aiemmasta työstä paremmin sekä ViT-L- että ViT-B-malleilla yksittäisessä malliasetelussa.
- Maskattu ennustusasettelu, jota data2vec-algoritmi käyttää, ennustaa kontekstualisoituneita latenttisia edustuksia, suoriutuu paremmin kuin menetelmät, jotka ennustavat paikallisia kohde-edustuksia, kuten käsin suunnitellut kuvapiirteet, syötteen pikselit tai visuaaliset tokenit.
- Data2vec-malli suoriutuu myös paremmin kuin itsetislausmenetelmät, jotka regressoivat oppilasverkon lopullista kerrosta, kun otetaan kaksi eri kuvan muokkausta syötteenä.
Ääni- ja Puheen Prosessointi
Puheen ja äänen prosessoinnissa data2vec-malli koulutetaan noin 960 tunnin äänen aineistosta, joka on saatu Librispeech (LS-960) aineistosta. Aineisto sisältää puhdasta ääntä äänikirjoista englanniksi, ja se on käsitelty standardina puheen ja äänen prosessoinnin teollisuudessa.
Arvioidakseen mallin suorituskykyä eri resurssiasetuksissa, tutkijat ovat hienosäätäneet data2vec-mallia käyttämään eri määriä merkittyjä tietoja (muutamasta minuutista useisiin tuntiin) automaattiselle puheentunnistukselle. Arvioidakseen mallin suorituskykyä, data2vec vertaillaan HuBERT ja wav2vec 2.0 :iin, jotka ovat kaksi suosituinta algoritmia äänen ja puheen edustusten oppimiseen, jotka riippuvat diskreeteistä puheyksiköistä.

Yllä oleva taulukko vertaa data2vec-mallin suorituskykyä puheentunnistuksessa sanavirheen osalta muihin olemassa oleviin malleihin. LM edustaa kielen mallia, jota käytetään dekoodaukseen. Tulokset voidaan tiivistää seuraavasti.
- Data2vec-malli osoittaa parannuksia useimmissa merkittyjen tietojen asetuksissa, suurimman hyödyn ollessa 10 minuutin merkittyjä tietoja Base-malleille.
- Isoissa malleissa malli suoriutuu merkittävästi paremmin pienillä merkittyjen tietojen aineistoissa, ja suorituskyky on vertailukelpoinen resurssirikkailla aineistoilla, joissa on yli 100 ja 960 tuntia merkittyjä tietoja. Se johtuu siitä, että suorituskyky yleensä saturoituu resurssirikkailla aineistoilla useimmissa malleissa.
- Tulosten analyysin perusteella voidaan päätellä, että kun malli käyttää rikkaampia kontekstualisoituneita kohde-edustuksia, ei ole välttämätöntä oppia diskreettejä yksiköitä.
- Kontekstualisoituneiden kohde-edustusten oppiminen koulutuksen aikana parantaa suorituskykyä merkittävästi.
Lisäksi vahvistamaan data2vecin lähestymistapaa puheentunnistuksessa malli koulutetaan AudioSet- aineistoon. Vaikka esikoulutusasettelu AudioSetissa on samanlainen kuin Librispeechissa, malli koulutetaan K= 12: lle ja yli 200 000 päivityksellä, jossa kunkin erän koko on 94,5 minuuttia.
Malli soveltaa sitten DeepNorm- kehyksen ja kerroksen normalisoinnin kohde-edustuksiin avustamaan koulutuksen stabilisoinnissa. Lisäksi malli hienosäätetään tasapainotetuilla alijoukoilla, erän koko on 21,3 minuuttia, 13k päivityksellä. Malli käyttää myös Lineaarista Softmax- poolausta ja sekoitusta todennäköisyydellä 0,7. Sitten malli lisää yksittäisen lineaarisen projektion 527 yksilölliseen äänen luokkaan, ja asettaa projektion oppimisnopeuden 2e-4: ksi.
Lisäksi esikoulutetut parametriarvot ovat oppimisnopeudella 3e-5, ja malli käyttää maskausmenetelmiä hienosäätäämään aineistoa. Taulukko alla tiivistää tulokset, ja voidaan nähdä, että data2vec-malli pystyy suoriutumaan vertailukelpoisesta asettelusta samalla hienosäätö- ja esikoulutusdatalla.

Luonnollinen Kieli
Arvioidakseen data2vecin suorituskykyä tekstissä, malli seuraa samaa koulutusasettelua kuin BERT ja esikouluttaa mallin englannin Wikipedia-aineistolla, jossa on yli 1M päivityksiä ja erän koko on 256 jaksoa. Malli arvioidaan GLUE tai yleisen kielen ymmärtämisen arviointi- aineistossa, joka sisältää luonnollisen kielen inference-tehtäviä (MNLI tai monigenren luonnollisen kielen inference), lauseiden samankaltaisuutta (QQP tai Quora Question Pairs benchmark, MRPC tai Microsoft (MSFT ) Research Paragraph Corpus, ja STS-B tai Semanttinen Tekstuaalinen Samankaltaisuus- aineisto), sentimenttianalyysiä (SST-2 tai Stanford Sentiment Treebank) ja kieliopin (CoLA).
Lisäksi hienosäätöä varten malli saa merkittyjä tietoja kustakin tehtävästä, ja keskimääräinen tarkkuus ilmoitetaan kehitysaineistojen osalla viidellä hienosäätöajolla. Seuraava taulukko tiivistää data2vec-mallin suorituskykyä NLP-tehtävissä ja vertaa sitä muihin malleihin.

- Yllä oleva data osoittaa, että data2vec-malli suoriutuu paremmin kuin RoBERTa-baseline-malli, koska strategia data2vec-mallissa ei käytä satunnaisia kohde-edustuksia.
- Data2vec-malli on ensimmäinen onnistunut esikoulutettu NLP-malli, joka ei käytä diskreettejä yksiköitä, kuten merkkejä, sanoja tai sub-sanoja, koulutuskohteina. Sen sijaan data2vec-kehys ennustaa kontekstualisoituneita latenttisia edustuksia koko maskaamattoman tekstijakson yli.
- Se auttaa luomaan oppimistehtävän, jossa malli vaaditaan ennustamaan kohde-edustuksia, joilla on tiettyjä ominaisuuksia nykyisestä jaksosta, sen sijaan, että ennustetaan edustuksia, jotka ovat yleisiä jokaiselle tekstiyksikölle tietyn diskreetin ominaisuuden kanssa.
- Lisäksi koulutuskohteen joukko ei ole kiinteä, ja malli voi vapaasti määritellä uusia kohde-edustuksia, ja se on avoin sanastoon.
Data2vec: Poistotutkimus
Poisto on termi, joka määrittelee komponentin poistamisen tekoäly- ja ML- järjestelmissä. Poistotutkimus on tutkimus, jossa tutkitaan tekoäly- tai ML- mallin suorituskykyä poistamalla tiettyjä avainkomponentteja mallista, mikä mahdollistaa tutkijoiden ymmärtämisen komponentin panoksen koko järjestelmään.
Kerrosten keskiarvoon perustuvat kohde-esitykset
Tärkeä ero data2vec ja muiden itseohjautuvien oppimismallien välillä on, että data2vec-malli käyttää kohde-edustuksia, jotka perustuvat useiden kerrosten keskiarvoon opettajan verkkorakenteessa. Idea perustuu siihen, että wav2vec 2.0-mallin ylimmät kerrokset eivät suoriudu jatkotehtävissä yhtä hyvin kuin keskimmäiset kerrokset.
Seuraavassa kokeessa mitataan kaikkien kolmen modaalisen suorituskykyä keskiarvoistamalla K= 1, 2, …, 12 kerrosta, missä K= 1 ennustaa vain yläosan. Kuitenkin nopeamman kokeen vuoksi data2vec kouluttaa Base-mallin 12 kerroksella yhteensä. Puheentunnistuksessa malli koulutetaan yli 200 000 päivityksellä Librispeech-aineistolla, ja sitten hienosäätetään 10 tunnin merkittyyn jakoon Libri-light-aineistosta. NLP: ssä malli ilmoittaa keskimääräisen GLUE-tuloksen validointijoukon osalta, ja kouluttaa mallin 300 koulutuskierroksen ajan tietokoneen näön osalta, ja ilmoittaa top-1-tarkkuuden, jonka saadaan ImageNet- aineistosta.

Yllä oleva kuva osoittaa, että useisiin kerroksiin perustuvat kohde-esitykset parantavat yleensä tuloksia verrattuna siihen, että kaikissa modaliteeteissa käytettäisiin vain ylintä kerrosta (K=1). Käyttäminen kaikkia saatavilla olevia kerroksia on hyvä käytäntö, koska neuroverkot rakentavat ominaisuuksia eri tyyppisistä ominaisuuksista, ja useista kerroksista, jotka voidaan poistaa ominaisuuskerroksina.
Useiden kerrosten piirteiden käyttäminen auttaa parantamaan tarkkuutta ja rikastuttaa itseohjautuvan oppimisprosessin.
Kohde-edustusten Tyyppi
Transformer-lohkot data2vec-mallissa sisältävät useita kerroksia, jotka voivat toimia kohde-edustuksina. Tutkimaan, miten eri kerrokset vaikuttavat suorituskykyyn, malli koulutetaan Librispeech-puheen malleilla, jotka käyttävät eri kerroksia kohde-edustusten ominaisuuksina.
Yllä oleva kuva osoittaa selvästi, että eteenpäin kytketyn verkon (FFN) ulostulo toimii hyvin, kun taas itsehuomion lohkojen tulostus ei johtanut toimivaan malliin.

Kohde-edustusten Kontekstualisointi
Opettajan edustukset data2vec-mallissa käyttävät itsehuomiota koko syötteen yli tuottamaan kontekstualisoituneita kohde-edustuksia. Se erottaa data2vecin muista itseohjautuvista oppimismalleista, jotka rakentavat oppimistehtävän rekonstruoimalla tai ennustamalla paikallisia osia syötetystä. Se asettaa kysymyksen: vaativatko data2vec-mallit kontekstualisoituneita kohde-edustuksia toimiakseen hyvin?
Vastatakseen kysymykseen tutkijat rakentavat kohde-edustuksia, jotka eivät pääse koko syötteen aineistoon, vaan vain ennalta määrättyyn osaan. Sitten malli rajoittaa opettajan itsehuomio-mekanismia, joka sallii sen pääsyn vain osaan ympäröivää ympäristön syötettä. Kun malli on koulutettu, se hienosäätetään päästäkseen koko kontekstin.
Yllä oleva kuva osoittaa, että suuremmat kontekstikoot usein johtavat parempaan suorituskykyyn, ja kun koko syöte-aineisto on näkyvissä, se antaa parhaimman tarkkuuden. Se osoittaa myös, että rikkaammat kohde-edustukset voivat johtaa parempaan suorituskykyyn.

Modaliteettikohtaiset piirteenirrottimet ja peittäminen
Data2vecin pääasiallinen tavoite on suunnitella yksinkertainen oppimismekanismi, joka voi toimia eri modaliteeteissa. Vaikka nykyisillä malleilla ja kehyksillä on yhteinen oppimisperiaate, ne käyttävät edelleen modaliteettikohtaista peittämistä ja piirteenirrottimia. On ymmärrettävää, että kehykset toimivat pääasiassa yhden modaalisen kanssa, koska syötteen luonteen ominaisuudet vaihtelevat suuresti toisistaan. Esimerkiksi puheentunnistusmallit käyttävät korkearesoluutioista syötettä (kuten 10 kHz aaltoaluetta), joka sisältää tuhansia näytteitä. Aaltoalue prosessoidaan sitten kehyksen avulla monikerroksisella konvoluutioverkkorakenteella saadakseen 50 Hz edustusjoukkoja.
Rakenteelliset ja Kontekstualisoituneet Kohde-edustukset
Pääasiallinen eroavaisuus data2vec ja muiden maskattujen ennustusmallejen välillä on, että data2vec-mallissa koulutuskohteiden ominaisuudet ovat kontekstualisoituneita. Nämä ominaisuudet rakennetaan opettajan itsehuomion avulla koko maskaamattomasta syötteestä opettajan tilassa.
Jotkut muut kehykset, kuten BYOL (Bootstrap Your Own Latent) tai DINO, käyttävät myös latenttisia edustuksia, kuten data2vec, mutta niiden pääasiallinen tavoite on oppia muunnosinvariantteja edustuksia.
Loppukommentit
Viimeaikaiset tutkimukset tekoäly- ja ML- teollisuudessa ovat osoittaneet, että yhdenmukaiset mallirakenteet voivat olla tehokas lähestymistapa useiden modaalisten käsittelyyn. Data2vec-malli käyttää itseohjautuvaa oppimismenetelmää työskennellessä kolmen modaalisen kanssa: puhe, kuvat ja kieli.
Data2vec-mallin avainidea on käyttää osittaisen syötteen näkymää regressoimaan kontekstualisoituneita tietoja tai syötettä. Data2vec-kehys on tehokas, koska se suoriutuu paremmin kuin aiemmat itseohjautuvat oppimismallit ImageNet-1K- aineistossa sekä ViT-B- että ViT-L-yksittäisissä malleissa.
Data2vec on todella merkittävä askel itseohjautuvan oppimisen teollisuudessa, koska se osoittaa, että yksinkertainen oppimismenetelmä useiden modaalisten oppimiseen voi tehdä mallien oppimisen helpommaksi modaalisten yli.












