data2vec: un importante traguardo nell’apprendimento autosufficiente

I modelli di apprendimento automatico si sono tradizionalmente basati su dati etichettati per l’addestramento, e di solito l’addestramento dei modelli su dati etichettati produce risultati precisi. Tuttavia, il principale svantaggio dell’utilizzo di dati etichettati è il costo elevato di annotazione, che aumenta con l’aumentare delle dimensioni dei dati di addestramento. I costi di annotazione elevati rappresentano un grande ostacolo per gli sviluppatori, soprattutto quando lavorano su un progetto di grandi dimensioni con grandi quantità di dati di addestramento.

Per affrontare il problema dell’annotazione, gli sviluppatori hanno elaborato il concetto di SSL o apprendimento autosufficiente. L’apprendimento autosufficiente è un processo di apprendimento automatico in cui il modello si addestra da solo per imparare una parte dell’input da un’altra parte dell’input. Un modello di apprendimento autosufficiente mira a sfruttare la relazione tra i dati invece di utilizzare i segnali di supervisione dei dati etichettati.

Oltre all’apprendimento autosufficiente, esistono diversi altri metodi e modelli per addestrare i modelli di apprendimento automatico senza l’utilizzo di dati etichettati. Tuttavia, la maggior parte di questi metodi presenta due problemi principali

1. Spesso sono specializzati per una singola modalità, come un’immagine o un testo.
2. Richiedono una grande quantità di potenza computazionale.

Queste limitazioni sono un grande problema, poiché la mente umana è in grado di imparare da un singolo tipo di dati molto più efficacemente rispetto a un modello di intelligenza artificiale che si basa su modelli e dati di addestramento separati per distinguere tra un’immagine, un testo e un discorso.

Per affrontare il problema della singola modalità, Meta AI ha rilasciato il data2vec, il primo algoritmo di apprendimento autosufficiente ad alte prestazioni per imparare informazioni sui pattern da tre diverse modalità: immagine, testo e discorso. Con l’implementazione dell’algoritmo data2vec, la comprensione del testo può essere applicata a un problema di segmentazione di immagini o può essere utilizzata in un compito di riconoscimento del discorso.

In questo articolo, parleremo del modello data2vec in dettaglio. Discuteremo il metodo di overview, il lavoro correlato, l’architettura e i risultati del modello in modo più approfondito, in modo che abbiate una chiara comprensione dell’algoritmo data2vec.

Introduzione a data2vec: l’idea centrale

Sebbene il concetto fondamentale di apprendimento autosufficiente sia applicato attraverso le modalità, gli obiettivi e gli algoritmi effettivi differiscono l’uno dall’altro perché sono stati progettati in relazione a una singola modalità. Progettare un modello per una singola modalità è il motivo per cui lo stesso algoritmo di apprendimento autosufficiente non può funzionare efficacemente attraverso diversi tipi di dati di addestramento.

Per superare la sfida presentata dai modelli e dagli algoritmi di singola modalità, Meta AI ha rilasciato il data2vec, un algoritmo che utilizza la stessa metodologia di apprendimento per la visione computerizzata, il NLP o il discorso.

L’idea centrale dietro l’algoritmo data2vec è utilizzare la vista mascherata dell’input per prevedere rappresentazioni latenti dei dati di input completi in un setup di auto-distillazione con l’aiuto di un’architettura Transformer standard. Quindi, invece di oggetti specifici della modalità come immagini, testi o voci che sono locali per natura, l’algoritmo data2vec prevede rappresentazioni latenti con informazioni provenienti dai dati di addestramento o di input completi.

Perché l’industria dell’intelligenza artificiale ha bisogno dell’algoritmo data2vec?

I modelli di apprendimento autosufficiente costruiscono rappresentazioni dei dati di addestramento utilizzando etichette annotate dall’uomo, e questo è uno dei motivi principali dietro l’avanzamento della tecnologia del linguaggio naturale e della visione computerizzata. Queste rappresentazioni di apprendimento autosufficiente sono il motivo per cui compiti come il riconoscimento del discorso e l’apprendimento automatico utilizzano l’apprendimento non supervisionato nei loro modelli.

Fino ad ora, questi algoritmi di apprendimento autosufficiente si concentrano su modalità individuali, il che comporta pregiudizi di apprendimento e progetti specifici nei modelli. Le modalità individuali degli algoritmi di apprendimento autosufficiente creano sfide in diverse applicazioni di intelligenza artificiale, tra cui la visione computerizzata e il linguaggio naturale.

Ad esempio, esistono vocabolari di unità di discorso nell’elaborazione del discorso che possono definire un compito di apprendimento autosufficiente nel linguaggio naturale. Allo stesso modo, nella visione computerizzata, gli sviluppatori possono regredire l’input, imparare token visivi discreti o imparare rappresentazioni invarianti all’aumento dei dati. Sebbene questi pregiudizi di apprendimento siano utili, è difficile confermare se questi pregiudizi si generalizzeranno ad altre modalità.

L’algoritmo data2vec è un importante traguardo nell’industria dell’apprendimento autosufficiente, poiché mira a migliorare più modalità invece di una sola. Inoltre, l’algoritmo data2vec non si basa sulla ricostruzione dell’input o sull’apprendimento contrastivo.

Quindi, il motivo per cui il mondo ha bisogno del data2vec è che l’algoritmo data2vec ha il potenziale di accelerare i progressi nell’intelligenza artificiale e contribuire allo sviluppo di modelli di intelligenza artificiale che possano imparare diversi aspetti del loro ambiente in modo fluido. Gli scienziati sperano che l’algoritmo data2vec consenta loro di sviluppare modelli di intelligenza artificiale più adattabili e in grado di eseguire compiti avanzati oltre quelli che i modelli di intelligenza artificiale attuali possono eseguire.

Cosa è l’algoritmo data2vec?

Il data2vec è un framework unificato che mira a implementare l’apprendimento autosufficiente della macchina attraverso diverse modalità di dati, tra cui immagini, discorso e testo.

L’algoritmo data2vec mira a sviluppare modelli di apprendimento automatico che possano imparare i pattern generali nell’ambiente in modo più efficace, mantenendo l’obiettivo di apprendimento uniforme attraverso diverse modalità. Il modello data2vec unifica l’algoritmo di apprendimento, ma impara ancora le rappresentazioni per ogni modalità individualmente.

Con l’introduzione dell’algoritmo data2vec, Meta AI spera di rendere l’apprendimento multimodale efficace e più semplice.

Come funziona l’algoritmo data2vec?

L’algoritmo data2vec combina l’apprendimento di rappresentazioni latenti con la previsione mascherata, sebbene utilizzi più strati di rete come obiettivi per generalizzare le rappresentazioni latenti. Il modello addestra specificamente una rete Transformer pronta all’uso che viene utilizzata sia nella modalità di insegnante che di studente.

Nella modalità di insegnante, il modello costruisce le rappresentazioni dei dati di input che servono come obiettivi nel compito di apprendimento. Nella modalità di studente, il modello codifica una versione mascherata dei dati di input che viene utilizzata per effettuare previsioni sulle rappresentazioni complete dei dati.

L’immagine sopra rappresenta come il modello data2vec utilizza lo stesso processo di apprendimento per diverse modalità. Nel primo passaggio, il modello produce rappresentazioni dei dati di input (modalità di insegnante). Il modello regredisce quindi queste rappresentazioni in base a una versione mascherata dei dati di input.

Inoltre, poiché l’algoritmo data2vec utilizza rappresentazioni latenti dei dati di input, può essere visto come una versione semplificata dei progetti specifici della modalità, come la creazione di obiettivi adatti normalizzando l’input o imparando un insieme fisso di token visivi. Tuttavia, il punto di differenziazione cruciale tra il data2vec e altri algoritmi è che il data2vec utilizza l’auto-attenzione per rendere la rappresentazione dell’obiettivo contestualizzata e continua. D’altra parte, altri modelli di apprendimento autosufficiente utilizzano un insieme fisso di obiettivi basati su un contesto locale.

Metodo del modello data2vec

Il modello data2vec è addestrato previsionando le rappresentazioni del modello dei dati di input dati una vista parziale dei dati di input. Come si può vedere nella figura data, il viso del cane è mascherato, una sezione specifica della nota vocale è mascherata e la parola “con” è mascherata nel testo.

Il modello codifica prima una versione mascherata del campione di addestramento (modalità di studente), e poi codifica la versione non mascherata dei dati di input per costruire obiettivi di addestramento con lo stesso modello, ma solo quando è parametrizzato come media mobile esponenziale dei pesi del modello (modalità di insegnante). Inoltre, le rappresentazioni degli obiettivi codificano le informazioni presenti nel campione di addestramento e, nella modalità di studente, il compito di apprendimento viene utilizzato per prevedere queste rappresentazioni quando viene data una vista parziale dei dati di input.

Architettura del modello

Il modello data2vec utilizza un’architettura Transformer standard con codifica specifica della modalità dei dati di input. Per i compiti relativi alla visione computerizzata, il modello utilizza la strategia ViT per codificare un’immagine come una sequenza di patch, ognuna delle quali copre 16×16 pixel, e alimenta una trasformazione lineare.

Inoltre, per i dati di riconoscimento del discorso, il modello codifica i dati utilizzando una rete neurale convoluzionale multistrato 1-D che mappa i campioni di onde a 16 kHz in rappresentazioni a 50 Hz. Per l’elaborazione dei dati testuali, il modello pre-elabora i dati per estrarre unità sub-parola e li incorpora nello spazio di distribuzione tramite vettori di incorporamento.

Mascheramento

Una volta che il modello incorpora i dati di input come una sequenza di token, il modello maschera parti di questi token sostituendoli con un token di incorporamento e poi alimenta la sequenza alla rete Transformer. Per la visione computerizzata, il modello pratica una strategia di mascheramento a blocchi. Le rappresentazioni latenti del discorso vengono utilizzate per mascherare span di dati del discorso e, per i compiti linguistici, i token vengono mascherati.

Obiettivi di addestramento

Il modello data2vec mira a prevedere le rappresentazioni del modello del campione di addestramento non mascherato in base a una codifica del campione mascherato che è stato originariamente alimentato al modello. Il modello prevede le rappresentazioni solo per i passaggi temporali mascherati.

Il modello prevede rappresentazioni contestualizzate che non solo codificano il passaggio temporale specifico, ma codificano anche altre informazioni dal campione perché utilizza l’auto-attenzione nella rete Transformer. Le rappresentazioni contestualizzate e l’utilizzo della rete Transformer sono ciò che distingue il modello data2vec dai modelli esistenti BERT, wav2vec, BEiT, SimMIM, MAE e MaskFeat che prevedono obiettivi senza informazioni contestuali.

Ecco come il modello data2vec parametrizza la modalità di insegnante per prevedere le rappresentazioni della rete che servono come obiettivi.

Parametrizzazione dell’insegnante

Il modello data2vec parametrizza la codifica del campione di addestramento non mascherato utilizzando la media mobile esponenziale dei parametri del modello (θ) dove i pesi del modello nella modalità di obiettivo (△) sono i seguenti

                                           ∆ ← τ∆ + (1 − τ ) θ

Inoltre, il modello pianifica per τ che aumenta linearmente il parametro da τ0 a τe (valore obiettivo) nel corso dei primi τn aggiornamenti. Dopo questi aggiornamenti, il modello mantiene il valore costante fino a quando l’addestramento non è completo. L’utilizzo della strategia di media mobile esponenziale aggiorna l’insegnante molto più frequentemente all’inizio quando l’addestramento inizia e il modello è casuale. Man mano che l’addestramento procede e vengono appresi buoni parametri, l’insegnante viene aggiornato meno frequentemente.

I risultati mostrano che il modello è più efficiente e preciso quando condivide i parametri dell’incorporatore delle caratteristiche e dell’incorporatore posizionale tra la modalità di studente e la modalità di insegnante.

Obiettivi

La costruzione degli obiettivi di addestramento dipende dall’output dei blocchi superiori K della rete dell’insegnante per i passaggi temporali mascherati nella modalità di studente. L’output del blocco l in qualsiasi passaggio temporale t è denotato come alt. Il modello applica quindi la normalizzazione a ogni blocco per ottenere âlt prima di mediare i blocchi superiori K per ottenere l’obiettivo di addestramento yt per il passaggio temporale t per una rete con L blocchi in totale.

Crea obiettivi di addestramento che il modello regredisce quando è in modalità di studente. Negli esperimenti iniziali, il modello data2vec ha funzionato bene nella previsione di ogni blocco separatamente con una proiezione dedicata e risultava più efficiente allo stesso tempo.

Inoltre, la normalizzazione degli obiettivi consente al modello data2vec di non collassare in rappresentazioni costanti per i passaggi temporali e impedisce ai livelli con alta normalizzazione di dominare le caratteristiche nel set di dati degli obiettivi. Per il riconoscimento del discorso, il modello utilizza la normalizzazione delle istanze sul campione di input corrente senza parametri appresi.

Inoltre, i ricercatori hanno scoperto che quando si lavora con la visione computerizzata e il linguaggio naturale, la normalizzazione senza parametri fa il lavoro in modo sufficiente. Il problema può anche essere risolto con la regolarizzazione della varianza-invarianza-covarianza, ma la strategia menzionata sopra si esegue in modo sufficiente e non richiede parametri aggiuntivi.

Obiettivo

Per obiettivi di addestramento contestualizzati yt , il modello utilizza una perdita L1 liscia per regredire gli obiettivi come menzionato di seguito

Qui, β è in controllo del passaggio da una perdita quadrata a una perdita L1, e dipende fortemente dalle dimensioni del divario tra la previsione del modello ft(x) al passaggio temporale t. Il vantaggio di questa perdita è che è relativamente meno sensibile agli outlier, senza la necessità di regolare l’impostazione di β.

Setup sperimentale

Il modello data2vec è sperimentato con due dimensioni di modello: data2vec Large e data2vec Base. Per la stabilità numerica, gli aggiornamenti EMA vengono eseguiti in fp32 e i modelli contengono blocchi Transformer L = 12 o L = 24 con dimensioni nascoste (H) = 768 o H = 1024. Vediamo il setup sperimentale dettagliato per diverse modalità e scopi.

Visione computerizzata

Il modello data2vec incorpora immagini di 224×224 pixel come patch di 16×16 pixel. Ognuna di queste patch viene trasformata linearmente e una sequenza con 196 rappresentazioni viene alimentata alla rete Transformer standard.

Il modello segue BEiT per mascherare i blocchi con patch adiacenti con ogni blocco che ha almeno 16 patch con un rapporto di aspetto casuale. Tuttavia, invece di mascherare il 40% del blocco come originariamente nel modello BEiT, il modello data2vec maschera il 60% del blocco per una maggiore precisione.

Inoltre, il modello ridimensiona casualmente le immagini, capovolge orizzontalmente e applica la jittering dei colori. Infine, il modello data2vec utilizza la stessa immagine modificata sia nella modalità di insegnante che di studente.

I modelli ViT-B vengono pre-addestrati per 800 epoche e il modello data2vec utilizza una dimensione del batch di 8.192 per il modello ViT-L e 2.048 per il modello ViT-B. Il modello data2vec utilizza anche un programma di apprendimento coseno e un programma Adam con un singolo ciclo per riscaldare la velocità di apprendimento per 80 epoche a 0,001 per ViT-L e per 40 epoche a 0,001 per ViT-B.

Per entrambi ViT-B e ViT-L, il modello data2vec utilizza β = 2, K = 6 e τ = 0,9998 come costante senza programma. Il modello utilizza inoltre il tasso di profondità stocastico 0,2.

Inoltre, per ViT-L, il modello si addestra per 1.600 epoche dove le prime 800 epoche hanno una velocità di apprendimento di 0,9998 e poi il modello reimposta la programmazione della velocità di apprendimento e continua per le ultime 800 epoche con una velocità di apprendimento di 0,9999.

Per la classificazione delle immagini, il modello utilizza la media-pooling dell’output dell’ultimo blocco Transformer e lo alimenta a un classificatore softmax-normalizzato. Il modello quindi adatta il modello ViT-L per 50 epoche e ViT-B per 100 epoche utilizzando il coseno e Adam per riscaldare la velocità di apprendimento.

Elaborazione del discorso

Per l’elaborazione del discorso, il modello data2vec utilizza Fairseq, un kit di modellazione sequenziale utilizzato per addestrare modelli personalizzati per la sintesi, la traduzione e la generazione di testi. Il modello prende un’onda a 16 kHz come input che viene elaborata utilizzando un incorporatore di caratteristiche e contiene convoluzioni temporali con 512 canali, larghezze del kernel (10,3,3,3,3,2,2) e passi (5,2,2,2,2,2,2).

I risultati sopra producono la frequenza di output dell’incorporatore di 50 Hz e hanno un passo di 20 ms tra ogni campione. Il campo di ricezione comprende 400 campioni di input o 25 ms di audio. Il waveform grezzo alimentato all’incorporatore viene normalizzato a varianza unitaria e media zero.

La strategia di mascheramento utilizzata dal modello data2vec per il modello Base assomiglia al framework di Baevski per l’apprendimento autosufficiente nel riconoscimento del discorso. Il modello campiona p = 0,065 per tutti i passaggi temporali per essere indici di inizio e procede a contrassegnare i successivi dieci passaggi temporali. Per una sequenza di addestramento tipica, il processo consente a circa il 49% dei passaggi temporali totali di essere mascherati.

Durante l’addestramento, il modello data2vec anneala linearmente τ utilizzando τo = 0,999, τe = 0,9999, e τn = 30.000. Il modello data2vec utilizza l’ottimizzatore Adam con la velocità di apprendimento di picco di 5×10-4 per il modello Base. Inoltre, il modello Base utilizza un programma a tre fasi che riscalda la velocità di apprendimento linearmente per le prime 3% degli aggiornamenti, la mantiene per il successivo 90% e poi la riduce linearmente per il restante 7%.

Elaborazione del linguaggio naturale

Il modello data2vec utilizza l’incorporamento di coppia di byte di 50K tipi per tokenizzare l’input e il modello impara quindi un incorporamento per ogni tipo. Dopo che i dati vengono incorporati, il modello applica la strategia di mascheramento BERT al 15% dei token selezionati uniformemente, dei quali l’80% viene sostituito con token di mascheramento appresi, il 10% viene sostituito con token di vocabolario casuali e il restante 10% rimane invariato.

Durante il pre-addestramento, il modello utilizza τo = 0,999, τe = 0,9999, e τn = 100.000, K = 10 e β = 4. Il modello utilizza l’ottimizzatore Adam con un programma di apprendimento a tre fasi che riscalda la velocità di apprendimento linearmente per le prime 5% degli aggiornamenti, la mantiene per l’80% successivo e poi la riduce linearmente per il restante 15%, con la velocità di apprendimento di picco di 2×10-4.

Inoltre, il modello si addestra su 16 GPU con una dimensione del batch di 256 sequenze, e ogni sequenza contiene circa 512 token. Per il downstreaming, il modello viene pre-addestrato in quattro diverse velocità di apprendimento: 1×10-4, 2×10-4, 3×10-4, 4×10-4, e quella che si esegue meglio viene selezionata per ulteriori compiti di downstreaming del linguaggio naturale.

Risultati

Vediamo come il modello data2vec si esegue quando implementa le strategie discusse sopra per diverse modalità.

Visione computerizzata

Per valutare i risultati per la visione computerizzata, il modello data2vec viene pre-addestrato sulle immagini ottenute dal set di dati ImageNet-1K . Il modello risultante viene adattato utilizzando i dati etichettati dello stesso benchmark. Come pratica standard, il modello viene quindi valutato in termini di precisione top-1 sui dati di convalida.

I risultati vengono quindi distinti in base a un singolo modello di apprendimento autosufficiente e all’addestramento di un tokenizzatore visivo separato su dati aggiuntivi o altri modelli di apprendimento autosufficiente.

La tabella seguente confronta le prestazioni del modello data2vec per la visione computerizzata e altri modelli esistenti: ViT-L e ViT-B.

I risultati dalla tabella sopra possono essere riassunti come segue.

• Il modello data2vec supera i lavori precedenti con entrambi i modelli ViT-L e ViT-B in un’impostazione di modello singolo.
• L’impostazione di previsione mascherata utilizzata nel modello data2vec per prevedere rappresentazioni latenti contestualizzate si esegue meglio rispetto ai metodi che prevedono obiettivi locali come l’ingegneria delle caratteristiche delle immagini, i pixel di input o i token visivi.
• Il modello data2vec supera anche i metodi di auto-distillazione che regrediscono l’ultimo strato della rete dello studente mentre prendono due diverse versioni aumentate di un’immagine come input.

Elaborazione del discorso e audio

Per l’elaborazione del discorso e dell’audio, il modello data2vec viene addestrato su circa 960 ore di dati audio ottenuti dal set di dati Librispeech (LS-960) . Il set di dati contiene audio di discorso pulito da audiolibri in inglese e viene trattato come un benchmark standard nell’industria dell’elaborazione del discorso e dell’audio.

Per analizzare le prestazioni del modello in diversi ambienti di risorse, i ricercatori hanno adattato il modello data2vec per utilizzare diverse quantità di dati etichettati (da pochi minuti a diverse ore) per il riconoscimento del discorso automatico. Per analizzare le prestazioni del modello, il data2vec viene confrontato con HuBERT e wav2vec 2.0, due degli algoritmi più popolari per l’apprendimento delle rappresentazioni del discorso e dell’audio che si basano su unità di discorso discrete.

La tabella sopra confronta le prestazioni del modello data2vec in termini di tasso di parole per il riconoscimento del discorso con altri modelli esistenti. LM rappresenta il modello linguistico utilizzato per la decodifica. I risultati possono essere riassunti come segue.

• Il modello data2vec mostra miglioramenti per la maggior parte delle impostazioni dei dati etichettati con il guadagno più grande di 10 minuti di dati etichettati per i modelli Base.
• Quando si tratta di modelli grandi, il modello si esegue significativamente meglio sui set di dati etichettati piccoli e le prestazioni sono paragonabili sui set di dati etichettati ricchi con oltre 100 e 960 ore di dati etichettati. È perché le prestazioni generalmente si saturano sui set di dati etichettati ricchi per la maggior parte dei modelli.
• Dopo aver analizzato le prestazioni, si può dedurre che quando il modello utilizza obiettivi contestualizzati ricchi, non è essenziale imparare unità discrete.
• Imparare obiettivi contestualizzati durante l’addestramento aiuta a migliorare le prestazioni generali in modo significativo.

Inoltre, per convalidare l’approccio del data2vec per il riconoscimento del discorso, il modello viene addestrato sul benchmark AudioSet . Sebbene l’impostazione di pre-addestramento per AudioSet sia simile a Librispeech, il modello viene addestrato per K = 12 e per oltre 200.000 aggiornamenti, dove la dimensione di ogni batch è di 94,5 minuti.

Il modello applica quindi il framework DeepNorm e la normalizzazione del livello agli obiettivi per aiutare a stabilizzare l’addestramento. Inoltre, il modello viene adattato su subset bilanciati con una dimensione del batch di 21,3 minuti su 13.000 aggiornamenti. Il modello utilizza inoltre il pooling Softmax lineare e il mixup con una probabilità di 0,7. Il modello aggiunge quindi una proiezione lineare singola in 527 classi audio univoche e imposta la velocità di apprendimento della proiezione a 2e-4.

Inoltre, i parametri pre-addestrati hanno una velocità di apprendimento di 3e-5 e il modello utilizza tecniche di mascheramento per l’adattamento del set di dati. La tabella seguente riassume i risultati e si può vedere che il modello data2vec è in grado di superare un’impostazione paragonabile con lo stesso adattamento e pre-addestramento dei dati.

Elaborazione del linguaggio naturale

Per analizzare le prestazioni del modello data2vec sul testo, il modello segue la stessa impostazione di addestramento del modello BERT e pre-addestra il modello sul set di dati Wikipedia inglese con oltre 1 milione di aggiornamenti e una dimensione del batch di 256 sequenze. Il modello viene valutato sul benchmark GLUE o Valutazione generale della comprensione del linguaggio che include compiti di inferenza del linguaggio naturale (MNLI o Inferenza del linguaggio naturale multigenere), similarità delle frasi (QQP o Coppie di domande di Quora, MRPC o Corpus di paragrafi di ricerca di Microsoft (MSFT ) e STS-B o Benchmark di similarità testuale semantica), analisi del sentimento (SST-2 o Albero del sentimento di Stanford) e grammatica (CoLA).

Inoltre, per adattare il modello data2vec, i dati etichettati vengono forniti da ogni compito e la precisione media viene segnalata sui set di convalida con 5 esecuzioni di adattamento. La tabella seguente riassume le prestazioni del modello data2vec per i compiti di elaborazione del linguaggio naturale e le confronta con altri modelli.

• I dati sopra mostrano che il modello data2vec supera il modello di base RoBERTa poiché la strategia nel modello data2vec non utilizza obiettivi casuali.
• Il modello data2vec è il primo modello di linguaggio naturale pre-addestrato di successo che non utilizza unità discrete come caratteri, parole o sottoparole come obiettivi di addestramento. Invece, il framework data2vec prevede rappresentazioni latenti contestualizzate su tutta la sequenza di testo non mascherata.
• Aiuta a creare un compito di apprendimento in cui il modello è richiesto di prevedere obiettivi con proprietà specifiche dalla sequenza corrente invece di prevedere rappresentazioni che sono generiche per ogni unità di testo con una particolare discrezione.
• Inoltre, l’insieme di obiettivi di addestramento non è fisso e il modello è libero di definire nuovi obiettivi e si apre alle impostazioni del vocabolario.

Studio di ablazione del data2vec

L’ablazione è un termine utilizzato per definire la rimozione di un componente nei sistemi di intelligenza artificiale e apprendimento automatico. Uno studio di ablazione viene utilizzato per indagare o analizzare le prestazioni di un modello di intelligenza artificiale o apprendimento automatico rimuovendo determinati componenti chiave dal modello, il che consente ai ricercatori di comprendere il contributo di quel componente nel sistema complessivo.

Obiettivi mediati per livello

Una differenza significativa tra il data2vec e altri modelli di apprendimento autosufficiente è che il modello data2vec utilizza obiettivi basati sulla media di più livelli dalla rete dell’insegnante. L’idea deriva dal fatto che i livelli superiori del modello wav2vec 2.0 non si eseguono bene per i compiti downstream quando confrontati con i livelli medi del modello.

Nell’esperimento seguente, le prestazioni di tutte e tre le modalità vengono misurate mediando K = 1, 2, …, 12 livelli dove K = 1 prevede solo il livello superiore. Tuttavia, per estrarre un tempo di ritorno più veloce, il modello data2vec addestra il modello Base con 12 livelli in totale. Per il riconoscimento del discorso, il modello viene pre-addestrato su oltre duecentomila aggiornamenti su Librispeech e quindi adattato su una divisione etichettata di 10 ore di Libri-light. Per l’elaborazione del linguaggio naturale, il modello segnala la precisione media GLUE per il set di convalida e pre-addestra il modello per 300 epoche per la visione computerizzata e quindi segnala la precisione top-1 ottenuta sul set di dati ImageNet.

La figura sopra mostra che gli obiettivi basati su più livelli migliorano in generale quando si utilizza solo il livello superiore K = 1 per tutte le modalità. Utilizzare tutti i livelli disponibili è una buona pratica poiché le reti neurali costruiscono caratteristiche su diversi tipi di caratteristiche e numerosi livelli che vengono quindi estratti come livelli di caratteristiche.

Utilizzare caratteristiche da più livelli aiuta a migliorare la precisione e arricchisce il processo di apprendimento autosufficiente.

Tipo di caratteristiche dell’obiettivo

I blocchi Transformer nel modello data2vec hanno diversi livelli che possono tutti servire come obiettivi. Per analizzare come diversi livelli influenzano le prestazioni, il modello viene pre-addestrato sui modelli di discorso di Librispeech che utilizzano diversi livelli come caratteristiche degli obiettivi.

La figura seguente indica chiaramente che l’output della rete feed-forward o della rete FFN funziona in modo ideale, mentre l’output dei blocchi di auto-attenzione non produce un modello utilizzabile.

Contestualizzazione dell’obiettivo

Le rappresentazioni dell’insegnante nel modello data2vec utilizzano l’auto-attenzione su tutto l’input per produrre obiettivi contestualizzati. È ciò che distingue il data2vec da altri modelli di apprendimento autosufficiente che costruiscono un compito di apprendimento ricostruendo o prevedendo parti locali dell’input.

Per rispondere a questa domanda, i ricercatori costruiscono rappresentazioni di obiettivi che non hanno accesso a tutto l’input del set di dati, ma solo a una frazione predefinita. Il modello limita quindi il meccanismo di auto-atenzione dell’insegnante, consentendogli di accedere solo a una porzione dell’input circostante.

La figura seguente indica che le dimensioni del contesto più grandi portano spesso a una migliore precisione e quando l’intero campione di input è visibile, produce la migliore precisione. Ciò dimostra ulteriormente che rappresentazioni di obiettivi più ricche possono produrre migliori prestazioni.

Estrattori di caratteristiche specifici della modalità e mascheramento

L’obiettivo principale del data2vec è progettare un meccanismo di apprendimento semplice che possa funzionare con diverse modalità. È perché, sebbene i modelli e i framework attuali abbiano un regime di apprendimento unificato, utilizzano ancora mascheramenti e incorporatori di caratteristiche specifici della modalità.

Ha senso che i framework funzionino principalmente con una singola modalità, data la natura dei dati di input che varia notevolmente da un’altra. Ad esempio, i modelli di riconoscimento del discorso utilizzano un input ad alta risoluzione (come un’onda a 10 kHz) che di solito ha migliaia di campioni. L’onda viene quindi elaborata dal framework utilizzando una rete neurale convoluzionale multistrato per ottenere sequenze di caratteristiche di 50 Hz.

Obiettivi strutturati e contestualizzati

Il punto di differenziazione principale tra il data2vec e altri modelli di previsione mascherata è che nel modello data2vec, le caratteristiche degli obiettivi di addestramento sono contestualizzate. Queste caratteristiche vengono costruite utilizzando l’auto-atenzione di tutto l’input mascherato nella modalità di insegnante.

Alcuni altri framework come BYOL (Bootstrap Your Own Latent) o DINO utilizzano anche rappresentazioni latenti come il data2vec, ma il loro obiettivo principale è imparare rappresentazioni invarianti alle trasformazioni.

Pensieri finali

I lavori recenti nell’industria dell’intelligenza artificiale e dell’apprendimento automatico hanno indicato che le architetture di modello uniformi possono essere un approccio efficace per affrontare più modalità. Il modello data2vec utilizza un approccio di apprendimento autosufficiente per lavorare con tre modalità: discorso, immagini e linguaggio.

Il concetto chiave dietro il modello data2vec è utilizzare una vista parziale dell’input per regredire informazioni contestualizzate o dati di input. L’approccio utilizzato dal framework data2vec è efficace poiché il modello si esegue meglio dei modelli di apprendimento autosufficiente precedenti sul set di dati ImageNet-1K per entrambi i modelli ViT-B e ViT-L singoli.

Il data2vec è davvero un importante traguardo nell’industria dell’apprendimento autosufficiente, poiché dimostra che un singolo metodo di apprendimento per l’apprendimento di più modalità può effettivamente rendere più facile per i modelli imparare tra le modalità.