data2vec: Um Marco na Aprendizagem Auto-Supervisionada

Os modelos de aprendizagem de máquina dependem fortemente de dados rotulados para treinamento, e tradicionalmente, o treinamento de modelos com dados rotulados produz resultados precisos. No entanto, a principal desvantagem do uso de dados rotulados é o alto custo de anotação que aumenta com o aumento do tamanho dos dados de treinamento. Os altos custos de anotação são um grande obstáculo para os desenvolvedores, especialmente quando trabalham em um projeto grande com quantidades substanciais de dados de treinamento.

Para lidar com o problema de anotação, os desenvolvedores criaram o conceito de APL ou Aprendizagem Auto-Supervisionada. A Aprendizagem Auto-Supervisionada é um processo de aprendizagem de máquina no qual o modelo treina a si mesmo para aprender uma parte da entrada a partir de outra parte da entrada. Um modelo de Aprendizagem Auto-Supervisionada visa explorar a relação entre os dados em vez de usar sinais supervisionados de dados rotulados.

Além da Aprendizagem Auto-Supervisionada, existem vários outros métodos e modelos para treinar modelos de aprendizagem de máquina sem o uso de dados rotulados. No entanto, a maioria desses métodos tem dois principais problemas

1. Eles são frequentemente especializados em uma única modalidade, como uma imagem ou um texto.
2. Eles exigem uma grande quantidade de poder computacional.

Essas limitações são um grande problema, pois a mente humana média consegue aprender de um único tipo de dados muito mais eficazmente em comparação com um modelo de IA que depende de modelos e dados de treinamento separados para distinguir entre uma imagem, texto e fala.

Para lidar com o problema de modalidade única, a Meta AI lançou o data2vec, o primeiro de seu tipo, algoritmo de alto desempenho auto-supervisionado para aprender informações de padrão de três diferentes modalidades: imagem, texto e fala. Com a implementação do algoritmo data2vec, a compreensão do texto pode ser aplicada a um problema de segmentação de imagem ou pode ser implantada em uma tarefa de reconhecimento de fala.

Neste artigo, discutiremos o modelo data2vec em detalhes. Discutiremos a visão geral do método, trabalhos relacionados, arquitetura e resultados do modelo com mais profundidade para que você tenha uma compreensão clara do algoritmo data2vec.

Introdução ao Data2vec: A Ideia Central

Embora o conceito fundamental da Aprendizagem Auto-Supervisionada seja aplicado em todas as modalidades, os objetivos e algoritmos reais diferem entre si porque foram projetados em relação a uma única modalidade. Projetar um modelo para uma única modalidade é o motivo pelo qual o mesmo algoritmo de aprendizagem auto-supervisionada não pode funcionar eficazmente em diferentes tipos de dados de treinamento.

Para superar o desafio apresentado por modelos e algoritmos de modalidade única, a Meta AI lançou o data2vec, um algoritmo que usa a mesma metodologia de aprendizado para visão computacional, NLP ou fala.

A ideia central por trás do algoritmo data2vec é usar a visão mascarada da entrada para prever representações latentes dos dados de entrada completos em um conjunto de auto-distração com a ajuda de arquitetura de Transformer padrão. Portanto, em vez de objetos de modalidade específicos, como imagens, texto ou voz, que são locais por natureza, o algoritmo data2vec prevê representações latentes com informações do conjunto de dados de treinamento completo.

Por Que a Indústria de IA Precisa do Algoritmo Data2Vec?

Os modelos de Aprendizagem Auto-Supervisionada constroem representações dos dados de treinamento usando rótulos anotados por humanos, e é uma das principais razões por trás do avanço da tecnologia de NLP ou Processamento de Linguagem Natural e da tecnologia de Visão Computacional. Essas representações de aprendizagem auto-supervisionada são a razão pela qual tarefas como reconhecimento de fala e aprendizagem de máquina implantam aprendizagem não supervisionada em seus modelos.

Até agora, esses algoritmos de aprendizagem auto-supervisionada se concentram em modalidades individuais, o que resulta em vieses de aprendizado e projetos específicos nos modelos. A modalidade individual dos algoritmos de aprendizagem auto-supervisionada cria desafios em diferentes aplicações de IA, incluindo visão computacional e NLP.

Por exemplo, existem vocabulários de unidades de fala no processamento de fala que podem definir uma tarefa de aprendizagem auto-supervisionada em NLP. Da mesma forma, na visão computacional, os desenvolvedores podem regressar a entrada, aprender tokens visuais discretos ou aprender representações invariantes à ampliação de dados. Embora esses vieses de aprendizado sejam úteis, é difícil confirmar se esses vieses se generalizarão para outras modalidades.

O algoritmo data2vec é um marco importante na indústria de aprendizagem auto-supervisionada, pois visa melhorar várias modalidades em vez de apenas uma. Além disso, o algoritmo data2vec não depende da reconstrução da entrada ou do aprendizado contrastivo.

Portanto, o motivo pelo qual o mundo precisa do data2vec é que o algoritmo data2vec tem o potencial de acelerar o progresso na IA e contribuir para o desenvolvimento de modelos de IA que possam aprender sobre diferentes aspectos de seu ambiente de forma transparente. Os cientistas esperam que o algoritmo data2vec permita que eles desenvolvam modelos de IA e ML mais adaptáveis que sejam capazes de realizar tarefas avançadas além do que os modelos de IA atuais podem fazer.

O Que é o Algoritmo Data2Vec?

O data2vec é um quadro unificado que visa implementar a aprendizagem de máquina auto-supervisionada em diferentes modalidades de dados, incluindo imagens, fala e texto.

O algoritmo data2vec visa desenvolver modelos de ML que possam aprender os padrões gerais no ambiente de forma mais eficaz, mantendo o objetivo de aprendizado uniforme em diferentes modalidades. O modelo data2vec unifica o algoritmo de aprendizado, mas ainda aprende as representações para cada modalidade individualmente.

Com a introdução do algoritmo data2vec, a Meta AI espera que ele torne a aprendizagem multimodal eficaz e muito mais simples.

Como Funciona o Algoritmo Data2Vec?

O algoritmo data2vec combina as aprendizagens de representações latentes de destino com previsão mascarada, embora use várias camadas de rede como destinos para generalizar as representações latentes. O modelo treina uma rede Transformer padrão que é usada tanto no modo professor quanto no modo aluno.

No modo professor, o modelo primeiro constrói as representações dos dados de entrada que servem como destinos na tarefa de aprendizado. No modo aluno, o modelo codifica uma versão mascarada dos dados de entrada que é usada para fazer previsões sobre as representações dos dados completos.

A imagem acima representa como o modelo data2vec usa o mesmo processo de aprendizado para diferentes modalidades. Na primeira etapa, o modelo produz representações dos dados de entrada (modo professor). O modelo então regredir essas representações com base em uma versão mascarada dos dados de entrada.

Além disso, como o algoritmo data2vec usa representações latentes dos dados de entrada, ele pode ser visto como uma versão simplificada de projetos específicos de modalidade, como criar destinos adequados normalizando a entrada ou aprender um conjunto fixo de tokens visuais. No entanto, o ponto de diferenciação crucial entre o data2vec e outros algoritmos é que o data2vec usa auto-atenção para tornar sua representação de destino contextualizada e contínua. Por outro lado, outros modelos de aprendizagem auto-supervisionada usam um conjunto fixo de destinos baseados em um contexto local.

Data2vec: Método do Modelo

O modelo data2vec é treinado prevendo as representações do modelo dos dados de entrada, dado uma visão parcial dos dados de entrada. Como você pode ver na figura abaixo, o rosto do cachorro é mascarado, uma seção específica da nota de voz é mascarada e a palavra “com” é mascarada no texto.

O modelo primeiro codifica uma versão mascarada da amostra de treinamento (modo aluno) e, em seguida, codifica a versão não mascarada da entrada para construir destinos de treinamento com o mesmo modelo, mas apenas quando é parametrizado como a média móvel exponencial dos pesos do modelo (modo professor). Além disso, as representações de destino codificam as informações presentes na amostra de treinamento e, no modo aluno, a tarefa de aprendizado é usada para prever essas representações quando se tem uma visão parcial da entrada.

Arquitetura do Modelo

O modelo data2vec usa uma arquitetura de Transformer padrão com codificação específica de modalidade dos dados de entrada. Para tarefas relacionadas à visão computacional, o modelo usa a estratégia ViT para codificar uma imagem como uma sequência de patches, onde cada imagem abrange 16×16 pixels e é alimentada como uma transformação linear.

Além disso, para dados de reconhecimento de fala, o modelo codifica os dados usando uma rede neural convolucional de camada única que mapeia as ondas de 16 kHz em representações de 50 Hz. Para processar os dados de texto, o modelo pré-processa os dados para extrair unidades de sub-palavras e, em seguida, incorpora os dados no espaço de distribuição por meio de vetores de incorporação.

Máscara

Uma vez que o modelo incorpora os dados de entrada como uma sequência de tokens, o modelo mascara partes dessas unidades substituindo-as por um token de incorporação e, em seguida, alimenta a sequência na rede Transformer. Para visão computacional, o modelo pratica a estratégia de marcação de bloco.

As representações latentes de fala são usadas para mascarar spans de dados de fala e, para tarefas relacionadas à linguagem, os tokens são mascarados.

Destinos de Treinamento

O modelo data2vec visa prever as representações do modelo dos dados de entrada não mascarados com base em uma codificação da amostra mascarada que foi originalmente alimentada no modelo. O modelo prevê as representações apenas para os passos de tempo mascarados.

O modelo prevê representações contextualizadas que não apenas codificam o passo de tempo específico, mas também codificam outras informações da amostra, pois usa auto-atenção na rede Transformer. As representações contextualizadas e o uso da rede Transformer são o que distinguem o modelo data2vec dos modelos existentes BERT, wav2vec, BEiT, SimMIM, MAE e MaskFeat que preveem destinos sem informações contextualizadas.

Aqui está como o modelo data2vec parametriza o modo professor para prever as representações da rede que, em seguida, servem como destinos.

Parametrização do Professor

O modelo data2vec parametriza a codificação da amostra de treinamento não mascarada usando a média móvel exponencial dos parâmetros do modelo (θ) onde os pesos do modelo no modo destino (△) são os seguintes

                                           ∆ ← τ∆ + (1 − τ ) θ

Além disso, o modelo agenda para τ que aumenta linearmente o parâmetro de τ0 para τe (valor de destino) sobre as primeiras τn atualizações. Após essas atualizações, o modelo mantém o valor constante até o treinamento ser concluído. O uso da estratégia de média móvel exponencial atualiza o professor com mais frequência no início quando o treinamento começa e o modelo é aleatório. À medida que o treinamento avança e bons parâmetros são aprendidos, o professor é atualizado com menos frequência.

Os resultados mostram que o modelo é mais eficiente e preciso quando compartilha os parâmetros do codificador de recursos e codificador de posição entre o modo aluno e o modo professor.

Destinos

A construção dos destinos de treinamento depende da saída do bloco superior K da rede professor para os passos de tempo mascarados no modo aluno. A saída do bloco l em qualquer passo de tempo t é denotada como alt. O modelo, em seguida, aplica a normalização a cada bloco para obter âlt antes de média dos blocos superiores K 

para obter o destino de treinamento yt para o passo de tempo t para uma rede com L blocos no total.

Isso cria destinos de treinamento que o modelo regredir quando estiver no modo aluno. Nos experimentos iniciais, o modelo data2vec performou bem prevendo cada bloco separadamente com uma projeção dedicada e sendo muito mais eficiente ao mesmo tempo.

Além disso, normalizar os destinos também permite que o modelo data2vec evite colapsar em representações constantes para passos de tempo e evite que camadas com normalização alta dominem os recursos no conjunto de dados de destino. Para reconhecimento de fala, o modelo usa normalização de instância sobre a amostra de entrada atual sem parâmetros aprendidos.

Adicionalmente, os pesquisadores descobriram que, ao trabalhar com visão computacional e NLP, a normalização sem parâmetros faz o trabalho de forma suficiente. O problema também pode ser resolvido com regularização de variância-invariância-covariância, mas a estratégia mencionada acima performa de forma suficiente e não requer parâmetros adicionais.

Objetivo

Para destinos de treinamento contextualizados yt, o modelo usa uma perda L1 suave para regredir os destinos como mencionado abaixo

Aqui, β é controlado pela transição de uma perda quadrada para uma perda L1, e depende fortemente do tamanho da lacuna entre a previsão do modelo ft(x) no passo de tempo t. A vantagem dessa perda é que é comparativamente menos sensível aos outliers, com a necessidade de ajustar a configuração de β.

Configuração Experimental

O modelo data2vec é experimentado com dois tamanhos de modelo: data2vec Large e data2vec Base. Para estabilidade numérica, as atualizações da média móvel exponencial são feitas em fp32, e os modelos contêm L= 12 ou L= 24 blocos de Transformer com dimensões ocultas (H) = 768 ou H= 1024. Vamos dar uma olhada detalhada na configuração experimental para diferentes modalidades e propósitos.

Visão Computacional

O modelo data2vec incorpora imagens de 224×224 pixels como patches de 16×16 pixels. Cada um desses patches é transformado linearmente, e uma sequência com 196 representações é alimentada no Transformer padrão.

O modelo segue o BEiT para mascarar blocos com patches adjacentes com cada bloco tendo um mínimo de 16 patches com uma proporção aleatória. No entanto, em vez de mascarar 40% do patch como originalmente no modelo BEiT, o modelo data2vec mascara 60% do patch para melhor precisão.

Além disso, o modelo redimensiona aleatoriamente as colheitas de imagem, flips horizontais e jitter de cor. Finalmente, o modelo data2vec usa a mesma imagem modificada em ambos os modos professor e aluno.

Os modelos ViT-B são pré-treinados por 800 épocas, e o modelo data2vec usa o tamanho de lote de 8.192 para o modelo ViT-L e 2.048 para o modelo ViT-B. O modelo data2vec também usa um cronograma de cosine e um cronograma de Adam para aquecer a taxa de aprendizado por 80 épocas para 0,001 para ViT-L e por 40 épocas para 0,001 para ViT-B.

Para ambos os modelos ViT-B e ViT-L, o modelo data2vec usa β = 2, K = 6 e τ = 0,9998 como constante sem cronograma. O modelo também usa a taxa de profundidade estocástica 0,2.

Além disso, para o modelo ViT-L, o modelo é treinado por 1.600 épocas, onde as primeiras 800 épocas têm uma taxa de aprendizado de 0,9998, e, em seguida, o modelo redefine o cronograma de aprendizado e continua por mais 800 épocas com uma taxa de aprendizado de 0,9999.

Para classificação de imagem, o modelo usa a média da saída do último bloco de Transformer e a alimenta em um classificador normalizado por softmax. O modelo, em seguida, ajusta o modelo ViT-L por 50 épocas e o modelo ViT-B por 100 épocas usando o cronograma de cosine e Adam para aquecer a taxa de aprendizado.

Processamento de Fala

Para processamento de fala, o modelo data2vec usa o Fairseq, um kit de modelagem de sequência usado para treinar modelos personalizados para resumo, tradução e geração de texto. O modelo leva como entrada uma onda de 16 kHz que é processada usando um codificador de recursos que contém convoluções temporais com 512 canais, larguras de kernel (10,3,3,3,3,2,2) e strides (5,2,2,2,2,2,2).

Os resultados acima resultam na saída da frequência do codificador sendo de 50 Hz e têm uma distância de 20 ms entre cada amostra. O campo de receptação compreende 400 amostras de entrada ou 25 ms de áudio. A onda de forma bruta alimentada no codificador é normalizada para variância unitária e média zero.

A estratégia de mascaramento usada pelo modelo data2vec para o modelo Base se assemelha ao quadro de Baevski para aprendizagem auto-supervisionada em reconhecimento de fala. O modelo amostra p = 0,065 para todos os passos de tempo para serem índices de início e, em seguida, marca os próximos dez passos de tempo. Para uma sequência de treinamento típica, o processo permite que quase 49% dos passos de tempo totais sejam mascarados.

Durante o treinamento, o modelo data2vec anneala linearmente τ usando τo = 0,999, τe = 0,9999, e τn = 30.000. O modelo data2vec usa o otimizador Adam com a taxa de aprendizado pico de 5×10-4 para o modelo Base. Além disso, o modelo Base usa um cronograma de três estágios que aquece a taxa de aprendizado linearmente para os primeiros 3% das atualizações, mantém por 90% e, em seguida, decresce linearmente para as 7% restantes.

Processamento de Linguagem Natural

O modelo data2vec usa o codificador de pares de bytes de 50K tipos para tokenizar a entrada e, em seguida, aprende uma incorporação para cada tipo. Após a codificação dos dados, o modelo aplica a estratégia de mascaramento do BERT a 15% dos tokens uniformemente selecionados, nos quais 80% são substituídos por tokens de máscara aprendidos, 10% são substituídos por tokens de vocabulário aleatórios e os 10% restantes permanecem inalterados.

Durante o pré-treinamento, o modelo usa τo = 0,999, τe = 0,9999, e τn = 100.000, K= 10, e β = 4. O modelo usa o otimizador Adam com um cronograma de três estágios que aquece a taxa de aprendizado linearmente para as primeiras 5% das atualizações, mantém por 80% e, em seguida, decresce linearmente para as 15% restantes, com a taxa de aprendizado pico de 2×10-4.

Além disso, o modelo treina em 16 GPUs com um tamanho de lote de 256 sequências, e cada sequência contém cerca de 512 tokens. Para downstream, o modelo é pré-treinado em quatro diferentes taxas de aprendizado: 1×10-4, 2×10-4, 3×10-4, 4×10-4, e o que performa melhor é selecionado para tarefas de NLP downstream.

Resultados

Vamos dar uma olhada em como o modelo data2vec performa quando implementa as estratégias discutidas acima para diferentes modalidades.

Visão Computacional

Para avaliar os resultados para visão computacional, o modelo data2vec é pré-treinado em imagens obtidas do conjunto de dados ImageNet-1K . O modelo resultante é ajustado usando os dados rotulados do mesmo benchmark. Conforme a prática padrão, o modelo é então avaliado em termos de precisão de topo-1 nos dados de validação.

Os resultados são então distinguidos com base em um modelo auto-supervisionado único e treinando um tokenizador visual separado em dados adicionais ou outros modelos de aprendizagem auto-supervisionada.

A tabela abaixo compara o desempenho do modelo data2vec para visão computacional e outros modelos existentes: ViT-L e ViT-B.

Os resultados da tabela acima podem ser resumidos da seguinte forma.

• O modelo data2vec supera o trabalho anterior com ambos os modelos ViT-L e ViT-B em configuração de modelo único.
• A configuração de previsão mascarada usada no algoritmo data2vec para prever representações latentes contextualizadas performa melhor quando comparada a métodos que preveem destinos locais, como engenharia de recursos de imagem, pixels de entrada ou tokens visuais.
• O modelo data2vec também supera os métodos de auto-destilação que regredem a camada final da rede do aluno enquanto toma duas versões diferentes de uma imagem como entradas.

Áudio e Processamento de Fala

Para processamento de fala e áudio, o modelo data2vec é treinado em cerca de 960 horas de dados de áudio obtidos do conjunto de dados Librispeech(LS-960) . O conjunto de dados contém áudio de fala limpo de livros de áudio em inglês e é tratado como um benchmark padrão na indústria de processamento de fala e áudio.

Para analisar o desempenho do modelo em diferentes configurações de recursos, os pesquisadores ajustaram o modelo data2vec para usar diferentes quantidades de dados rotulados (de alguns minutos a várias horas) para reconhecimento de fala automática. Para analisar o desempenho do modelo, o data2vec é comparado com HuBERT e wav2vec 2.0, dois dos algoritmos mais populares para aprendizagem de representações de fala e áudio que dependem de unidades de fala discretas.

A tabela acima compara o desempenho do data2vec em termos de taxa de palavra para reconhecimento de fala com outros modelos existentes. LM representa o modelo de linguagem usado para decodificação. Os resultados podem ser resumidos da seguinte forma.

• O modelo data2vec mostra melhorias para a maioria das configurações de dados rotulados com o maior ganho de 10 minutos de dados rotulados para modelos Base.
• Quando se trata de modelos grandes, o modelo performa significativamente melhor em conjuntos de dados rotulados pequenos e o desempenho é comparável em conjuntos de dados rotulados ricos com mais de 100 e 960 horas de dados rotulados. É porque o desempenho geralmente se satura em conjuntos de dados rotulados ricos para a maioria dos modelos.
• Depois de analisar o desempenho, pode ser deduzido que, quando o modelo usa destinos contextualizados ricos, não é essencial aprender unidades discretas.
• Aprender destinos contextualizados durante o treinamento ajuda a melhorar o desempenho geral de forma significativa.

Além disso, para validar a abordagem do data2vec para reconhecimento de fala, o modelo também é treinado no benchmark AudioSet . Embora a configuração de pré-treinamento para AudioSet seja semelhante à do Librispeech, o modelo é treinado para K= 12 e por mais de 200.000 atualizações, onde o tamanho de cada lote é de 94,5 minutos.

O modelo, em seguida, aplica o quadro DeepNorm e normalização de camada nos destinos para ajudar a estabilizar o treinamento. Além disso, o modelo também é ajustado em subconjuntos balanceados com um tamanho de lote de 21,3 minutos por 13.000 atualizações. O modelo também usa pooling softmax linear e mistura com uma probabilidade de 0,7. O modelo, em seguida, adiciona uma projeção linear única em 527 classes de áudio únicas e define a taxa de aprendizado da projeção para 2e-4.

Além disso, os parâmetros pré-treinados têm uma taxa de aprendizado de 3e-5 e o modelo usa técnicas de mascaramento para ajustar o conjunto de dados. A tabela abaixo resume os resultados e pode ser visto que o modelo data2vec é capaz de superar uma configuração comparável com o mesmo ajuste e pré-treinamento de dados.

Processamento de Linguagem Natural

Para analisar o desempenho do data2vec no texto, o modelo segue a mesma configuração de treinamento que o BERT e pré-treina o modelo no conjunto de dados de Wikipedia em inglês com mais de 1 milhão de atualizações e um tamanho de lote de 256 sequências. O modelo é avaliado no benchmark GLUE ou Avaliação de Compreensão de Linguagem Geral que inclui tarefas de inferência de linguagem natural (MNLI ou Inferência de Linguagem Natural de Múltiplos Gêneros), semelhança de sentença (QQP ou Benchmark de Pares de Perguntas do Quora, MRPC ou Corpus de Parágrafos de Pesquisa da Microsoft (MSFT ) e STS-B ou Benchmark de Semelhança Textual Semântica), análise de sentimento (SST-2 ou Árvore de Sentimento de Stanford) e gramatical (CoLA).

Além disso, para ajustar o modelo data2vec, os dados rotulados são fornecidos por cada tarefa e a precisão média é relatada nos conjuntos de desenvolvimento com 5 execuções de ajuste. A tabela abaixo resume o desempenho do modelo data2vec para tarefas de processamento de linguagem natural e o compara com outros modelos.

• A tabela acima mostra que o modelo data2vec supera o modelo de linha de base RoBERTa, pois a estratégia no modelo data2vec não usa destinos aleatórios.
• O modelo data2vec é o primeiro modelo de NLP pré-treinado bem-sucedido que não usa unidades discretas como caracteres, palavras ou sub-palavras como destinos de treinamento. Em vez disso, o quadro data2vec prevê representações latentes contextualizadas sobre a sequência de texto completa não mascarada.
• Isso ajuda a criar uma tarefa de aprendizado na qual o modelo é necessário para prever destinos com propriedades específicas da sequência atual em vez de prever representações que são genéricas para cada unidade de texto com discrição particular.
• Além disso, o conjunto de destinos de treinamento não é fixo e o modelo é livre para definir novos destinos e é aberto a configurações de vocabulário.

Data2vec: Estudo de Ablação

Ablação é um termo usado para definir a remoção de um componente em sistemas de IA e ML. Um estudo de ablação é usado para investigar ou analisar o desempenho de um modelo de IA ou ML removendo certos componentes-chave do modelo, o que permite que os pesquisadores entendam a contribuição desse componente no sistema geral.

Destinos Averaged por Camada

Uma diferença importante entre o data2vec e outros modelos de aprendizagem auto-supervisionada é que o data2vec usa destinos baseados na média de várias camadas da rede professor. A ideia vem do fato de que as camadas superiores do modelo wav2vec 2.0 não performam bem para tarefas downstream quando comparadas às camadas médias do modelo.

No seguinte experimento, o desempenho de todas as três modalidades é medido, averageando K= 1, 2, …, 12 camadas, onde K= 1 prevê apenas a camada superior. No entanto, para extrair um tempo de retorno mais rápido, o data2vec treina o modelo Base com 12 camadas no total. Para reconhecimento de fala, o modelo é pré-treinado em mais de 200.000 atualizações no Librispeech e, em seguida, ajustado em uma divisão rotulada de 10 horas do Libri-light. Para processamento de linguagem natural, o modelo relata a pontuação média de GLUE para o conjunto de validação e pré-treina o modelo por 300 épocas para visão computacional e, em seguida, relata a precisão de topo-1 obtida no conjunto de dados ImageNet.

A figura acima mostra que os destinos baseados em várias camadas geralmente melhoram quando apenas a camada superior K=1 é usada para todas as modalidades. Usar todas as camadas disponíveis é uma boa prática, pois as redes neurais constroem recursos sobre diferentes tipos de recursos e várias camadas que são extraídas como camadas de recursos.

Usar recursos de várias camadas ajuda a aumentar a precisão e enriquece o processo de aprendizagem auto-supervisionada.

Tipo de Recurso de Destino

Os blocos de Transformer no modelo data2vec têm várias camadas que podem servir como destinos. Para analisar como diferentes camadas afetam o desempenho, o modelo é pré-treinado em modelos de fala do Librispeech que usam diferentes camadas como recursos de destino.

A figura abaixo indica claramente que a saída da rede de alimentação direta ou da FFN funciona idealmente, enquanto a saída dos blocos de auto-atenção não resulta em um modelo útil.

Contextualização de Destino

As representações do professor no modelo data2vec usam auto-atenção em toda a entrada para produzir destinos contextualizados. É o que distingue o data2vec de outros modelos de aprendizagem auto-supervisionada que constroem uma tarefa de aprendizado reconstruindo ou prevendo partes locais da entrada. Isso evidentemente levanta a pergunta: o modelo data2vec requer destinos contextualizados para funcionar bem?

Para responder à pergunta, os pesquisadores constroem representações de destino que não têm acesso à entrada completa, mas apenas a uma fração pré-determinada. O modelo, em seguida, restringe o mecanismo de auto-atenção do professor, permitindo que ele acesse apenas uma porção do ambiente de entrada circundante. Após o treinamento do modelo, ele é ajustado para acessar o tamanho de contexto completo.

A figura abaixo indica que tamanhos de contexto maiores geralmente levam a um melhor desempenho e, quando a amostra de entrada completa é visível, ela rende a melhor precisão. Isso prova que representações de destino mais ricas podem render um melhor desempenho.

Extração de Recursos Específicos de Modalidade e Mascaramento

O objetivo principal do data2vec é projetar um mecanismo de aprendizado simples que possa funcionar com diferentes modalidades. É porque, embora os modelos e quadros atuais tenham um regime de aprendizado unificado, eles ainda usam mascaramento e extração de recursos específicos de modalidade.

Faz sentido que os quadros funcionem com uma única modalidade, dado a natureza dos dados de entrada que varia muito de um para o outro. Por exemplo, modelos de reconhecimento de fala usam uma entrada de alta resolução (como uma onda de 10 kHz) que geralmente tem milhares de amostras. A onda é então processada pelo quadro usando uma rede neural convolucional de várias camadas para obter sequências de recursos de 50 Hz.

Destinos Estruturados e Contextualizados

O ponto de diferenciação principal entre o data2vec e outros modelos de previsão mascarada é que, no modelo data2vec, as características dos destinos de treinamento são contextualizadas. Essas características são construídas usando auto-atenção de toda a entrada mascarada no modo professor.

Outros quadros, como BYOL (Bootstrap Your Own Latent) ou DINO, também usam representações latentes, como o data2vec, mas seu foco principal é aprender representações invariantes de transformação.

Pensamentos Finais

Trabalhos recentes na indústria de IA e ML indicaram que arquiteturas de modelo uniformes podem ser uma abordagem eficaz para lidar com várias modalidades. O modelo data2vec usa uma abordagem de aprendizagem auto-supervisionada para trabalhar com três modalidades: fala, imagens e linguagem.

O conceito-chave por trás do modelo data2vec é usar uma visão parcial da entrada para regredir informações contextualizadas ou dados de entrada. A abordagem usada pelo quadro data2vec é eficaz, pois o modelo performa melhor do que os modelos de aprendizagem auto-supervisionada anteriores no conjunto de dados ImageNet-1K para ambos os modelos ViT-B e ViT-L.

O modelo data2vec é realmente um marco na indústria de aprendizagem auto-supervisionada, pois demonstra que um único método de aprendizado para aprender várias modalidades pode tornar mais fácil para os modelos aprenderem entre modalidades.