data2vec: Sebuah Milstone dalam Pembelajaran Mandiri

Model pembelajaran mesin telah sangat bergantung pada data yang dilabeli untuk pelatihan, dan secara tradisional, pelatihan model pada data yang dilabeli menghasilkan hasil yang akurat. Namun, kelemahan utama dari menggunakan data yang dilabeli adalah biaya anotasi yang tinggi yang meningkat dengan peningkatan ukuran data pelatihan. Biaya anotasi yang tinggi merupakan hambatan besar bagi pengembang, terutama ketika bekerja pada proyek besar dengan jumlah data pelatihan yang substantial.

Untuk mengatasi masalah anotasi, pengembang menciptakan konsep SSL atau Pembelajaran Mandiri. Pembelajaran Mandiri adalah proses pembelajaran mesin di mana model melatih dirinya sendiri untuk mempelajari sebagian dari input dari bagian lain dari input. Model Pembelajaran Mandiri bertujuan untuk memanfaatkan hubungan antara data daripada menggunakan sinyal pengawasan data yang dilabeli.

Selain Pembelajaran Mandiri, ada beberapa metode dan model lain untuk melatih model pembelajaran mesin tanpa menggunakan data yang dilabeli. Namun, sebagian besar metode ini memiliki dua masalah utama

1. Mereka seringkali dikhususkan untuk satu modality seperti gambar atau teks.
2. Mereka memerlukan jumlah daya komputasi yang tinggi.

Keterbatasan ini merupakan masalah besar mengapa pikiran manusia rata-rata dapat belajar dari satu jenis data jauh lebih efektif dibandingkan dengan model AI yang bergantung pada model dan data pelatihan yang terpisah untuk membedakan antara gambar, teks, dan ucapan.

Untuk mengatasi masalah modality tunggal, Meta AI merilis data2vec, algoritma pertama yang menggunakan pembelajaran mandiri dengan kinerja tinggi untuk mempelajari pola informasi dari tiga modality yang berbeda: gambar, teks, dan ucapan. Dengan implementasi algoritma data2vec, pemahaman teks dapat diterapkan pada masalah segmentasi gambar, atau dapat diterapkan pada tugas pengenalan ucapan.

Dalam artikel ini, kita akan membahas model data2vec secara mendalam. Kita akan membahas metode overview, karya terkait, arsitektur, dan hasil model dengan lebih dalam sehingga Anda memiliki pemahaman yang jelas tentang algoritma data2vec.

Pengenalan Data2vec: Ide Inti

Meskipun konsep dasar Pembelajaran Mandiri diterapkan di seluruh modality, tujuan dan algoritma yang sebenarnya berbeda karena mereka dirancang untuk satu modality. Merancang model untuk satu modality adalah alasan mengapa algoritma pembelajaran mandiri yang sama tidak dapat bekerja efektif di seluruh jenis data pelatihan yang berbeda.

Untuk mengatasi tantangan yang disajikan oleh model dan algoritma modality tunggal, Meta AI merilis data2vec, sebuah algoritma yang menggunakan metode pembelajaran yang sama untuk visi komputer, NLP, atau ucapan.

Ide inti di balik algoritma data2vec adalah menggunakan tampilan yang ditutupi dari input untuk memprediksi representasi laten dari data input penuh dalam pengaturan penyulingan mandiri dengan bantuan arsitektur Transformer standar. Jadi, bukan objek modality spesifik seperti gambar, teks, atau suara yang lokal, algoritma data2vec memprediksi representasi laten dengan informasi dari data pelatihan atau input penuh.

Mengapa Industri AI Membutuhkan Algoritma Data2Vec?

Model Pembelajaran Mandiri membangun representasi dari data pelatihan menggunakan label anotasi manusia, dan itu adalah salah satu alasan utama di balik kemajuan teknologi NLP atau Pemrosesan Bahasa Alami, dan teknologi Visi Komputer. Representasi pembelajaran mandiri ini adalah alasan mengapa tugas seperti pengenalan ucapan dan pembelajaran mesin menerapkan pembelajaran tidak terawasi dalam model mereka.

Sampai sekarang, algoritma pembelajaran mandiri ini fokus pada modality individu yang menghasilkan bias pembelajaran, dan desain khusus dalam model. Modality individu dari algoritma pembelajaran mandiri menciptakan tantangan dalam berbagai aplikasi AI, termasuk visi komputer dan NLP.

Misalnya, ada kosakata unit ucapan dalam pengolahan ucapan yang dapat mendefinisikan tugas pembelajaran mandiri dalam NLP. Serupa dengan itu, dalam visi komputer, pengembang dapat mengurangi input, mempelajari token visual diskrit, atau mempelajari representasi yang invariant terhadap augmentasi data. Meskipun bias pembelajaran ini berguna, sulit untuk memastikan apakah bias ini akan umum untuk modality lain.

Algoritma data2vec adalah sebuah tonggak penting dalam industri pembelajaran mandiri karena bertujuan untuk meningkatkan beberapa modality daripada hanya satu. Selain itu, algoritma data2vec tidak bergantung pada merekonstruksi input atau pembelajaran kontras.

Jadi, alasan mengapa dunia membutuhkan data2vec adalah karena algoritma data2vec memiliki potensi untuk mempercepat kemajuan dalam AI, dan berkontribusi pada pengembangan model AI yang dapat belajar tentang berbagai aspek lingkungan mereka dengan mulus. Ilmuwan berharap bahwa algoritma data2vec akan memungkinkan mereka untuk mengembangkan model AI dan ML yang lebih adaptif dan mampu melakukan tugas lanjutan di luar kemampuan model AI saat ini.

Apa itu Algoritma Data2Vec?

Data2vec adalah kerangka kerja yang bersatu yang bertujuan untuk menerapkan pembelajaran mandiri di seluruh modality data yang berbeda, termasuk gambar, ucapan, dan teks.

Algoritma data2vec bertujuan untuk mengembangkan model ML yang dapat mempelajari pola umum dalam lingkungan dengan lebih baik dengan menjaga tujuan pembelajaran seragam di seluruh modality yang berbeda. Model data2vec menyatukan algoritma pembelajaran, tetapi masih mempelajari representasi untuk setiap modality secara individu.

Dengan pengenalan algoritma data2vec, Meta AI berharap bahwa akan membuat pembelajaran multimodal efektif dan lebih sederhana.

Bagaimana Algoritma Data2Vec Bekerja?

Algoritma data2vec menggabungkan pembelajaran representasi target laten dengan prediksi yang ditutupi, meskipun menggunakan beberapa lapisan jaringan sebagai target untuk menggeneralisasi representasi laten. Model secara khusus melatih jaringan Transformer yang kemudian digunakan baik dalam mode guru atau mode siswa.

Dalam mode guru, model pertama-tama membangun representasi dari data input yang berfungsi sebagai target dalam tugas pembelajaran. Dalam mode siswa, model mengkodekan versi yang ditutupi dari data input yang kemudian digunakan untuk membuat prediksi pada representasi data penuh.

Gambar di atas mewakili bagaimana model data2vec menggunakan proses pembelajaran yang sama untuk modality yang berbeda. Pada langkah pertama, model menghasilkan representasi dari data input (mode guru). Model kemudian mengurangi representasi ini berdasarkan versi yang ditutupi dari data input.

Selain itu, karena algoritma data2vec menggunakan representasi laten dari data input, dapat dilihat sebagai versi sederhana dari desain modality spesifik seperti menciptakan target yang sesuai dengan menormalisasi input atau mem pelajari set token visual yang tetap. Namun, poin penting yang membedakan data2vec dari algoritma lain adalah bahwa data2vec menggunakan perhatian mandiri untuk membuat representasi target kontekstual dan kontinu. Di sisi lain, model pembelajaran mandiri lain menggunakan set target yang tetap yang berdasarkan konteks lokal.

Metode Data2vec

Model data2vec dilatih dengan memprediksi representasi model dari data input yang diberikan tampilan sebagian dari input. Seperti yang dapat dilihat dalam gambar yang diberikan, wajah anjing ditutupi, bagian tertentu dari catatan suara ditutupi, dan kata “dengan” ditutupi dalam teks.

Model pertama-tama mengkodekan versi yang ditutupi dari sampel pelatihan (mode siswa), dan kemudian mengkodekan versi yang tidak ditutupi dari input untuk membangun target pelatihan dengan model yang sama tetapi hanya ketika diparameterisasi sebagai rata-rata eksponensial dari bobot model(mode guru). Selain itu, representasi target mengkodekan informasi yang ada dalam sampel pelatihan, dan dalam mode siswa, tugas pembelajaran digunakan untuk memprediksi representasi ini ketika diberikan tampilan sebagian dari input.

Arsitektur Model

Model data2vec menggunakan arsitektur Transformer standar dengan pengkodean modality spesifik dari data input. Untuk tugas yang terkait dengan visi komputer, model menggunakan strategi ViT untuk mengkodekan gambar sebagai urutan patch yang masing-masing mencakup 16×16 piksel, dan diumpankan sebagai transformasi linier.

Selain itu, untuk data pengenalan ucapan, model mengkodekan data menggunakan jaringan konvolusi satu dimensi multilapis yang memetakan 16 kHz waveform menjadi representasi 50 Hz. Untuk memproses data teks, model melakukan pra-pengolahan data untuk mengekstrak unit subkata, dan kemudian mengkodekan data dalam ruang distribusi melalui vektor pengkodean.

Penutupan

Setelah model mengkodekan data input sebagai urutan token, model menutupi sebagian dari unit ini dengan menggantinya dengan token pengkodean, dan kemudian memberikan urutan tersebut ke jaringan Transformer. Untuk visi komputer, model menerapkan strategi penutupan blok-blok yang berdekatan dengan setiap blok memiliki minimal 16 patch dengan rasio aspek yang acak.

Selain itu, model secara acak mengubah ukuran tanaman gambar, membalik secara horizontal, dan mengubah warna. Akhirnya, model data2vec menggunakan gambar yang dimodifikasi sama dalam mode guru dan mode siswa.

Model ViT-B dilatih selama 800 epoch, dan model data2vec menggunakan ukuran batch 8.192 untuk model ViT-L, dan 2.048 untuk model ViT-B. Model data2vec juga menggunakan jadwal Adam dan cosine dengan satu siklus untuk memanaskan laju pembelajaran selama 80 epoch hingga 0,001 untuk ViT-L, dan selama 40 epoch hingga 0,001 untuk ViT-B.

Untuk kedua ViT-B dan ViT-L, model data2vec menggunakan β = 2, K = 6, dan τ = 0,9998 sebagai konstanta tanpa jadwal. Model juga menggunakan tingkat kedalaman stokastik 0,2.

Selain itu, untuk ViT-L, model dilatih selama 1.600 epoch di mana 800 epoch pertama memiliki laju pembelajaran sebagai 0,9998, dan kemudian model mereset jadwal laju pembelajaran, dan melanjutkan selama 800 epoch terakhir dengan laju pembelajaran sebagai 0,9999.

Untuk klasifikasi gambar, model menggunakan rata-rata kolam output dari blok Transformer terakhir, dan memberikan output ke klasifikasi softmax-normalized. Model kemudian melatih ViT-L selama 50 epoch, dan ViT-B selama 100 epoch menggunakan jadwal cosine dan Adam untuk memanaskan laju pembelajaran.

Pengolahan Ucapan

Untuk pengolahan ucapan, model data2vec menggunakan Fairseq, sebuah kit pemodelan urutan yang digunakan untuk melatih model kustom untuk ringkasan, terjemahan, dan generasi teks. Model mengambil 16 kHz waveform sebagai input yang diproses menggunakan pengkode encoder, dan berisi konvolusi temporal dengan 512 saluran, lebar kernel (10,3,3,3,3,2,2), dan langkah (5,2,2,2,2,2,2).

Hasilnya adalah output frekuensi encoder menjadi 50Hz, dan memiliki langkah 20ms antara setiap sampel. Bidang penerimaan mencakup 400 sampel input atau 25 ms audio. Gelombang waveform mentah yang diumpankan ke encoder dinormalisasi ke varians unit dan rata-rata nol.

Strategi penutupan yang digunakan oleh model data2vec untuk model Dasar menyerupai kerangka kerja Baevski untuk pembelajaran mandiri dalam pengenalan ucapan. Model mengambil p= 0,065 untuk semua langkah waktu untuk menjadi indeks awal, dan melanjutkan untuk menandai sepuluh langkah waktu berikutnya. Untuk urutan pelatihan yang khas, proses ini memungkinkan sekitar 49% dari total langkah waktu untuk ditutupi.

Selama pelatihan, model data2vec secara linier mengurangi τ menggunakan τo = 0,999, τe = 0,9999, dan τn = 30.000. Model data2vec menggunakan optimizer Adam dengan laju pembelajaran puncak 5×10-4 untuk model Dasar. Selain itu, model Dasar menggunakan jadwal tri-tahap yang memanaskan laju pembelajaran secara linier selama 3% dari pembaruan, mempertahankannya selama 90%, dan kemudian menguranginya secara linier selama 7%.

Pemrosesan Bahasa Alami

Model data2vec menggunakan pengkodean pasangan byte 50K jenis untuk membagi input, dan kemudian model mempelajari pengkodean untuk setiap jenis. Setelah data dikodekan, model menerapkan strategi penutupan BERT pada 15% dari token yang dipilih secara seragam di mana 80% digantikan oleh token maskir yang dipelajari, 10% digantikan oleh token kosakata acak, dan 10% tidak berubah.

Selama pelatihan, model menggunakan τo = 0,999, τe = 0,9999, dan τn = 100.000, K= 10, dan β = 4. Model menggunakan optimizer Adam dengan jadwal tri-tahap yang memanaskan laju pembelajaran secara linier selama 5% dari pembaruan, mempertahankannya selama 80%, dan kemudian menguranginya secara linier selama 15%, dengan laju pembelajaran puncak 2×10-4.

Selain itu, model dilatih pada 16 GPU dengan ukuran batch 256 urutan, dan setiap urutan berisi sekitar 512 token. Untuk hilir, model dilatih dalam empat laju pembelajaran yang berbeda: 1×10-4, 2×10-4, 3×10-4, 4×10-4, dan yang berkinerja terbaik dipilih untuk tugas hilir NLP selanjutnya.

Hasil

Mari kita lihat bagaimana model data2vec berkinerja ketika menerapkan strategi yang dibahas di atas untuk modality yang berbeda.

Visi Komputer

Untuk mengevaluasi hasil untuk visi komputer, model data2vec dilatih pada gambar yang diperoleh dari dataset ImageNet-1K. Model yang dihasilkan kemudian dilatih dengan data yang dilabeli dari benchmark yang sama. Seperti yang dilakukan secara umum, model kemudian dievaluasi dalam hal akurasi top-1 pada data validasi.

Hasilnya kemudian dibedakan berdasarkan satu model pembelajaran mandiri, dan melatih model visual tokenizer terpisah pada data tambahan, atau model pembelajaran mandiri lainnya.

Tabel di bawah membandingkan kinerja model data2vec untuk visi komputer, dan model lain yang ada: ViT-L, dan ViT-B.

Hasil dari tabel di atas dapat diringkas sebagai berikut.

• Model data2vec outperforms karya sebelumnya dengan kedua model ViT-L, dan ViT-B dalam pengaturan model tunggal.
• Pengaturan prediksi yang ditutupi yang digunakan dalam algoritma data2vec untuk memprediksi representasi laten kontekstual berkinerja lebih baik dibandingkan dengan metode yang memprediksi target lokal seperti merancang fitur gambar, piksel input, atau token visual.
• Model data2vec juga outperforms metode penyulingan mandiri yang mengurangi lapisan akhir dari jaringan siswa sambil mengambil dua versi augmented yang berbeda dari gambar sebagai input.

Pengolahan Ucapan dan Audio

Untuk pengolahan ucapan dan audio, model data2vec dilatih pada sekitar 960 jam data audio yang diperoleh dari dataset Librispeech(LS-960). Dataset ini berisi audio ucapan yang jernih dari buku audio dalam bahasa Inggris, dan dianggap sebagai benchmark standar dalam industri pengolahan ucapan dan audio.

Untuk menganalisis kinerja model dalam berbagai pengaturan sumber daya, peneliti telah melatih model data2vec untuk menggunakan berbagai jumlah data yang dilabeli (dari beberapa menit hingga beberapa jam) untuk pengenalan ucapan otomatis. Untuk menganalisis kinerja model, data2vec dibandingkan dengan HuBERT dan wav2vec 2.0, dua algoritma yang paling populer untuk pembelajaran representasi ucapan dan audio yang bergantung pada unit ucapan diskrit.

Tabel di atas membandingkan kinerja data2vec dalam hal laju kata untuk pengenalan ucapan dengan model lain yang ada. LM mewakili model bahasa yang digunakan untuk dekoding. Hasilnya dapat diringkas sebagai berikut.

• Model data2vec menunjukkan perbaikan untuk sebagian besar pengaturan data yang dilabeli dengan keuntungan terbesar 10 menit data yang dilabeli untuk model Dasar.
• Ketika datang ke model besar, model berkinerja jauh lebih baik pada dataset yang dilabeli yang kecil, dan kinerjanya setara pada dataset yang kaya akan sumber daya dengan lebih dari 100 dan 960 jam data yang dilabeli. Ini karena kinerja umumnya jenuh pada dataset yang dilabeli yang kaya akan sumber daya untuk sebagian besar model.
• Setelah menganalisis kinerja, dapat disimpulkan bahwa ketika model menggunakan target kontekstual yang kaya, tidak perlu mempelajari unit diskrit.
• Mempelajari target kontekstual selama pelatihan membantu meningkatkan kinerja secara signifikan.

Selain itu, untuk memvalidasi pendekatan data2vec untuk pengenalan ucapan, model juga dilatih pada benchmark AudioSet. Meskipun pengaturan pelatihan untuk AudioSet serupa dengan Librispeech, model dilatih untuk K= 12, dan selama lebih dari 200.000 pembaruan, di mana ukuran setiap batch adalah 94,5 menit.

Model kemudian menerapkan DeepNorm framework, dan normalisasi lapisan untuk target untuk membantu dalam mengstabilkan pelatihan. Selain itu, model juga dilatih pada subset yang seimbang dengan ukuran batch 21,3 menit selama 13k pembaruan. Model juga menggunakan Linear Softmax Pooling dan mixup dengan skor probabilitas 0,7. Model kemudian menambahkan proyeksi linier tunggal ke dalam 527 kelas audio unik, dan menyetel laju pembelajaran proyeksi menjadi 2e-4.

Selain itu, parameter yang dilatih sebelumnya memiliki laju pembelajaran 3e-5, dan model menggunakan teknik penutupan untuk melatih dataset. Tabel di bawah merangkum hasilnya, dan dapat dilihat bahwa model data2vec mampu outperforms pengaturan yang setara dengan pelatihan dan data yang sama.

Pemrosesan Bahasa Alami

Untuk menganalisis kinerja data2vec pada teks, model mengikuti pengaturan pelatihan yang sama dengan BERT dan melatih model pada dataset Wikipedia bahasa Inggris dengan lebih dari 1M pembaruan, dan ukuran batch 256 urutan. Model dievaluasi pada benchmark GLUE atau Evaluasi Pemahaman Bahasa Umum yang mencakup tugas inferensi bahasa alami (MNLI atau Inferensi Bahasa Alami Multi-Genre), kesamaan kalimat (QQP atau Benchmark Pasangan Pertanyaan Quora, MRPC atau Korpus Paragraf Penelitian Microsoft (MSFT ) , dan STS-B atau Benchmark Kesamaan Semantik Tekstual), analisis sentimen (SST-2 atau Pohon Sentimen Stanford), dan gramatikal (CoLA).

Selain itu, untuk melatih model data2vec, data yang dilabeli disediakan oleh setiap tugas, dan akurasi rata-rata dilaporkan pada set pengembangan dengan 5 kali pelatihan. Tabel di bawah merangkum kinerja model data2vec untuk tugas Pemrosesan Bahasa Alami, dan membandingkannya dengan model lain.

• Data di atas menunjukkan bahwa model data2vec outperforms model baseline RoBERTa karena strategi dalam model data2vec tidak menggunakan target acak.
• Model data2vec adalah model NLP pra-latih pertama yang sukses yang tidak menggunakan unit diskrit seperti karakter, kata, atau subkata sebagai target pelatihan. Sebagai gantinya, kerangka kerja data2vec memprediksi representasi laten kontekstual di atas urutan teks yang tidak ditutupi.
• Hal ini membantu dalam menciptakan tugas pembelajaran di mana model harus memprediksi target dengan sifat tertentu dari urutan saat ini daripada memprediksi representasi yang generik untuk setiap unit teks dengan diskresi tertentu.
• Selain itu, set target pelatihan tidak tetap, dan model bebas untuk mendefinisikan target baru, dan terbuka untuk pengaturan kosakata.

Studi Ablasi Data2Vec

Ablasi adalah istilah yang digunakan untuk mendefinisikan penghapusan komponen dalam sistem AI dan ML. Studi ablasi digunakan untuk menyelidiki atau menganalisis kinerja model AI atau ML dengan menghapus komponen kunci dari model yang memungkinkan peneliti untuk memahami kontribusi komponen tersebut dalam sistem secara keseluruhan.

Target Rata-Rata Lapisan

Perbedaan utama antara data2vec dan model pembelajaran mandiri lainnya adalah bahwa data2vec menggunakan target yang berdasarkan pada rata-rata beberapa lapisan dari jaringan guru. Ide ini berasal dari fakta bahwa lapisan atas dari model wav2vec 2.0 tidak berkinerja dengan baik untuk tugas hilir dibandingkan dengan lapisan tengah model.

Dalam eksperimen berikut, kinerja ketiga modality diukur dengan merata-ratakan K= 1, 2, …, 12 lapisan di mana K= 1 memprediksi hanya lapisan atas. Namun, untuk mendapatkan waktu putaran yang lebih cepat, model data2vec melatih model Dasar dengan 12 lapisan total. Untuk pengenalan ucapan, model dilatih sebelumnya pada lebih dari 200.000 pembaruan pada Librispeech, dan kemudian dilatih pada split yang dilabeli 10 jam dari Libri-light. Untuk Pemrosesan Bahasa Alami, model melaporkan skor GLUE rata-rata untuk set validasi, dan dilatih sebelumnya selama 300 epoch untuk visi komputer & kemudian melaporkan akurasi top-1 yang diperoleh pada dataset ImageNet.

Gambar di atas menunjukkan bahwa target yang berdasarkan pada beberapa lapisan umumnya meningkatkan ketika hanya lapisan atas K=1 yang digunakan untuk semua modality. Menggunakan semua lapisan yang tersedia adalah praktik yang baik karena jaringan saraf membangun fitur di atas fitur yang berbeda, dan banyak lapisan yang kemudian diekstrak sebagai lapisan fitur.

Menggunakan fitur dari beberapa lapisan membantu meningkatkan akurasi, dan memperkaya proses pembelajaran mandiri.

Jenis Fitur Target

Blok Transformer dalam model data2vec memiliki beberapa lapisan yang dapat berfungsi sebagai target. Untuk menganalisis bagaimana lapisan yang berbeda mempengaruhi kinerja, model dilatih sebelumnya pada model ucapan Librispeech yang menggunakan lapisan yang berbeda sebagai fitur target.

Gambar di bawah dengan jelas menunjukkan bahwa output dari jaringan feed-forward atau FFN bekerja dengan ideal, sedangkan output dari blok perhatian mandiri tidak menghasilkan model yang dapat digunakan.

Kontekstualisasi Target

Representasi guru dalam model data2vec menggunakan perhatian mandiri di atas input seluruhnya untuk menghasilkan target kontekstual. Ini membedakan data2vec dari model pembelajaran mandiri lainnya yang membangun tugas pembelajaran dengan merekonstruksi atau memprediksi bagian lokal dari input. Ini memunculkan pertanyaan: apakah model data2vec memerlukan target kontekstual untuk bekerja dengan baik?

Untuk menjawab pertanyaan ini, peneliti membangun representasi target yang tidak memiliki akses ke input seluruhnya tetapi hanya sebagian yang telah ditentukan sebelumnya. Model kemudian membatasi mekanisme perhatian mandiri dari guru yang memungkinkan untuk mengakses hanya sebagian dari lingkungan input sekitarnya.

Gambar di bawah menunjukkan bahwa ukuran konteks yang lebih besar seringkali menghasilkan kinerja yang lebih baik, dan ketika input seluruhnya terlihat, maka menghasilkan akurasi terbaik.

Pengambil Fitur Modality Spesifik dan Penutupan

Tujuan utama dari data2vec adalah untuk merancang mekanisme pembelajaran yang sederhana yang dapat bekerja dengan modality yang berbeda. Ini karena, meskipun model dan kerangka kerja saat ini memiliki rezim pembelajaran yang bersatu, mereka masih menggunakan penutupan dan pengambil fitur modality spesifik.

Ini masuk akal bahwa kerangka kerja sebagian besar bekerja dengan satu modality karena sifat input data bervariasi secara signifikan dari satu modality ke modality lain. Misalnya, model pengenalan ucapan menggunakan input resolusi tinggi (seperti 10 kHz waveform) yang biasanya memiliki ribuan sampel.

Target Terstruktur dan Kontekstual

Poin utama yang membedakan data2vec dari model prediksi yang ditutupi lainnya adalah bahwa dalam model data2vec, fitur target pelatihan dikontekstualkan. Fitur ini dibangun menggunakan perhatian mandiri dari input yang ditutupi seluruhnya dalam mode guru.

Beberapa kerangka kerja lain seperti BYOL (Bootstrap Your Own Latent) atau DINO juga menggunakan representasi laten seperti data2vec, tetapi fokus utama mereka adalah untuk mempelajari representasi yang invariant terhadap transformasi.

Pemikiran Akhir

Karya terbaru dalam industri AI dan ML telah menunjukkan bahwa arsitektur model yang seragam dapat menjadi pendekatan yang efektif untuk menangani beberapa modality. Model data2vec menggunakan pendekatan pembelajaran mandiri untuk bekerja dengan tiga modality: ucapan, gambar, dan bahasa.

Konsep kunci di balik model data2vec adalah untuk menggunakan tampilan sebagian dari input untuk mengurangi informasi kontekstual atau input data. Pendekatan yang digunakan oleh kerangka kerja data2vec efektif karena model berkinerja lebih baik daripada model pembelajaran mandiri sebelumnya pada dataset ImageNet-1K untuk kedua model ViT-B dan ViT-L.

Data2vec benar-benar merupakan tonggak dalam industri pembelajaran mandiri karena menunjukkan bahwa satu metode pembelajaran untuk mempelajari beberapa modality dapat membuatnya lebih mudah bagi model untuk belajar di seluruh modality.