Model dan platform AI

data2vec: Tonggak Penting dalam Pembelajaran dengan Supervisi Mandiri

Kunal Kejriwal
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaMeta AI's data2vec adalah algoritma pembelajaran mandiri pertama yang berfungsi untuk…
Lihat selengkapnya
  • Meta AI's data2vec adalah algoritma pembelajaran mandiri pertama yang berfungsi untuk gambar, teks, dan ucapan.
  • Algoritma ini memprediksi representasi data terkontekstualisasi penuh dari masukan yang disamarkan menggunakan arsitektur Transformer tunggal.
  • Model ini menghindari bias spesifik modalitas dengan menggunakan tujuan pembelajaran yang seragam untuk semua jenis data.

Model pembelajaran mesin telah sangat bergantung pada data yang dilabeli untuk pelatihan, dan secara tradisional, pelatihan model pada data yang dilabeli menghasilkan hasil yang akurat. Namun, kelemahan utama dari menggunakan data yang dilabeli adalah biaya anotasi yang tinggi yang meningkat dengan peningkatan ukuran data pelatihan. Biaya anotasi yang tinggi merupakan hambatan besar bagi pengembang, terutama ketika bekerja pada proyek besar dengan jumlah data pelatihan yang besar.

Untuk mengatasi masalah anotasi, pengembang menciptakan konsep SSL atau Pembelajaran dengan Supervisi Mandiri. Pembelajaran dengan Supervisi Mandiri adalah proses pembelajaran mesin di mana model melatih dirinya sendiri untuk mempelajari sebagian dari input dari bagian lain dari input. Model Pembelajaran dengan Supervisi Mandiri bertujuan untuk memanfaatkan hubungan antara data daripada menggunakan sinyal pengawasan data yang dilabeli.

Selain Pembelajaran dengan Supervisi Mandiri, ada beberapa metode dan model lain untuk melatih model pembelajaran mesin tanpa menggunakan data yang dilabeli. Namun, sebagian besar metode ini memiliki dua masalah utama

  1. Mereka seringkali dikhususkan untuk satu modalitas seperti gambar atau teks.
  2. Mereka memerlukan jumlah daya komputasi yang tinggi.

Keterbatasan ini merupakan masalah besar mengapa pikiran manusia rata-rata dapat belajar dari satu jenis data jauh lebih efektif dibandingkan dengan model AI yang bergantung pada model dan data pelatihan yang terpisah untuk membedakan antara gambar, teks, dan ucapan.

Untuk mengatasi masalah modalitas tunggal, Meta AI merilis data2vec, algoritma pertama yang menggunakan pembelajaran dengan supervisi mandiri dengan kinerja tinggi untuk mempelajari pola informasi dari tiga modalitas yang berbeda: gambar, teks, dan ucapan. Dengan implementasi algoritma data2vec, pemahaman teks dapat diterapkan pada masalah segmentasi gambar, atau dapat diterapkan pada tugas pengenalan ucapan.

Dalam artikel ini, kita akan membahas model data2vec secara mendalam. Kita akan membahas gambaran umum metode, karya terkait, arsitektur, dan hasil model dengan lebih dalam sehingga Anda memiliki pemahaman yang jelas tentang algoritma data2vec.

Pengenalan Data2vec: Ide Inti

Meskipun konsep dasar Pembelajaran dengan Supervisi Mandiri diterapkan di seluruh modalitas, tujuan dan algoritma yang sebenarnya berbeda karena mereka dirancang untuk satu modalitas. Merancang model untuk satu modalitas adalah alasan mengapa algoritma pembelajaran dengan supervisi mandiri yang sama tidak dapat bekerja efektif di seluruh jenis data pelatihan yang berbeda.

Untuk mengatasi tantangan yang disajikan oleh model dan algoritma modalitas tunggal, Meta AI merilis data2vec, sebuah algoritma yang menggunakan metode pembelajaran yang sama untuk visi komputer, NLP, atau ucapan.

Ide inti di balik algoritma data2vec adalah menggunakan tampilan yang ditutupi dari input untuk memprediksi representasi laten dari data input penuh dalam pengaturan penyulingan mandiri dengan bantuan arsitektur Transformer standar. Jadi, bukan objek modalitas spesifik seperti gambar, teks, atau suara yang lokal, algoritma data2vec memprediksi representasi laten dengan informasi dari data pelatihan atau input penuh.

Mengapa Industri AI Membutuhkan Algoritma Data2Vec?

Model Pembelajaran dengan Supervisi Mandiri membangun representasi dari data pelatihan menggunakan label anotasi manusia, dan itu adalah salah satu alasan utama di balik kemajuan teknologi NLP atau Pemrosesan Bahasa Alami, dan teknologi Visi Komputer. Representasi pembelajaran dengan supervisi mandiri ini adalah alasan mengapa tugas seperti pengenalan ucapan dan pembelajaran mesin menerapkan pembelajaran tidak terawasi dalam model mereka.

Sampai sekarang, algoritma pembelajaran dengan supervisi mandiri ini fokus pada modalitas individu yang menghasilkan bias pembelajaran, dan desain khusus dalam model. Modalitas individu dari algoritma pembelajaran dengan supervisi mandiri menciptakan tantangan dalam berbagai aplikasi AI, termasuk visi komputer dan NLP.

Misalnya, ada kosakata unit ucapan dalam pengolahan ucapan yang dapat mendefinisikan tugas pembelajaran dengan supervisi mandiri dalam NLP. Serupa dengan itu, dalam visi komputer, pengembang dapat meregresikan masukan, mempelajari token visual diskrit, atau mempelajari representasi yang invariant terhadap augmentasi data. Meskipun bias pembelajaran ini berguna, sulit untuk memastikan apakah bias ini akan umum untuk modalitas lain.

Algoritma data2vec adalah sebuah tonggak penting dalam industri pembelajaran dengan supervisi mandiri karena bertujuan untuk meningkatkan beberapa modalitas daripada hanya satu. Selain itu, algoritma data2vec tidak bergantung pada merekonstruksi input atau pembelajaran kontras.

Jadi, alasan mengapa dunia membutuhkan data2vec adalah karena algoritma data2vec memiliki potensi untuk mempercepat kemajuan dalam AI, dan berkontribusi pada pengembangan model AI yang dapat belajar tentang berbagai aspek lingkungan mereka dengan mulus. Ilmuwan berharap bahwa algoritma data2vec akan memungkinkan mereka untuk mengembangkan model AI dan ML yang lebih adaptif dan mampu melakukan tugas lanjutan di luar kemampuan model AI saat ini.

Apa itu Algoritma Data2Vec?

Data2vec adalah kerangka kerja yang bersatu yang bertujuan untuk menerapkan pembelajaran dengan supervisi mandiri di seluruh modalitas data yang berbeda, termasuk gambar, ucapan, dan teks.

Algoritma data2vec bertujuan untuk mengembangkan model ML yang dapat mempelajari pola umum dalam lingkungan dengan lebih baik dengan menjaga tujuan pembelajaran seragam di seluruh modalitas yang berbeda. Model data2vec menyatukan algoritma pembelajaran, tetapi masih mempelajari representasi untuk setiap modalitas secara individu.

Dengan pengenalan algoritma data2vec, Meta AI berharap bahwa akan membuat pembelajaran multimodal efektif dan lebih sederhana.

Bagaimana Algoritma Data2Vec Bekerja?

Algoritma data2vec menggabungkan pembelajaran representasi target laten dengan prediksi yang ditutupi, meskipun menggunakan beberapa lapisan jaringan sebagai target untuk menggeneralisasi representasi laten. Model secara khusus melatih jaringan Transformer yang kemudian digunakan baik dalam mode guru atau mode siswa.

Dalam mode guru, model pertama-tama membangun representasi dari data input yang berfungsi sebagai target dalam tugas pembelajaran. Dalam mode siswa, model mengkodekan versi yang ditutupi dari data input yang kemudian digunakan untuk membuat prediksi pada representasi data penuh.

Gambar di atas mewakili bagaimana model data2vec menggunakan proses pembelajaran yang sama untuk modalitas yang berbeda. Pada langkah pertama, model menghasilkan representasi dari data input (mode guru). Model kemudian meregresikan representasi ini berdasarkan versi yang ditutupi dari data input.

Selain itu, karena algoritma data2vec menggunakan representasi laten dari data input, dapat dilihat sebagai versi sederhana dari desain modalitas spesifik seperti menciptakan target yang sesuai dengan menormalisasi input atau mempelajari set token visual yang tetap. Namun, poin penting yang membedakan data2vec dari algoritma lain adalah bahwa data2vec menggunakan perhatian mandiri untuk membuat representasi target kontekstual dan kontinu. Di sisi lain, model pembelajaran dengan supervisi mandiri lain menggunakan set target yang tetap yang berdasarkan konteks lokal.

Metode Data2vec

Model data2vec dilatih dengan memprediksi representasi model dari data input yang diberikan tampilan sebagian dari input. Seperti yang dapat dilihat dalam gambar yang diberikan, wajah anjing ditutupi, bagian tertentu dari catatan suara ditutupi, dan kata “dengan” ditutupi dalam teks.

Model pertama-tama mengkodekan versi yang ditutupi dari sampel pelatihan (mode siswa), dan kemudian mengkodekan versi yang tidak ditutupi dari input untuk membangun target pelatihan dengan model yang sama tetapi hanya ketika diparameterisasi sebagai rata-rata eksponensial dari bobot model(mode guru). Selain itu, representasi target mengkodekan informasi yang ada dalam sampel pelatihan, dan dalam mode siswa, tugas pembelajaran digunakan untuk memprediksi representasi ini ketika diberikan tampilan sebagian dari input.

Arsitektur Model

Model data2vec menggunakan arsitektur Transformer standar dengan pengkodean modalitas spesifik dari data input. Untuk tugas yang terkait dengan visi komputer, model menggunakan strategi ViT untuk mengkodekan gambar sebagai urutan patch yang masing-masing mencakup 16×16 piksel, dan diumpankan sebagai transformasi linier.

Selain itu, untuk data pengenalan ucapan, model mengkodekan data menggunakan jaringan konvolusi satu dimensi multilapis yang memetakan 16 kHz waveform menjadi representasi 50 Hz. Untuk memproses data teks, model melakukan pra-pengolahan data untuk mengekstrak unit subkata, dan kemudian mengkodekan data dalam ruang distribusi melalui vektor pengkodean.

Penyamaran Masukan (Masking)

Setelah masukan direpresentasikan sebagai urutan token, model menyamarkan sebagian unit dengan menggantinya menggunakan token embedding, lalu memasukkan urutan tersebut ke jaringan Transformer. Untuk penglihatan komputer, model menggunakan penyamaran berbasis blok. Pada data ucapan, rentang representasi laten ucapan disamarkan; pada tugas bahasa, token yang disamarkan.

Target Pelatihan

Model data2vec memprediksi representasi sampel pelatihan yang tidak disamarkan berdasarkan pengodean sampel tersamar yang diberikan sebagai masukan. Prediksi hanya dibuat untuk langkah waktu yang disamarkan.

Representasi yang diprediksi bersifat kontekstual: tidak hanya memuat informasi tentang satu langkah waktu, tetapi juga informasi lain dalam sampel karena jaringan Transformer menggunakan self-attention. Representasi kontekstual dan jaringan Transformer ini membedakan data2vec dari BERT, wav2vec, BEiT, SimMIM, MAE, dan MaskFeat, yang memprediksi target tanpa informasi kontekstual tersebut.

Berikut cara data2vec memparameterisasi mode guru untuk memprediksi representasi jaringan yang kemudian menjadi target.

Parameterisasi Guru

Pengodean sampel pelatihan yang tidak disamarkan menggunakan EMA atau Exponential Moving Average dari parameter model θ. Bobot model dalam mode target ∆ diperbarui sebagai berikut:

∆ ← τ∆ + (1 − τ) θ

Parameter τ meningkat secara linear dari τ0 hingga τe selama τn pembaruan pertama. Setelah itu nilainya tetap hingga pelatihan selesai. Menurut uraian artikel sumber, strategi EMA memperbarui guru lebih sering pada awal pelatihan, ketika model masih acak, dan lebih jarang setelah parameter yang baik dipelajari.

Hasil penelitian menunjukkan bahwa model lebih efisien dan akurat ketika mode siswa dan guru berbagi parameter encoder fitur dan encoder posisi.

Target

Target pelatihan dibangun dari keluaran K blok teratas jaringan guru untuk langkah waktu yang disamarkan pada mode siswa. Keluaran blok l pada langkah waktu t dinyatakan sebagai alt. Setiap blok dinormalisasi menjadi âlt, kemudian K blok teratas dirata-ratakan:

Hasilnya adalah target pelatihan yt untuk langkah waktu t dalam jaringan yang memiliki total L blok. Dalam mode siswa, model meregresikan target tersebut. Pada eksperimen awal, memprediksi setiap blok secara terpisah menggunakan proyeksi khusus juga memberikan hasil yang baik dan efisien.

Normalisasi target membantu mencegah representasi setiap langkah waktu runtuh menjadi nilai konstan dan mencegah lapisan dengan skala nilai besar mendominasi fitur target. Untuk pengenalan ucapan, model memakai normalisasi instance pada sampel masukan saat ini tanpa parameter yang dipelajari. Hal ini penting karena stride masukan yang kecil membuat representasi bertetangga sangat berkorelasi.

Pada penglihatan komputer dan NLP, normalisasi tanpa parameter juga sudah memadai. Regularisasi Variance-Invariance-Covariance dapat menjadi alternatif, tetapi strategi tersebut bekerja cukup baik tanpa parameter tambahan.

Fungsi Objektif

Untuk target pelatihan kontekstual yt, model menggunakan Smooth L1 loss untuk melakukan regresi terhadap target:

Parameter β mengendalikan peralihan dari loss kuadrat ke loss L1 sesuai selisih antara target dan prediksi model ft(x) pada langkah waktu t. Loss ini relatif kurang sensitif terhadap pencilan, tetapi nilai β tetap perlu disesuaikan.

Pengaturan Eksperimen

Eksperimen menggunakan dua ukuran model: data2vec Large dan data2vec Base. Untuk kestabilan numerik, pembaruan EMA dilakukan dalam fp32. Model memiliki L = 12 atau L = 24 blok Transformer dengan dimensi tersembunyi H = 768 atau H = 1024. Berikut pengaturan eksperimen untuk berbagai modalitas dan tujuan.

Penglihatan Komputer

Gambar berukuran 224 × 224 piksel dipecah menjadi patch berukuran 16 × 16 piksel. Setiap patch ditransformasikan secara linear, lalu urutan yang berisi 196 representasi dimasukkan ke Transformer standar.

Model mengikuti BEiT dengan menyamarkan blok patch yang berdekatan. Setiap blok memiliki sedikitnya 16 patch dengan rasio aspek acak. Namun, data2vec menyamarkan 60% patch, bukan 40% seperti BEiT, untuk meningkatkan akurasi.

Selain itu, model secara acak mengubah ukuran potongan gambar (crop), membalik secara horizontal, dan mengubah warna. Akhirnya, model data2vec menggunakan gambar yang dimodifikasi sama dalam mode guru dan mode siswa.

Model ViT-B dilatih selama 800 epoch, dan model data2vec menggunakan ukuran batch 8.192 untuk model ViT-L, dan 2.048 untuk model ViT-B. Model data2vec juga menggunakan jadwal Adam dan cosine dengan satu siklus untuk memanaskan laju pembelajaran selama 80 epoch hingga 0,001 untuk ViT-L, dan selama 40 epoch hingga 0,001 untuk ViT-B.

Untuk kedua ViT-B dan ViT-L, model data2vec menggunakan β = 2, K = 6, dan τ = 0,9998 sebagai konstanta tanpa jadwal. Model juga menggunakan tingkat kedalaman stokastik 0,2.

Selain itu, untuk ViT-L, model dilatih selama 1.600 epoch di mana 800 epoch pertama memiliki laju pembelajaran sebagai 0,9998, dan kemudian model mereset jadwal laju pembelajaran, dan melanjutkan selama 800 epoch terakhir dengan laju pembelajaran sebagai 0,9999.

Untuk klasifikasi gambar, model menggunakan mean pooling (perataan) output dari blok Transformer terakhir, dan memasukkan keluaran ke pengklasifikasi yang dinormalisasi dengan softmax. Model kemudian melakukan fine-tuning pada ViT-L selama 50 epoch dan ViT-B selama 100 epoch menggunakan jadwal cosine dan Adam untuk memanaskan laju pembelajaran.

Pengolahan Ucapan

Untuk pengolahan ucapan, model data2vec menggunakan Fairseq, sebuah kit pemodelan urutan yang digunakan untuk melatih model kustom untuk ringkasan, terjemahan, dan generasi teks. Model mengambil 16 kHz waveform sebagai input yang diproses menggunakan encoder fitur, dan berisi konvolusi temporal dengan 512 saluran, lebar kernel (10,3,3,3,3,2,2), dan langkah (5,2,2,2,2,2,2).

Hasilnya adalah output frekuensi encoder menjadi 50Hz, dan memiliki langkah 20ms antara setiap sampel. Bidang penerimaan mencakup 400 sampel input atau 25 ms audio. Gelombang waveform mentah yang diumpankan ke encoder dinormalisasi ke varians unit dan rata-rata nol.

Strategi penutupan yang digunakan oleh model data2vec untuk model Dasar menyerupai kerangka kerja Baevski untuk pembelajaran dengan supervisi mandiri dalam pengenalan ucapan. Model mengambil p= 0,065 untuk semua langkah waktu untuk menjadi indeks awal, dan melanjutkan untuk menandai sepuluh langkah waktu berikutnya. Untuk urutan pelatihan yang khas, proses ini memungkinkan sekitar 49% dari total langkah waktu untuk ditutupi.

Selama pelatihan, model data2vec menjadwalkan τ secara linear menggunakan τo = 0,999, τe = 0,9999, dan τn = 30.000. Model data2vec menggunakan optimizer Adam dengan laju pembelajaran puncak 5×10-4 untuk model Dasar. Selain itu, model Dasar menggunakan jadwal tri-tahap yang memanaskan laju pembelajaran secara linier selama 3% dari pembaruan, mempertahankannya selama 90%, dan kemudian menguranginya secara linier selama 7%.

Pemrosesan Bahasa Alami

Model data2vec menggunakan pengkodean pasangan byte 50K jenis untuk membagi input, dan kemudian model mempelajari pengkodean untuk setiap jenis. Setelah data dikodekan, model menerapkan strategi penutupan BERT pada 15% dari token yang dipilih secara seragam di mana 80% digantikan oleh token maskir yang dipelajari, 10% digantikan oleh token kosakata acak, dan 10% tidak berubah.

Selama pelatihan, model menggunakan τo = 0,999, τe = 0,9999, dan τn = 100.000, K= 10, dan β = 4. Model menggunakan optimizer Adam dengan jadwal tri-tahap yang memanaskan laju pembelajaran secara linier selama 5% dari pembaruan, mempertahankannya selama 80%, dan kemudian menguranginya secara linier selama 15%, dengan laju pembelajaran puncak 2×10-4.

Selain itu, model dilatih pada 16 GPU dengan ukuran batch 256 urutan, dan setiap urutan berisi sekitar 512 token. Untuk hilir, model dilatih dalam empat laju pembelajaran yang berbeda: 1×10-4, 2×10-4, 3×10-4, 4×10-4, dan yang berkinerja terbaik dipilih untuk tugas hilir NLP selanjutnya.

Hasil

Mari kita lihat bagaimana model data2vec berkinerja ketika menerapkan strategi yang dibahas di atas untuk modalitas yang berbeda.

Visi Komputer

Untuk mengevaluasi hasil untuk visi komputer, model data2vec dilatih pada gambar yang diperoleh dari dataset ImageNet-1K. Model yang dihasilkan kemudian disetel (fine-tuning) menggunakan data berlabel dari benchmark yang sama. Seperti yang dilakukan secara umum, model kemudian dievaluasi dalam hal akurasi top-1 pada data validasi.

Hasilnya kemudian dibedakan berdasarkan satu model pembelajaran dengan supervisi mandiri, dan melatih model visual tokenizer terpisah pada data tambahan, atau model pembelajaran dengan supervisi mandiri lainnya.

Tabel di bawah membandingkan kinerja model data2vec untuk visi komputer, dan model lain yang ada: ViT-L, dan ViT-B.

Hasil dari tabel di atas dapat diringkas sebagai berikut.

  • Model data2vec mengungguli karya sebelumnya dengan kedua model ViT-L, dan ViT-B dalam pengaturan model tunggal.
  • Pengaturan prediksi yang ditutupi yang digunakan dalam algoritma data2vec untuk memprediksi representasi laten kontekstual berkinerja lebih baik dibandingkan dengan metode yang memprediksi target lokal seperti merancang fitur gambar, piksel input, atau token visual.
  • Model data2vec juga mengungguli metode distilasi mandiri yang meregresikan keluaran lapisan akhir jaringan siswa sambil mengambil dua versi augmented yang berbeda dari gambar sebagai input.

Pengolahan Ucapan dan Audio

Untuk pengolahan ucapan dan audio, model data2vec dilatih pada sekitar 960 jam data audio yang diperoleh dari dataset Librispeech(LS-960). Dataset ini berisi audio ucapan yang jernih dari buku audio dalam bahasa Inggris, dan dianggap sebagai benchmark standar dalam industri pengolahan ucapan dan audio.

Untuk menganalisis kinerja model dalam berbagai pengaturan sumber daya, peneliti telah melatih model data2vec untuk menggunakan berbagai jumlah data yang dilabeli (dari beberapa menit hingga beberapa jam) untuk pengenalan ucapan otomatis. Untuk menganalisis kinerja model, data2vec dibandingkan dengan HuBERT dan wav2vec 2.0, dua algoritma yang paling populer untuk pembelajaran representasi ucapan dan audio yang bergantung pada unit ucapan diskrit.

Tabel di atas membandingkan kinerja data2vec dalam hal laju kata untuk pengenalan ucapan dengan model lain yang ada. LM mewakili model bahasa yang digunakan untuk dekoding. Hasilnya dapat diringkas sebagai berikut.

  • Model data2vec menunjukkan perbaikan untuk sebagian besar pengaturan data yang dilabeli dengan keuntungan terbesar 10 menit data yang dilabeli untuk model Dasar.
  • Ketika datang ke model besar, model berkinerja jauh lebih baik pada dataset yang dilabeli yang kecil, dan kinerjanya setara pada dataset yang kaya akan sumber daya dengan lebih dari 100 dan 960 jam data yang dilabeli. Ini karena kinerja umumnya jenuh pada dataset yang dilabeli yang kaya akan sumber daya untuk sebagian besar model.
  • Setelah menganalisis kinerja, dapat disimpulkan bahwa ketika model menggunakan target kontekstual yang kaya, tidak perlu mempelajari unit diskrit.
  • Mempelajari target kontekstual selama pelatihan membantu meningkatkan kinerja secara signifikan.

Selain itu, untuk memvalidasi pendekatan data2vec untuk pengenalan ucapan, model juga dilatih pada benchmark AudioSet. Meskipun pengaturan pelatihan untuk AudioSet serupa dengan Librispeech, model dilatih untuk K= 12, dan selama lebih dari 200.000 pembaruan, di mana ukuran setiap batch adalah 94,5 menit.

Model kemudian menerapkan DeepNorm framework, dan normalisasi lapisan untuk target untuk membantu dalam menstabilkan pelatihan. Selain itu, model juga dilatih pada subset yang seimbang dengan ukuran batch 21,3 menit selama 13k pembaruan. Model juga menggunakan Linear Softmax Pooling dan mixup dengan skor probabilitas 0,7. Model kemudian menambahkan proyeksi linier tunggal ke dalam 527 kelas audio unik, dan menyetel laju pembelajaran proyeksi menjadi 2e-4.

Selain itu, parameter yang dilatih sebelumnya memiliki laju pembelajaran 3e-5, dan model menggunakan teknik penyamaran untuk fine-tuning pada dataset. Tabel di bawah merangkum hasilnya, dan dapat dilihat bahwa model data2vec mampu mengungguli pengaturan yang sebanding dengan fine-tuning dan data prapelatihan yang sama.

Pemrosesan Bahasa Alami

Untuk menganalisis kinerja data2vec pada teks, model mengikuti pengaturan pelatihan yang sama dengan BERT dan melatih model pada dataset Wikipedia bahasa Inggris dengan lebih dari 1M pembaruan, dan ukuran batch 256 urutan. Model dievaluasi pada benchmark GLUE atau Evaluasi Pemahaman Bahasa Umum yang mencakup tugas inferensi bahasa alami (MNLI atau Inferensi Bahasa Alami Multi-Genre), kesamaan kalimat (QQP atau Benchmark Pasangan Pertanyaan Quora, MRPC atau Korpus Paragraf Penelitian Microsoft (MSFT ) , dan STS-B atau Benchmark Kesamaan Semantik Tekstual), analisis sentimen (SST-2 atau Pohon Sentimen Stanford), dan gramatikal (CoLA).

Selain itu, untuk melakukan fine-tuning pada model data2vec, setiap tugas menyediakan data berlabel, dan akurasi rata-rata dilaporkan pada set pengembangan dengan 5 kali fine-tuning. Tabel di bawah merangkum kinerja model data2vec untuk tugas Pemrosesan Bahasa Alami, dan membandingkannya dengan model lain.

  • Data di atas menunjukkan bahwa model data2vec mengungguli model baseline RoBERTa karena strategi dalam model data2vec tidak menggunakan target acak.
  • Model data2vec adalah model NLP pra-latih pertama yang sukses yang tidak menggunakan unit diskrit seperti karakter, kata, atau subkata sebagai target pelatihan. Sebagai gantinya, kerangka kerja data2vec memprediksi representasi laten kontekstual di atas urutan teks yang tidak ditutupi.
  • Hal ini membantu dalam menciptakan tugas pembelajaran di mana model harus memprediksi target dengan sifat tertentu dari urutan saat ini daripada memprediksi representasi yang generik untuk setiap unit teks dengan diskresi tertentu.
  • Selain itu, set target pelatihan tidak tetap, dan model bebas untuk mendefinisikan target baru, dan terbuka untuk pengaturan kosakata.

Studi Ablasi Data2Vec

Ablasi adalah istilah yang digunakan untuk mendefinisikan penghapusan komponen dalam sistem AI dan ML. Studi ablasi digunakan untuk menyelidiki atau menganalisis kinerja model AI atau ML dengan menghapus komponen kunci dari model yang memungkinkan peneliti untuk memahami kontribusi komponen tersebut dalam sistem secara keseluruhan.

Target Rata-Rata Lapisan

Perbedaan utama antara data2vec dan model pembelajaran dengan supervisi mandiri lainnya adalah bahwa data2vec menggunakan target yang berdasarkan pada rata-rata beberapa lapisan dari jaringan guru. Ide ini berasal dari fakta bahwa lapisan atas dari model wav2vec 2.0 tidak berkinerja dengan baik untuk tugas hilir dibandingkan dengan lapisan tengah model.

Dalam eksperimen berikut, kinerja ketiga modalitas diukur dengan merata-ratakan K= 1, 2, …, 12 lapisan di mana K= 1 memprediksi hanya lapisan atas. Namun, untuk mendapatkan waktu putaran yang lebih cepat, model data2vec melatih model Dasar dengan 12 lapisan total. Untuk pengenalan ucapan, model dilatih sebelumnya pada lebih dari 200.000 pembaruan pada Librispeech, dan kemudian disetel (fine-tuning) pada subset berlabel berdurasi 10 jam dari Libri-light. Untuk Pemrosesan Bahasa Alami, model melaporkan skor GLUE rata-rata untuk set validasi, dan dilatih sebelumnya selama 300 epoch untuk visi komputer & kemudian melaporkan akurasi top-1 yang diperoleh pada dataset ImageNet.

Gambar di atas menunjukkan bahwa target yang berdasarkan pada beberapa lapisan umumnya meningkatkan ketika hanya lapisan atas K=1 yang digunakan untuk semua modalitas. Menggunakan semua lapisan yang tersedia adalah praktik yang baik karena jaringan saraf membangun fitur di atas fitur yang berbeda, dan banyak lapisan yang kemudian diekstrak sebagai lapisan fitur.

Menggunakan fitur dari beberapa lapisan membantu meningkatkan akurasi, dan memperkaya proses pembelajaran dengan supervisi mandiri.

Jenis Fitur Target

Blok Transformer dalam model data2vec memiliki beberapa lapisan yang dapat berfungsi sebagai target. Untuk menganalisis bagaimana lapisan yang berbeda mempengaruhi kinerja, model dilatih sebelumnya pada model ucapan Librispeech yang menggunakan lapisan yang berbeda sebagai fitur target.

Gambar di bawah dengan jelas menunjukkan bahwa output dari jaringan feed-forward atau FFN bekerja dengan ideal, sedangkan output dari blok perhatian mandiri tidak menghasilkan model yang dapat digunakan.

Kontekstualisasi Target

Representasi guru dalam model data2vec menggunakan perhatian mandiri di atas input seluruhnya untuk menghasilkan target kontekstual. Ini membedakan data2vec dari model pembelajaran dengan supervisi mandiri lainnya yang membangun tugas pembelajaran dengan merekonstruksi atau memprediksi bagian lokal dari input. Ini memunculkan pertanyaan: apakah model data2vec memerlukan target kontekstual untuk bekerja dengan baik?

Untuk menjawab pertanyaan ini, peneliti membangun representasi target yang tidak memiliki akses ke input seluruhnya tetapi hanya sebagian yang telah ditentukan sebelumnya. Model kemudian membatasi mekanisme perhatian mandiri dari guru yang memungkinkan untuk mengakses hanya sebagian dari lingkungan input sekitarnya. Setelah pelatihan, model disetel kembali dengan akses ke ukuran konteks penuh.

Gambar di bawah menunjukkan bahwa ukuran konteks yang lebih besar seringkali menghasilkan kinerja yang lebih baik, dan ketika input seluruhnya terlihat, maka menghasilkan akurasi terbaik. Hal ini juga menunjukkan bahwa representasi target yang lebih kaya dapat meningkatkan kinerja.

Pengambil Fitur Modalitas Spesifik dan Penutupan

Tujuan utama dari data2vec adalah untuk merancang mekanisme pembelajaran yang sederhana yang dapat bekerja dengan modalitas yang berbeda. Ini karena, meskipun model dan kerangka kerja saat ini memiliki rezim pembelajaran yang bersatu, mereka masih menggunakan penutupan dan pengambil fitur modalitas spesifik.

Ini masuk akal bahwa kerangka kerja sebagian besar bekerja dengan satu modalitas karena sifat input data bervariasi secara signifikan dari satu modalitas ke modalitas lain. Misalnya, model pengenalan ucapan menggunakan input resolusi tinggi (seperti bentuk gelombang 10 kHz) yang biasanya memiliki ribuan sampel. Bentuk gelombang kemudian diproses melalui jaringan saraf konvolusional multilapis untuk menghasilkan urutan fitur 50 Hz.

Target Terstruktur dan Kontekstual

Poin utama yang membedakan data2vec dari model prediksi yang ditutupi lainnya adalah bahwa dalam model data2vec, fitur target pelatihan dikontekstualkan. Fitur ini dibangun menggunakan perhatian mandiri dari input yang ditutupi seluruhnya dalam mode guru.

Beberapa kerangka kerja lain seperti BYOL (Bootstrap Your Own Latent) atau DINO juga menggunakan representasi laten seperti data2vec, tetapi fokus utama mereka adalah untuk mempelajari representasi yang invariant terhadap transformasi.

Pemikiran Akhir

Karya terbaru dalam industri AI dan ML telah menunjukkan bahwa arsitektur model yang seragam dapat menjadi pendekatan yang efektif untuk menangani beberapa modalitas. Model data2vec menggunakan pendekatan pembelajaran dengan supervisi mandiri untuk bekerja dengan tiga modalitas: ucapan, gambar, dan bahasa.

Konsep kunci di balik model data2vec adalah untuk menggunakan tampilan sebagian dari input untuk meregresikan informasi kontekstual atau data masukan. Pendekatan yang digunakan oleh kerangka kerja data2vec efektif karena model berkinerja lebih baik daripada model pembelajaran dengan supervisi mandiri sebelumnya pada dataset ImageNet-1K untuk kedua model ViT-B dan ViT-L.

Data2vec benar-benar merupakan tonggak dalam industri pembelajaran dengan supervisi mandiri karena menunjukkan bahwa satu metode pembelajaran untuk mempelajari beberapa modalitas dapat membuatnya lebih mudah bagi model untuk belajar di seluruh modalitas.

Kunal Kejriwal adalah seorang insinyur backend yang mengkhususkan diri dalam Python, PostgreSQL, Redis, dan infrastruktur cloud di GCP dan AWS. Dengan tiga tahun pengalaman membangun dan menskalakan sistem produksi, ia menulis tentang infrastruktur AI, sistem terdistribusi, dan arsitektur di balik penyebaran beban kerja pembelajaran mesin.