SEER: Terobosan Baru dalam Model Penglihatan Komputer Self-Supervised

Di dekade terakhir, Kecerdasan Buatan (AI) dan Pembelajaran Mesin (ML) telah mengalami kemajuan luar biasa. Saat ini, mereka lebih akurat, efisien, dan mampu daripada sebelumnya. Model AI dan ML modern dapat mengenali objek dalam gambar atau file video dengan akurasi tinggi. Selain itu, mereka dapat menghasilkan teks dan ucapan yang sebanding dengan kecerdasan manusia.

Model AI & ML saat ini sangat bergantung pada pelatihan dengan dataset yang telah diberi label yang mengajarkan mereka bagaimana menafsirkan blok teks, mengidentifikasi objek dalam gambar atau bingkai video, dan beberapa tugas lainnya.

Meskipun kemampuan mereka, model AI & ML tidak sempurna, dan ilmuwan bekerja untuk membangun model yang dapat belajar dari informasi yang diberikan, dan tidak hanya bergantung pada data yang telah diberi label atau diannotasi. Pendekatan ini dikenal sebagai self-supervised learning, dan ini adalah salah satu metode paling efisien untuk membangun model ML dan AI yang memiliki “common sense” atau pengetahuan latar belakang untuk memecahkan masalah yang berada di luar kemampuan model AI saat ini.

Self-supervised learning telah menunjukkan hasilnya dalam Pemrosesan Bahasa Alami karena telah memungkinkan pengembang untuk melatih model besar yang dapat bekerja dengan jumlah data yang sangat besar, dan telah menghasilkan beberapa terobosan dalam bidang inferensi bahasa alami, terjemahan mesin, dan menjawab pertanyaan.

Model SEER oleh Facebook (META ) AI bertujuan untuk memaksimalkan kemampuan self-supervised learning dalam bidang penglihatan komputer. SEER atau SElf SupERvised adalah model penglihatan komputer self-supervised yang memiliki lebih dari satu miliar parameter, dan dapat menemukan pola atau belajar bahkan dari grup gambar acak yang ditemukan di internet tanpa anotasi atau label yang tepat.

Kebutuhan Self-Supervised Learning dalam Penglihatan Komputer

Anotasi data atau pelabelan data adalah tahap pra-pengolahan dalam pengembangan model pembelajaran mesin dan kecerdasan buatan. Proses anotasi data mengidentifikasi data mentah seperti gambar atau bingkai video, dan kemudian menambahkan label pada data untuk menentukan konteks data bagi model. Label ini memungkinkan model untuk membuat prediksi yang akurat pada data.

Salah satu tantangan terbesar yang dihadapi pengembang saat bekerja pada model penglihatan komputer adalah menemukan data yang telah diberi label dengan kualitas tinggi. Penglihatan Komputer model saat ini bergantung pada dataset yang telah diberi label untuk belajar pola yang memungkinkan mereka untuk mengenali objek dalam gambar.

Anotasi data, dan penggunaannya dalam model penglihatan komputer menimbulkan tantangan-tantangan berikut:

Mengelola Kualitas Dataset yang Konsisten

Mungkin tantangan terbesar yang dihadapi pengembang adalah untuk mendapatkan akses ke dataset dengan kualitas tinggi secara konsisten karena dataset dengan kualitas tinggi dan label yang tepat menghasilkan model yang lebih baik dan akurat. Namun, mendapatkan akses ke dataset dengan kualitas tinggi secara konsisten memiliki tantangannya sendiri.

Manajemen Tenaga Kerja

Pelabelan data sering kali disertai dengan masalah manajemen tenaga kerja terutama karena sejumlah besar pekerja diperlukan untuk memproses dan memberi label sejumlah besar data yang tidak terstruktur dan tidak berlabel sambil memastikan kualitas. Jadi, penting bagi pengembang untuk mencapai keseimbangan antara kualitas dan kuantitas saat melakukan pelabelan data.

Keterbatasan Keuangan

Mungkin tantangan terbesar adalah keterbatasan keuangan yang menyertainya dalam proses pelabelan data, dan sebagian besar biaya pelabelan data merupakan persentase besar dari biaya proyek secara keseluruhan.

Seperti yang dapat dilihat, anotasi data adalah hambatan utama dalam mengembangkan model penglihatan komputer yang canggih, terutama saat mengembangkan model yang kompleks yang menangani sejumlah besar data pelatihan. Ini adalah alasan mengapa industri penglihatan komputer memerlukan self-supervised learning untuk mengembangkan model penglihatan komputer yang kompleks dan canggih yang dapat menangani tugas yang berada di luar kemampuan model saat ini.

Dengan demikian, sudah ada banyak model self-supervised learning yang telah berperforma baik dalam lingkungan yang terkendali, dan sebagian besar pada dataset ImageNet. Meskipun model ini mungkin berperforma baik, mereka tidak memenuhi kondisi utama self-supervised learning dalam penglihatan komputer: untuk belajar dari dataset yang tidak terbatas atau gambar acak, dan tidak hanya dari dataset yang telah ditentukan sebelumnya. Saat diimplementasikan dengan ideal, self-supervised learning dapat membantu dalam mengembangkan model penglihatan komputer yang lebih akurat dan lebih mampu yang efektif biaya dan layak juga.

SEER atau SElf-supERvised Model: Pengenalan

Tren terbaru di industri AI & ML menunjukkan bahwa pendekatan pra-pelatihan model seperti semi-supervised, weakly-supervised, dan self-supervised learning dapat meningkatkan kinerja untuk sebagian besar model pembelajaran mesin untuk tugas downstream.

Ada dua faktor kunci yang telah memberikan kontribusi besar pada peningkatan kinerja model pembelajaran mesin yang dalam.

Pra-Pelatihan pada Dataset yang Masif

Pra-pelatihan pada dataset yang masif umumnya menghasilkan akurasi dan kinerja yang lebih baik karena memaparkan model pada berbagai data. Dataset besar memungkinkan model untuk memahami pola dalam data dengan lebih baik, dan pada akhirnya menghasilkan model yang berperforma lebih baik dalam skenario nyata.

Beberapa model yang berperforma terbaik seperti model bahasa GPT-3 dan model Wav2vec 2.0 dilatih pada dataset yang masif. Model bahasa GPT-3 menggunakan dataset pra-pelatihan dengan lebih dari 300 miliar kata, sedangkan model Wav2vec 2.0 untuk pengenalan ucapan menggunakan dataset dengan lebih dari 53 ribu jam data audio.

Model dengan Kapasitas yang Masif

Model dengan jumlah parameter yang lebih besar sering kali menghasilkan hasil yang akurat karena jumlah parameter yang lebih besar memungkinkan model untuk fokus hanya pada objek dalam data yang diperlukan dan tidak pada gangguan atau kebisingan dalam data.

Pengembang di masa lalu telah mencoba melatih model self-supervised learning pada data yang tidak berlabel atau tidak terkurasi dengan dataset yang lebih kecil yang hanya berisi beberapa juta gambar. Apakah model self-supervised learning dapat menghasilkan akurasi tinggi saat dilatih pada sejumlah besar data yang tidak berlabel dan tidak terkurasi? Ini adalah pertanyaan yang model SEER berusaha untuk menjawab.

Model SEER adalah kerangka kerja pembelajaran mesin yang bertujuan untuk mendaftarkan gambar yang tersedia di internet secara independen dari dataset yang terkurasi atau berlabel. Kerangka kerja SEER memungkinkan pengembang untuk melatih model ML yang besar dan kompleks pada data acak tanpa pengawasan, yaitu model menganalisis data dan mempelajari pola atau informasi secara mandiri tanpa input manual tambahan.

Tujuan akhir model SEER adalah untuk membantu dalam mengembangkan strategi untuk proses pra-pelatihan yang menggunakan data yang tidak terkurasi untuk menghasilkan kinerja yang unggul dalam pembelajaran transfer. Selain itu, model SEER juga bertujuan untuk menciptakan sistem yang dapat terus belajar dari aliran data yang tidak terbatas dengan cara self-supervised.

Kerangka kerja SEER melatih model dengan kapasitas tinggi pada miliaran gambar acak dan tidak terbatas yang diambil dari internet. Model yang dilatih pada gambar-gambar ini tidak bergantung pada metadata gambar atau anotasi untuk melatih model, atau menyaring data. Belakangan ini, self-supervised learning telah menunjukkan potensi besar karena melatih model pada data yang tidak terkurasi telah menghasilkan hasil yang lebih baik dibandingkan dengan model pra-pelatihan yang diawasi untuk tugas downstream.

SEER Framework dan RegNet: Koneksi

Untuk menganalisis model SEER, fokusnya adalah pada arsitektur RegNet dengan lebih dari 700 juta parameter yang selaras dengan tujuan self-supervised learning SEER pada data yang tidak terkurasi untuk dua alasan utama:

1. Mereka menawarkan keseimbangan yang ideal antara kinerja dan efisiensi.
2. Mereka sangat fleksibel dan dapat diskalakan untuk sejumlah parameter.

SEER Framework: Prior Work dari Berbagai Bidang

Kerangka kerja SEER bertujuan untuk menjelajahi batas-batas pelatihan arsitektur model yang besar pada dataset yang tidak terkurasi atau tidak berlabel menggunakan self-supervised learning, dan model ini mencari inspirasi dari pekerjaan sebelumnya di bidang.

Pra-Pelatihan Tidak Terawasi dari Fitur Visual

Self-supervised learning telah diimplementasikan dalam penglihatan komputer selama beberapa waktu dengan metode yang menggunakan autoencoder, diskriminasi tingkat instance, atau clustering. Belakangan ini, metode yang menggunakan pembelajaran kontrastif telah menunjukkan bahwa pra-pelatihan model menggunakan pembelajaran tidak terawasi untuk tugas downstream dapat berperforma lebih baik daripada pendekatan pembelajaran yang diawasi.

Inti dari pembelajaran tidak terawasi dari fitur visual adalah bahwa selama Anda melatih pada data yang disaring, label yang diawasi tidak diperlukan. Model SEER bertujuan untuk menjelajahi apakah model dapat mempelajari representasi yang akurat bahkan ketika arsitektur model yang besar dilatih pada sejumlah besar gambar yang tidak terkurasi, tidak berlabel, dan acak.

Mempelajari Fitur Visual pada Skala Besar

Model sebelumnya telah mendapat manfaat dari pra-pelatihan model pada dataset yang besar dan berlabel dengan pembelajaran yang diawasi, semi-diawasi, dan tidak terawasi pada jutaan gambar yang disaring. Selain itu, analisis model juga telah menunjukkan bahwa pra-pelatihan model pada miliaran gambar sering kali menghasilkan akurasi yang lebih baik dibandingkan dengan melatih model dari awal.

Selain itu, pelatihan model pada skala besar biasanya bergantung pada langkah-langkah penyaringan data untuk membuat gambar-gambar tersebut sesuai dengan konsep target. Langkah-langkah penyaringan ini biasanya menggunakan prediksi dari pengklasifikasi yang telah dilatih sebelumnya, atau menggunakan hashtag yang sering kali merupakan sinonim dari kelas ImageNet. Model SEER bekerja secara berbeda karena bertujuan untuk mempelajari fitur dalam gambar acak, dan oleh karena itu, data pelatihan untuk model SEER tidak dikurasi untuk mencocokkan himpunan fitur atau konsep yang telah ditentukan sebelumnya.

Menskalakan Arsitektur untuk Pengenalan Gambar

Model biasanya mendapat manfaat dari pelatihan arsitektur yang besar pada kualitas yang lebih baik dan menghasilkan fitur visual. Ini penting saat melakukan pra-pelatihan pada dataset yang besar karena model dengan kapasitas yang terbatas sering kali underfit. Ini memiliki dampak yang lebih besar saat pra-pelatihan dilakukan bersama dengan pembelajaran kontrastif karena dalam kasus seperti itu, model harus mempelajari cara untuk membedakan antara instance dataset sehingga dapat mempelajari representasi visual yang lebih baik.

Namun, untuk pengenalan gambar, menskalakan arsitektur melibatkan lebih dari sekadar mengubah kedalaman dan lebar model, dan untuk membangun model yang efektif dan efisien, perlu dilakukan penelitian yang lebih dalam. Model SEER menunjukkan manfaat dari menggunakan keluarga model RegNets untuk mengimplementasikan self-supervised learning pada skala besar.

SEER: Metode dan Komponen yang Digunakan

Kerangka kerja SEER menggunakan berbagai metode dan komponen untuk melakukan pra-pelatihan model untuk mempelajari representasi visual. Beberapa metode dan komponen utama yang digunakan oleh kerangka kerja SEER adalah: RegNet, dan SwAV. Mari kita bahas metode dan komponen yang digunakan dalam kerangka kerja SEER secara singkat.

Pra-Pelatihan Self-Supervised dengan SwAV

Kerangka kerja SEER dilatih dengan SwAV, sebuah pendekatan pembelajaran self-supervised online. SwAV adalah metode clustering online yang digunakan untuk melatih kerangka kerja convnet tanpa anotasi. Kerangka kerja SwAV bekerja dengan melatih embedding yang menghasilkan penugasan cluster secara konsisten antara berbagai tampilan dari gambar yang sama. Sistem kemudian mempelajari representasi semantik dengan menambang cluster yang invariant terhadap augmentasi data.

Dalam praktek, kerangka kerja SwAV membandingkan fitur dari berbagai tampilan gambar dengan menggunakan penugasan cluster yang independen. Jika penugasan ini menangkap fitur yang sama atau serupa, maka memungkinkan untuk memprediksi penugasan gambar satu dengan menggunakan fitur dari tampilan lain.

Model SEER mempertimbangkan himpunan K cluster, dan setiap cluster ini dikaitkan dengan vektor d-dimensional yang dapat dipelajari vk. Untuk batch B gambar, setiap gambar i diubah menjadi dua tampilan yang berbeda: xi1 , dan xi2. Tampilan ini kemudian dijadikan fitur dengan menggunakan convnet, dan menghasilkan dua set fitur: (f11, …, fB2), dan (f12, … , fB2). Setiap fitur kemudian ditugaskan secara independen ke prototipe cluster dengan menggunakan Optimal Transport solver.

Optimal Transport solver memastikan bahwa fitur-fitur tersebut dibagi secara merata di seluruh cluster, dan membantu menghindari solusi yang sepele di mana semua representasi dipetakan ke satu prototipe. Penugasan yang dihasilkan kemudian dipertukarkan antara dua set: penugasan cluster yi1 dari tampilan xi1 perlu diprediksi dengan menggunakan representasi fitur xi2 dari tampilan xi2, dan sebaliknya.

Bobot prototipe dan convnet kemudian dilatih untuk meminimalkan kerugian untuk semua contoh. Kerugian prediksi cluster l pada dasarnya adalah entropi silang antara softmax dari produk dot fitur dan penugasan cluster.

RegNetY: Keluarga Model yang Efisien Skala

Menskalakan kapasitas model dan data memerlukan arsitektur yang efisien tidak hanya dalam hal memori, tetapi juga dalam hal runtime & RegNets framework adalah keluarga model yang dirancang khusus untuk tujuan ini.

Keluarga arsitektur RegNet didefinisikan oleh ruang desain convnet dengan 4 tahap di mana setiap tahap berisi serangkaian blok yang identik sambil memastikan struktur bloknya tetap tetap, terutama blok bottleneck residu.

Kerangka kerja SEER fokus pada arsitektur RegNetY dan menambahkan Squeeze-and-Excitation ke arsitektur RegNets standar dalam upaya untuk meningkatkan kinerjanya. Selain itu, model RegNetY memiliki 5 parameter yang membantu dalam pencarian instance yang baik dengan jumlah FLOPs yang tetap yang mengonsumsi sumber daya yang wajar. Model SEER bertujuan untuk meningkatkan hasilnya dengan mengimplementasikan arsitektur RegNetY langsung pada tugas pra-pelatihan self-supervised.

Arsitektur RegNetY 256GF: Model SEER fokus utama pada arsitektur RegNetY 256GF dalam keluarga RegNetY, dan parameter-parameter ini menggunakan aturan penskalaan arsitektur RegNets. Parameter-parameter tersebut dijelaskan sebagai berikut.

Arsitektur RegNetY 256GF memiliki 4 tahap dengan lebar tahap (528, 1056, 2904, 7392), dan kedalaman tahap (2,7,17,1) yang menambahkan lebih dari 696 juta parameter. Saat dilatih pada 512 V100 32GB NVIDIA GPUs, setiap iterasi membutuhkan sekitar 6125ms untuk batch size 8.704 gambar. Melatih model pada dataset dengan lebih dari satu miliar gambar, dengan batch size 8.704 gambar pada lebih dari 512 GPUs memerlukan 114.890 iterasi, dan pelatihan berlangsung selama sekitar 8 hari.

Optimasi dan Pelatihan pada Skala Besar

Model SEER mengusulkan beberapa penyesuaian untuk melatih metode self-supervised dan menerapkan serta menyesuaikan metode ini pada skala besar. Metode-metode ini adalah:

1. Jadwal tarif pembelajaran.
2. Mengurangi konsumsi memori per GPU.
3. Mengoptimalkan kecepatan pelatihan.
4. Data pra-pelatihan pada skala besar.

Mari kita bahasnya secara singkat.

Jadwal Tarif Pembelajaran

Model SEER menjelajahi kemungkinan menggunakan dua jadwal tarif pembelajaran: gelombang kosinus jadwal tarif pembelajaran, dan jadwal tarif pembelajaran tetap.

Jadwal gelombang kosinus digunakan untuk membandingkan model yang berbeda secara adil karena disesuaikan dengan jumlah pembaruan. Namun, jadwal gelombang kosinus tidak disesuaikan dengan pelatihan skala besar terutama karena memberi bobot gambar-gambar secara berbeda berdasarkan kapan mereka dilihat saat pelatihan, dan juga menggunakan pembaruan lengkap untuk penjadwalan.

Jadwal tarif pembelajaran tetap menjaga tarif pembelajaran tetap sampai kerugian tidak menurun, dan kemudian tarif pembelajaran dibagi dengan 2. Analisis menunjukkan bahwa jadwal tarif pembelajaran tetap bekerja lebih baik karena memiliki ruang untuk membuat pelatihan lebih fleksibel. Namun, karena model hanya dilatih pada 1 miliar gambar, maka menggunakan jadwal gelombang kosinus untuk melatih model terbesar, RegNet 256GF.

Mengurangi Konsumsi Memori per GPU

Model juga bertujuan untuk mengurangi jumlah GPU yang dibutuhkan selama periode pelatihan dengan menggunakan presisi campuran dan checkpointing bergradasi. Model menggunakan Perpustakaan NVIDIA Apex Library’s O1 Optimization level untuk melakukan operasi seperti konvolusi dan GEMMs dalam presisi titik mengambang 16-bit. Model juga menggunakan implementasi checkpointing gradien PyTorch yang menukar komputasi untuk memori.

Selain itu, model juga membuang aktivasi antara yang dibuat selama pass maju, dan selama pass mundur, menghitung ulang aktivasi-aktivasi tersebut.

Mengoptimalkan Kecepatan Pelatihan

Menggunakan presisi campuran untuk mengoptimalkan penggunaan memori memiliki keuntungan tambahan karena akselerator mengambil keuntungan dari ukuran FP16 yang lebih kecil dibandingkan dengan FP32. Ini membantu mempercepat periode pelatihan dengan meningkatkan throughput saat membandingkan dengan FP32.

Model SEER juga menyinkronkan BatchNorm lapisan di seluruh GPU untuk membuat grup proses sebagai gantinya menggunakan sinkronisasi global yang biasanya membutuhkan waktu lebih lama. Akhirnya, loader data yang digunakan dalam model SEER melakukan pra-pengambilan batch pelatihan yang lebih banyak sehingga menghasilkan throughput data yang lebih tinggi dibandingkan dengan loader data PyTorch.

Data Pra-Pelatihan pada Skala Besar

Model SEER menggunakan lebih dari satu miliar gambar selama pra-pelatihan, dan mempertimbangkan loader data yang mengambil gambar acak langsung dari internet dan Instagram. Karena model SEER melatih gambar-gambar ini di alam liar dan online, maka tidak menerapkan pra-pengolahan pada gambar-gambar ini atau mengkurasi mereka menggunakan proses seperti de-duplikasi atau penyaringan hashtag.

Penting untuk dicatat bahwa dataset tidak statis, dan gambar-gambar dalam dataset diperbarui setiap tiga bulan. Namun, memperbarui dataset tidak mempengaruhi kinerja model.

Implementasi Model SEER

Model SEER melakukan pra-pelatihan RegNetY 256GF dengan SwAV menggunakan enam tanaman per gambar, dengan setiap gambar memiliki resolusi 2×224 + 4×96. Selama fase pra-pelatihan, model menggunakan tiga lapis MLP atau Multilayer Perceptron dengan kepala proyeksi dimensi 10444×8192, 8192×8192, dan 8192×256.

Sebagai gantinya menggunakan lapisan BatchNorm di kepala, model SEER menggunakan 16 ribu prototipe dengan suhu t yang ditetapkan ke 0,1. Parameter Sinkhorn regulasi ditetapkan ke 0,05, dan melakukan 10 iterasi algoritma. Model lebih lanjut menyinkronkan statistik BatchNorm di seluruh GPU, dan membuat beberapa grup proses dengan ukuran 64 untuk sinkronisasi.

Selain itu, model menggunakan LARS atau Layer-wise Adaptive Rate Scaling optimizer, decay bobot 10-5, checkpoint aktivasi, dan optimasi presisi campuran O1. Model kemudian dilatih dengan gradien stokastik menggunakan batch size dengan 8192 gambar acak yang didistribusikan di lebih dari 512 NVIDIA GPUs, menghasilkan 16 gambar per GPU.

Tarif pembelajaran dinaikkan secara linear dari 0,15 ke 9,6 untuk 8.000 pembaruan pelatihan pertama. Setelah pemanasan, model mengikuti jadwal tarif pembelajaran kosinus yang menurun ke nilai akhir 0,0096. Secara keseluruhan, model SEER melatih lebih dari satu miliar gambar selama 122.000 iterasi.

Hasil Kerangka Kerja SEER

Kualitas fitur yang dihasilkan oleh pendekatan pra-pelatihan self-supervised dipelajari dan dianalisis pada berbagai benchmark dan tugas downstream. Model juga mempertimbangkan pengaturan tembakan rendah yang memberikan akses terbatas ke gambar dan label untuk tugas downstream.

Melakukan Fine-Tuning Model Pra-Pelatihan yang Besar

Ini mengukur kualitas model yang telah dilatih sebelumnya pada data acak dengan mentransfernya ke benchmark ImageNet untuk klasifikasi objek. Hasil fine-tuning model pra-pelatihan yang besar ditentukan oleh parameter berikut.

Pengaturan Eksperimental

Model melakukan pra-pelatihan enam arsitektur RegNet dengan kapasitas yang berbeda, yaitu RegNetY- {8,16,32,64,128,256}GF, pada lebih dari satu miliar gambar acak dan publik Instagram dengan SwAV. Model kemudian difine-tune untuk klasifikasi gambar pada ImageNet yang menggunakan lebih dari 1,28 juta gambar pelatihan standar dengan label yang tepat, dan memiliki set validasi standar dengan lebih dari 50 ribu gambar untuk evaluasi.

Model kemudian menerapkan teknik augmentasi data yang sama seperti pada SwAV, dan difine-tune selama 35 epoch dengan optimizer SGD atau Stochastic Gradient Descent dengan batch size 256, dan tarif pembelajaran 0,0125 yang dikurangi dengan faktor 10 setelah 30 epoch, momentum 0,9, dan decay bobot 10-4. Model melaporkan akurasi top-1 pada dataset validasi menggunakan crop tengah 224×224.

Perbandingan dengan Pendekatan Pra-Pelatihan Self-Supervised Lain

Dalam tabel berikut, model pra-pelatihan terbesar RegNetY-256GF dibandingkan dengan model pra-pelatihan yang ada yang menggunakan pendekatan self-supervised.

Seperti yang dapat dilihat, model SEER mengembalikan akurasi top-1 sebesar 84,2% pada ImageNet, dan mengalahkan SimCLRv2, model pra-pelatihan yang ada terbaik, sebesar 1%.

Selain itu, gambar berikut membandingkan kerangka kerja SEER dengan model yang memiliki kapasitas yang berbeda. Seperti yang dapat dilihat, terlepas dari kapasitas model, menggabungkan kerangka kerja RegNet dengan SwAV menghasilkan hasil yang akurat selama pra-pelatihan.

Model SEER dilatih sebelumnya pada data acak dan memiliki arsitektur RegNet dengan metode pembelajaran self-supervised SwAV. Model SEER dibandingkan dengan SimCLRv2 dan model ViT dengan arsitektur jaringan yang berbeda. Akhirnya, model difine-tune pada dataset ImageNet, dan akurasi top-1 dilaporkan.

Dampak Kapasitas Model

Kapasitas model memiliki dampak signifikan pada kinerja model selama pra-pelatihan, dan gambar berikut membandingkannya dengan dampak ketika dilatih dari awal.

Dapat dilihat dengan jelas bahwa skor akurasi top-1 model pra-pelatihan lebih tinggi daripada model yang dilatih dari awal, dan perbedaan ini semakin besar seiring dengan peningkatan jumlah parameter. Juga, jelas bahwa meskipun kapasitas model memberikan manfaat bagi model pra-pelatihan dan dilatih dari awal, dampaknya lebih besar pada model pra-pelatihan saat menangani sejumlah besar parameter.

Alasan yang mungkin mengapa melatih model dari awal bisa overfit ketika dilatih pada dataset ImageNet adalah karena ukuran dataset yang relatif kecil.

Pembelajaran Tembakan Rendah

Pembelajaran tembakan rendah mengacu pada evaluasi kinerja model SEER dalam pengaturan tembakan rendah, yaitu menggunakan hanya sebagian dari data total ketika melakukan tugas downstream.

Pengaturan Eksperimental

Kerangka kerja SEER menggunakan dua dataset untuk pembelajaran tembakan rendah, yaitu Places205 dan ImageNet. Selain itu, model menganggap akses terbatas ke dataset selama pembelajaran transfer baik dalam hal gambar maupun label. Pengaturan akses terbatas ini berbeda dari pengaturan default yang digunakan untuk pembelajaran self-supervised di mana model memiliki akses ke dataset lengkap, dan hanya akses ke label gambar yang terbatas.

• Hasil pada Dataset Places205

Gambar berikut menunjukkan dampak pra-pelatihan model pada berbagai bagian dari dataset Places205.

Pendekatan yang digunakan dibandingkan dengan pra-pelatihan model pada dataset ImageNet dengan pengawasan dengan arsitektur RegNetY-128 GF yang sama. Hasil dari perbandingan ini mengejutkan karena dapat dilihat bahwa ada keuntungan stabil sebesar 2,5% dalam akurasi top-1 terlepas dari jumlah data pelatihan yang tersedia untuk fine-tuning pada dataset Places205.

Perbedaan yang diamati antara proses pra-pelatihan yang diawasi dan tidak diawasi dapat dijelaskan dengan mempertimbangkan perbedaan dalam sifat data pelatihan karena fitur yang dipelajari oleh model dari gambar acak di alam liar mungkin lebih sesuai untuk mengklasifikasikan adegan. Selain itu, distribusi non-seragam dari konsep yang mendasarinya mungkin membuktikan keuntungan untuk pra-pelatihan pada dataset yang tidak seimbang seperti Places205.

Hasil pada ImageNet

Tabel di atas membandingkan pendekatan model SEER dengan pendekatan pra-pelatihan self-supervised dan semi-supervised pada pembelajaran tembakan rendah. Penting untuk dicatat bahwa semua metode ini menggunakan semua 1,2 juta gambar dalam dataset ImageNet untuk pra-pelatihan, dan mereka hanya membatasi akses ke label. Di sisi lain, pendekatan yang digunakan dalam model SEER hanya memungkinkan untuk melihat 1 hingga 10% dari gambar dalam dataset.

Seperti yang dapat dilihat, meskipun model SEER hanya melihat 1 hingga 10% dari dataset ImageNet, masih dapat mencapai akurasi top-1 sebesar sekitar 80%, yang sedikit kurang dari akurasi pendekatan yang dibahas dalam tabel di atas.

Dampak Kapasitas Model

Gambar berikut membahas dampak kapasitas model pada pembelajaran tembakan rendah: pada 1%, 10%, dan 100% dari dataset ImageNet.

Dapat dilihat bahwa meningkatkan kapasitas model dapat meningkatkan akurasi model karena mengurangi akses ke gambar dan label dalam dataset.

Transfer ke Benchmark Lain

Untuk mengevaluasi model SEER lebih lanjut dan menganalisis kinerjanya, fitur pra-pelatihan ditransfer ke tugas downstream lainnya.

Evaluasi Linear Klasifikasi Gambar

Tabel di atas membandingkan fitur dari model SEER pra-pelatihan RegNetY-256GF dan RegNetY128-GF pra-pelatihan pada dataset ImageNet dengan arsitektur yang sama dengan dan tanpa pengawasan. Untuk menganalisis kualitas fitur, model membekukan bobot dan menggunakan klasifikasi linier di atas fitur menggunakan set pelatihan untuk tugas downstream. Benchmark berikut dipertimbangkan untuk proses ini: Open-Images(OpIm), iNaturalist(iNat), Places205(Places), dan Pascal VOC(VOC).

Deteksi dan Segmentasi

Gambar berikut membandingkan fitur pra-pelatihan pada deteksi dan segmentasi, dan mengevaluasinya.

Kerangka kerja SEER melatih model Mask-RCNN pada benchmark COCO dengan pra-pelatihan RegNetY-64GF dan RegNetY-128GF sebagai blok bangunan. Untuk arsitektur dan tugas downstream, pendekatan pra-pelatihan self-supervised SEER mengungguli pelatihan yang diawasi sebesar 1,5 hingga 2 poin AP.

Perbandingan dengan Pra-Pelatihan yang Diawasi Lemah

Sebagian besar gambar yang tersedia di internet biasanya memiliki deskripsi meta atau teks alt, atau deskripsi, atau geolokasi yang dapat memberikan keuntungan selama pra-pelatihan. Pekerjaan sebelumnya telah menunjukkan bahwa memprediksi himpunan hashtag yang dikurasi dapat meningkatkan kualitas fitur visual yang diprediksi. Namun, pendekatan ini memerlukan penyaringan gambar dan bekerja paling baik hanya ketika metadata teks hadir.

Gambar berikut membandingkan pra-pelatihan arsitektur ResNetXt101-32dx8d yang dilatih pada gambar acak dengan arsitektur yang sama yang dilatih pada gambar yang dilabeli dengan hashtag dan metadata, dan melaporkan akurasi top-1 untuk keduanya.

Dapat dilihat bahwa meskipun kerangka kerja SEER tidak menggunakan metadata selama pra-pelatihan, akurasi model ini setara dengan model yang menggunakan metadata untuk pra-pelatihan.

Studi Ablasi

Studi ablasion dilakukan untuk menganalisis dampak komponen tertentu pada kinerja keseluruhan model. Studi ablasion dilakukan dengan menghapus komponen dari model secara keseluruhan dan memahami bagaimana model berperforma. Ini memberikan pengembang gambaran singkat tentang dampak komponen tersebut pada kinerja model.

Dampak Arsitektur Model

Arsitektur model memiliki dampak signifikan pada kinerja model terutama ketika model diskalakan atau spesifikasi data pra-pelatihan dimodifikasi.

Gambar berikut membahas dampak perubahan arsitektur pada kualitas fitur pra-pelatihan dengan mengevaluasi dataset ImageNet secara linier. Fitur pra-pelatihan dapat diproses secara langsung dalam kasus ini karena evaluasi tidak menguntungkan model yang mengembalikan akurasi tinggi saat dilatih dari awal pada dataset ImageNet.

Dapat dilihat bahwa untuk arsitektur ResNeXts dan ResNet, fitur yang diperoleh dari lapisan sebelumnya bekerja lebih baik dengan pengaturan saat ini. Di sisi lain, arsitektur RegNet mengungguli arsitektur lainnya.

Secara keseluruhan, dapat disimpulkan bahwa meningkatkan kapasitas model memiliki dampak positif pada kualitas fitur, dan ada keuntungan logaritmis dalam kinerja model.

Menskalakan Data Pra-Pelatihan

Ada dua alasan utama mengapa melatih model pada dataset yang lebih besar dapat meningkatkan kualitas fitur visual yang dipelajari oleh model: lebih banyak gambar unik dan lebih banyak parameter. Mari kita lihat bagaimana alasan-alasan ini mempengaruhi kinerja model.

Meningkatkan Jumlah Gambar Unik

Gambar di atas membandingkan dua arsitektur yang berbeda, RegNet8 dan RegNet16, yang memiliki jumlah parameter yang sama, tetapi dilatih pada jumlah gambar unik yang berbeda. Kerangka kerja SEER melatih model selama pembaruan yang sesuai dengan 1 epoch untuk satu miliar gambar, atau 32 epoch untuk 32 gambar unik, dan dengan setengah gelombang kosinus jadwal tarif pembelajaran.

Dapat dilihat bahwa untuk model berperforma dengan baik, jumlah gambar unik yang diberikan ke model harus idealnya lebih tinggi. Dalam kasus ini, model berperforma dengan baik ketika diberi gambar unik lebih banyak daripada gambar yang ada dalam dataset ImageNet.

Lebih Banyak Parameter

Gambar berikut menunjukkan kinerja model saat dilatih pada satu miliar gambar menggunakan arsitektur RegNet-128GF. Dapat dilihat bahwa kinerja model meningkat secara stabil ketika jumlah parameter ditingkatkan.

Penglihatan Komputer Self-Supervised di Dunia Nyata

Sampai sekarang, kita telah membahas bagaimana self-supervised learning dan model SEER untuk penglihatan komputer bekerja dalam teori. Sekarang, mari kita lihat bagaimana penglihatan komputer self-supervised bekerja dalam skenario dunia nyata, dan mengapa SEER adalah masa depan penglihatan komputer self-supervised.

Model SEER menyaingi pekerjaan yang dilakukan di industri Pemrosesan Bahasa Alami di mana model canggih yang berkinerja tinggi menggunakan triliunan dataset dan parameter yang dipasangkan dengan triliunan kata teks selama pra-pelatihan model. Kinerja pada tugas downstream umumnya meningkat dengan peningkatan jumlah data input untuk melatih model, dan hal yang sama berlaku untuk tugas penglihatan komputer juga.

Namun, menggunakan teknik pembelajaran self-supervised untuk Pemrosesan Bahasa Alami berbeda dari menggunakan pembelajaran self-supervised untuk penglihatan komputer. Ini karena ketika menangani teks, konsep semantik biasanya dipecah menjadi kata-kata yang terpisah, tetapi ketika menangani gambar, model harus memutuskan piksel mana yang termasuk dalam konsep mana.

Selain itu, gambar yang berbeda memiliki tampilan yang berbeda, dan bahkan jika beberapa gambar memiliki objek yang sama, konsepnya mungkin sangat berbeda. Misalnya, pertimbangkan dataset dengan gambar kucing. Meskipun objek utama, kucing, sama di semua gambar, konsepnya mungkin sangat berbeda karena kucing mungkin berdiri diam dalam satu gambar, sementara bermain dengan bola di gambar lainnya, dan seterusnya. Karena gambar-gambar ini sering memiliki konsep yang bervariasi, penting bagi model untuk melihat sejumlah besar gambar untuk memahami perbedaan di sekitar konsep yang sama.

Menskalakan model dengan sukses sehingga bekerja dengan efektif dengan data gambar yang kompleks dan berdimensi tinggi memerlukan dua komponen:

1. Jaringan saraf konvolusional atau CNN yang cukup besar untuk menangkap dan mempelajari konsep visual dari dataset gambar yang sangat besar.
2. Algoritma yang dapat mempelajari pola dari sejumlah besar gambar tanpa label, anotasi, atau metadata.

Model SEER bertujuan untuk menerapkan komponen-komponen di atas ke bidang penglihatan komputer. Model SEER bertujuan untuk memanfaatkan kemajuan yang dibuat oleh SwAV, kerangka kerja pembelajaran self-supervised yang menggunakan clustering online untuk mengelompokkan atau memasangkan gambar dengan konsep visual paralel, dan memanfaatkan kesamaan ini untuk mengidentifikasi pola dengan lebih baik.

Dengan arsitektur SwAV, model SEER dapat membuat penggunaan pembelajaran self-supervised dalam penglihatan komputer lebih efektif, dan mengurangi waktu pelatihan hingga 6 kali lipat.

Selain itu, melatih model pada skala besar, dalam skala ini, lebih dari satu miliar gambar, memerlukan arsitektur model yang efisien tidak hanya dalam hal runtime & memori, tetapi juga dalam hal akurasi. Ini adalah tempat model RegNets memainkan peran karena model RegNets adalah model ConvNets yang dapat menskalakan triliunan parameter, dan dapat dioptimalkan sesuai dengan kebutuhan untuk memenuhi keterbatasan memori dan runtime.

Kesimpulan: Masa Depan yang Self-Supervised

Pembelajaran self-supervised telah menjadi topik utama dalam industri AI dan ML selama beberapa waktu karena memungkinkan model AI untuk belajar informasi langsung dari sejumlah besar data yang tersedia secara acak di internet daripada bergantung pada dataset yang dikurasi dan dilabeli dengan hati-hati yang memiliki tujuan khusus untuk melatih model AI.

Pembelajaran self-supervised adalah konsep yang sangat penting untuk masa depan AI dan ML karena memiliki potensi untuk memungkinkan pengembang untuk menciptakan model AI yang beradaptasi dengan baik dalam skenario dunia nyata dan memiliki banyak kasus penggunaan daripada memiliki tujuan khusus, dan SEER adalah tonggak penting dalam implementasi pembelajaran self-supervised dalam industri penglihatan komputer.

Model SEER mengambil langkah pertama dalam transformasi industri penglihatan komputer, dan mengurangi ketergantungan kita pada dataset yang dilabeli. Model SEER bertujuan untuk menghilangkan kebutuhan untuk menganotasi dataset yang akan memungkinkan pengembang untuk bekerja dengan data yang beragam dan besar. Implementasi SEER khususnya membantu pengembang yang bekerja pada model yang menangani bidang yang memiliki gambar atau metadata terbatas seperti industri medis.

Selain itu, menghilangkan anotasi manusia akan memungkinkan pengembang untuk mengembangkan & mengirimkan model lebih cepat, yang akan lebih lanjut memungkinkan mereka untuk merespons situasi yang berkembang dengan cepat & dengan akurasi yang lebih tinggi.