AI 101
Apa Itu Pembelajaran Few-Shot?
Pembelajaran few-shot merujuk pada berbagai algoritma dan teknik yang digunakan untuk mengembangkan model AI menggunakan jumlah data pelatihan yang sangat sedikit. Pembelajaran few-shot berupaya membiarkan model AI mengenali dan mengklasifikasikan data baru setelah terpapar pada contoh pelatihan yang relatif sedikit. Pelatihan few-shot bertolak belakang dengan metode tradisional dalam melatih model pembelajaran mesin, di mana sejumlah besar data pelatihan biasanya digunakan. Pembelajaran few-shot digunakan terutama dalam penglihatan komputer. Untuk mengembangkan intuisi yang lebih baik tentang pembelajaran few-shot, mari kita periksa konsep ini lebih detail. Kami akan memeriksa motivasi dan konsep di balik pembelajaran few-shot, mengeksplorasi beberapa jenis pembelajaran few-shot yang berbeda, dan membahas beberapa model yang digunakan dalam pembelajaran few-shot secara garis besar. Terakhir, kami akan memeriksa beberapa aplikasi untuk pembelajaran few-shot.
Apa Itu Pembelajaran Few-Shot?
“Pembelajaran few-shot” menggambarkan praktik melatih model pembelajaran mesin dengan jumlah data yang minimal. Biasanya, model pembelajaran mesin dilatih pada volume data yang besar, semakin besar semakin baik. Namun, pembelajaran few-shot adalah konsep pembelajaran mesin yang penting karena beberapa alasan berbeda. Salah satu alasan menggunakan pembelajaran few-shot adalah karena dapat secara dramatis mengurangi jumlah data yang dibutuhkan untuk melatih model pembelajaran mesin, yang memotong waktu yang dibutuhkan untuk melabeli kumpulan data besar. Demikian pula, pembelajaran few-shot mengurangi kebutuhan untuk menambahkan fitur khusus untuk berbagai tugas saat menggunakan kumpulan data umum untuk membuat sampel yang berbeda. Pembelajaran few-shot idealnya dapat membuat model lebih kuat dan mampu mengenali objek berdasarkan data yang lebih sedikit, menciptakan model yang lebih umum dibandingkan dengan model yang sangat terspesialisasi yang menjadi norma. Pembelajaran few-shot paling umum digunakan dalam bidang penglihatan komputer, karena sifat masalah penglihatan komputer memerlukan volume data yang besar atau model yang fleksibel. Sub-Kategori Frasa pembelajaran “few-shot” sebenarnya hanyalah satu jenis pembelajaran yang menggunakan sangat sedikit contoh pelatihan. Karena Anda hanya menggunakan “beberapa” contoh pelatihan, ada subkategori pembelajaran few-shot yang juga melibatkan pelatihan dengan jumlah data yang minimal. Pembelajaran “one-shot” adalah jenis pelatihan model lain yang melibatkan pengajaran model untuk mengenali suatu objek setelah melihat hanya satu gambar dari objek tersebut. Taktik umum yang digunakan di seluruh pembelajaran one-shot dan few-shot adalah sama. Perlu diketahui bahwa istilah pembelajaran “few-shot” mungkin digunakan sebagai istilah payung untuk menggambarkan situasi apa pun di mana model dilatih dengan sangat sedikit data.
Pendekatan terhadap Pembelajaran Few-Shot
Sebagian besar pendekatan pembelajaran few-shot dapat masuk ke dalam salah satu dari tiga kategori: pendekatan tingkat data, pendekatan tingkat parameter, dan pendekatan berbasis metrik.
Pendekatan Tingkat Data
Pendekatan tingkat data terhadap pembelajaran few-shot sangat sederhana dalam konsep. Untuk melatih model ketika Anda tidak memiliki cukup data pelatihan, Anda bisa mendapatkan lebih banyak data pelatihan. Ada berbagai teknik yang dapat digunakan seorang ilmuwan data untuk meningkatkan jumlah data pelatihan yang mereka miliki. Data pelatihan serupa dapat mendukung data target persis yang Anda latih untuk pengklasifikasi. Misalnya, jika Anda melatih pengklasifikasi untuk mengenali jenis anjing tertentu tetapi kekurangan banyak gambar dari spesies tertentu yang Anda coba klasifikasikan, Anda dapat menyertakan banyak gambar anjing yang akan membantu pengklasifikasi menentukan fitur umum yang membentuk seekor anjing. Augmentasi data dapat menciptakan lebih banyak data pelatihan untuk pengklasifikasi. Ini biasanya melibatkan penerapan transformasi pada data pelatihan yang ada, seperti memutar gambar yang ada sehingga pengklasifikasi memeriksa gambar dari sudut yang berbeda. GAN juga dapat digunakan untuk menghasilkan contoh pelatihan baru berdasarkan apa yang mereka pelajari dari beberapa contoh autentik data pelatihan yang Anda miliki.
Pendekatan tingkat parameter
Meta-learning Salah satu pendekatan tingkat parameter untuk pembelajaran few-shot melibatkan penggunaan teknik yang disebut “meta-learning“. Meta-learning melibatkan mengajarkan model cara belajar fitur mana yang penting dalam tugas pembelajaran mesin. Ini dapat dicapai dengan membuat metode untuk mengatur bagaimana ruang parameter model dieksplorasi. Meta-learning memanfaatkan dua model yang berbeda: model guru dan model siswa. Model “guru” dan model “siswa”. Model guru belajar bagaimana merangkum ruang parameter, sementara algoritma siswa belajar bagaimana mengenali dan mengklasifikasikan item aktual dalam kumpulan data. Dengan kata lain, model guru belajar bagaimana mengoptimalkan model, sementara model siswa belajar bagaimana mengklasifikasikan. Output model guru digunakan untuk melatih model siswa, menunjukkan kepada model siswa bagaimana menegosiasikan ruang parameter besar yang dihasilkan dari terlalu sedikit data pelatihan. Karenanya “meta” dalam meta-learning. Salah satu masalah utama dengan model pembelajaran few-shot adalah mereka dapat dengan mudah overfit pada data pelatihan, karena mereka sering memiliki ruang berdimensi tinggi. Membatasi ruang parameter model memecahkan masalah ini, dan meskipun dapat dicapai dengan menerapkan teknik regularisasi dan memilih fungsi kerugian yang tepat, penggunaan algoritma guru dapat secara dramatis meningkatkan kinerja model few-shot. Model pengklasifikasi pembelajaran few-shot (model siswa) akan berupaya menggeneralisasi berdasarkan sedikit data pelatihan yang disediakan, dan akurasinya dapat meningkat dengan model guru untuk mengarahkannya melalui ruang parameter berdimensi tinggi. Arsitektur umum ini disebut sebagai “meta-learner berbasis gradien”. Proses lengkap melatih meta-learner berbasis gradien adalah sebagai berikut:
- Buat model base-learner (guru)
- Latih model base-learner pada support set
- Minta base-learner mengembalikan prediksi untuk query set
- Latih meta-learner (siswa) pada loss yang berasal dari kesalahan klasifikasi
Variasi pada Meta-learning Model-Agnostic Meta-learning adalah metode yang digunakan untuk meningkatkan teknik meta-learning berbasis gradien dasar yang telah kami bahas di atas. Seperti yang telah kami bahas di atas, meta-learner berbasis gradien menggunakan pengalaman sebelumnya yang diperoleh oleh model guru untuk menyempurnakan dirinya sendiri dan memberikan prediksi yang lebih akurat untuk sejumlah kecil data pelatihan. Namun, memulai dengan parameter yang diinisialisasi secara acak berarti model masih berpotensi overfit pada data. Untuk menghindari hal ini, meta-learner “Model-agnostic” dibuat dengan membatasi pengaruh model guru/model dasar. Alih-alih melatih model siswa langsung pada loss untuk prediksi yang dibuat oleh model guru, model siswa dilatih pada loss untuk prediksinya sendiri. Untuk setiap episode pelatihan meta-learner model-agnostic:
- Salinan dari model meta-learner saat ini dibuat.
- Salinan dilatih dengan bantuan model dasar/model guru.
- Salinan mengembalikan prediksi untuk data pelatihan.
- Loss yang dihitung digunakan untuk memperbarui meta-learner.
Metric-Learning
Pendekatan metric-learning untuk merancang model pembelajaran few-shot biasanya melibatkan penggunaan metrik jarak dasar untuk membuat perbandingan antara sampel dalam kumpulan data. Algoritma metric-learning seperti jarak kosinus digunakan untuk mengklasifikasikan sampel kueri berdasarkan kesamaannya dengan sampel pendukung. Untuk pengklasifikasi gambar, ini berarti hanya mengklasifikasikan gambar berdasarkan kesamaan karakteristik permukaan. Setelah support set gambar dipilih dan diubah menjadi vektor embedding, hal yang sama dilakukan dengan query set dan kemudian nilai untuk kedua vektor dibandingkan, dengan pengklasifikasi memilih kelas yang memiliki nilai terdekat dengan vektor query set. Solusi berbasis metrik yang lebih canggih adalah “prototypical network“. Jaringan prototipikal mengelompokkan titik data bersama-sama menggabungkan model pengelompokan dengan klasifikasi berbasis metrik yang dijelaskan di atas. Seperti dalam pengelompokan K-means, centroid untuk cluster dihitung untuk kelas dalam support set dan query set. Metrik jarak Euclidean kemudian diterapkan untuk menentukan perbedaan antara query set dan centroid dari support set, menetapkan query set ke kelas support set mana pun yang lebih dekat. Sebagian besar pendekatan pembelajaran few-shot lainnya hanyalah variasi pada teknik inti yang dibahas di atas.
Aplikasi untuk Pembelajaran Few-Shot
Pembelajaran few-shot memiliki aplikasi di banyak subbidang ilmu data yang berbeda, seperti penglihatan komputer, pemrosesan bahasa alami, robotika, perawatan kesehatan, dan pemrosesan sinyal. Aplikasi untuk pembelajaran few-shot dalam ruang penglihatan komputer termasuk pengenalan karakter yang efisien, klasifikasi gambar, pengenalan objek, pelacakan objek, prediksi gerakan, dan pelokalan tindakan. Aplikasi pemrosesan bahasa alami untuk pembelajaran few-shot termasuk terjemahan, penyelesaian kalimat, klasifikasi maksud pengguna, analisis sentimen, dan klasifikasi teks multi-label. Pembelajaran few-shot dapat digunakan dalam bidang robotika untuk membantu robot belajar tentang tugas dari hanya beberapa demonstrasi, membiarkan robot belajar bagaimana melakukan tindakan, bergerak, dan menavigasi dunia di sekitar mereka. Penemuan obat few-shot adalah area perawatan kesehatan AI yang sedang muncul. Akhirnya, pembelajaran few-shot memiliki aplikasi untuk pemrosesan sinyal akustik, yang merupakan proses menganalisis data suara, memungkinkan sistem AI mengkloning suara berdasarkan hanya beberapa sampel pengguna atau konversi suara dari satu pengguna ke pengguna lain.
