Dasar-dasar AI
Apa itu Meta-Learning?
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Apa itu Meta-Learning?
Salah satu area penelitian yang tumbuh paling cepat di bidang pembelajaran mesin adalah area meta-learning. Meta-learning, dalam konteks pembelajaran mesin, adalah penggunaan algoritma pembelajaran mesin untuk membantu dalam pelatihan dan optimasi model pembelajaran mesin lainnya. Ketika meta-learning menjadi lebih populer dan lebih banyak teknik meta-learning yang dikembangkan, maka sangat bermanfaat untuk memiliki pemahaman tentang apa itu meta-learning dan memiliki gambaran tentang berbagai cara penerapannya. Mari kita lihat ide-ide di balik meta-learning, jenis-jenis meta-learning, serta beberapa cara meta-learning dapat digunakan.
Istilah meta-learning diperkenalkan oleh Donald Maudsley untuk menggambarkan proses di mana orang mulai membentuk apa yang mereka pelajari, menjadi “semakin mengontrol kebiasaan persepsi, penyelidikan, pembelajaran, dan pertumbuhan yang telah mereka internalisasi”. Kemudian, ilmuwan kognitif dan psikolog akan menggambarkan meta-learning sebagai “belajar bagaimana belajar”.
Untuk versi pembelajaran mesin dari meta-learning, ide umum “belajar bagaimana belajar” diterapkan pada sistem AI. Dalam arti AI, meta-learning adalah kemampuan mesin pintar untuk belajar bagaimana melakukan berbagai tugas kompleks, mengambil prinsip yang digunakan untuk belajar satu tugas dan menerapkannya pada tugas lain. Sistem AI biasanya harus dilatih untuk mencapai tugas melalui penguasaan banyak sub-tugas kecil. Pelatihan ini dapat memakan waktu lama dan agen AI tidak dengan mudah memindahkan pengetahuan yang diperoleh selama satu tugas ke tugas lain. Membuat model dan teknik meta-learning dapat membantu AI belajar untuk menggeneralisasi metode pembelajaran dan memperoleh keterampilan baru lebih cepat.
Jenis-Jenis Meta-Learning
Optimizer Meta-Learning
Meta-learning sering digunakan untuk mengoptimalkan kinerja jaringan neural yang sudah ada. Metode optimizer meta-learning biasanya berfungsi dengan menyesuaikan hyperparameter jaringan neural lain untuk meningkatkan kinerja jaringan neural dasar. Hasilnya adalah jaringan target harus menjadi lebih baik dalam melakukan tugas yang sedang dilatih. Salah satu contoh meta-learning optimizer adalah penggunaan jaringan untuk meningkatkan gradient descent hasil.
Few-Shots Meta-Learning
Pendekatan few-shots meta-learning adalah di mana jaringan neural dalam dibangun yang dapat menggeneralisasi dari dataset pelatihan ke dataset yang tidak terlihat. Contoh few-shot klasifikasi mirip dengan tugas klasifikasi normal, tetapi data sampel adalah dataset lengkap. Model dilatih pada banyak tugas pembelajaran yang berbeda dan kemudian dioptimalkan untuk kinerja tertinggi pada tugas pelatihan yang berbeda dan dataset yang tidak terlihat. Dalam pendekatan ini, satu sampel pelatihan dibagi menjadi beberapa kelas. Ini berarti bahwa setiap sampel pelatihan/dataset dapat terdiri dari dua kelas, untuk total 4-shots. Dalam kasus ini, tugas pelatihan total dapat digambarkan sebagai tugas klasifikasi 4-shot 2-kelas. Dalam few-shot learning, ideanya adalah bahwa sampel pelatihan individual minimalis dan jaringan dapat belajar mengidentifikasi objek setelah melihat hanya beberapa gambar. Ini mirip dengan bagaimana seorang anak belajar membedakan objek setelah melihat hanya beberapa gambar. Pendekatan ini telah digunakan untuk membuat teknik seperti one-shot generative models dan memory augmented neural networks. Metric Meta-Learning Metric berbasis meta-learning adalah penggunaan jaringan neural untuk menentukan apakah metrik digunakan secara efektif dan apakah jaringan atau jaringan mencapai metrik target. Metric meta-learning mirip dengan few-shot learning dalam hal hanya beberapa contoh yang digunakan untuk melatih jaringan dan membuatnya belajar ruang metrik. Metrik yang sama digunakan di seluruh domain yang berbeda dan jika jaringan menyimpang dari metrik, maka jaringan dianggap gagal. Recurrent Model Meta-Learning Recurrent model meta-learning adalah penerapan teknik meta-learning pada Jaringan Neural Rekuren dan jaringan Long Short-Term Memory. Teknik ini beroperasi dengan melatih model RNN/LSTM untuk mempelajari dataset secara berurutan dan kemudian menggunakan model yang dilatih sebagai dasar untuk pembelajar lain. Meta-pembelajar mengambil algoritma optimasi yang digunakan untuk melatih model awal. Parameterisasi meta-pembelajar yang diwariskan memungkinkannya untuk dengan cepat diinisialisasi dan konvergen, tetapi masih dapat diperbarui untuk skenario baru. Cara tepat meta-learning dilakukan bervariasi tergantung pada model dan sifat tugas yang sedang dilakukan. Namun, secara umum, tugas meta-learning melibatkan menyalin parameter jaringan pertama ke parameter jaringan kedua/pengoptimasi. Ada dua proses pelatihan dalam meta-learning. Model meta-learning biasanya dilatih setelah beberapa langkah pelatihan pada model dasar telah dilakukan. Setelah langkah pelatihan maju, mundur, dan optimasi yang melatih model dasar, langkah pelatihan maju dilakukan untuk model pengoptimasi. Misalnya, setelah tiga atau empat langkah pelatihan pada model dasar, kerugian meta dihitung. Setelah kerugian meta dihitung, gradien dihitung untuk setiap meta-parameter. Setelah ini terjadi, meta-parameter dalam pengoptimasi diperbarui. Satu kemungkinan untuk menghitung kerugian meta adalah menyelesaikan langkah pelatihan maju model awal dan kemudian menggabungkan kerugian yang telah dihitung. Pengoptimasi meta bahkan dapat menjadi meta-pembelajar lain, meskipun pada titik tertentu pengoptimasi diskrit seperti ADAM atau SGD harus digunakan. Banyak model pembelajaran dalam dapat memiliki ratusan ribu atau bahkan jutaan parameter. Membuat meta-pembelajar yang memiliki set parameter baru sepenuhnya akan sangat mahal secara komputasi, dan karena itu, taktik yang disebut berbagi koordinat biasanya digunakan. Berbagi koordinat melibatkan merancang meta-pembelajar/pengoptimasi sehingga belajar satu parameter dari model dasar dan kemudian hanya menyalin parameter itu ones that parameter in place of all of the other parameters. The result is that the parameters the optimizer possesses don’t depend on the parameters of the model.Bagaimana Meta-Learning Bekerja?
