Apa itu Meta-Learning?

Apa itu Meta-Learning?

Salah satu area penelitian yang tumbuh paling cepat di bidang pembelajaran mesin adalah area meta-learning. Meta-learning, dalam konteks pembelajaran mesin, adalah penggunaan algoritma pembelajaran mesin untuk membantu dalam pelatihan dan optimasi model pembelajaran mesin lainnya. Ketika meta-learning menjadi lebih dan lebih populer dan lebih banyak teknik meta-learning yang dikembangkan, maka sangat bermanfaat untuk memiliki pemahaman tentang apa itu meta-learning dan memiliki gambaran tentang berbagai cara penerapannya. Mari kita lihat ide-ide di balik meta-learning, jenis-jenis meta-learning, serta beberapa cara meta-learning dapat digunakan.

Istilah meta-learning diciptakan oleh Donald Maudsley untuk menggambarkan proses yang dilalui orang untuk membentuk apa yang mereka pelajari, menjadi “semakin mengendalikan kebiasaan persepsi, penyelidikan, pembelajaran, dan pertumbuhan yang telah mereka internalisasi”. Kemudian, ilmuwan kognitif dan psikolog akan menggambarkan meta-learning sebagai “pembelajaran cara belajar”.

Untuk versi pembelajaran mesin dari meta-learning, ide umum “pembelajaran cara belajar” diterapkan pada sistem AI. Dalam pengertian AI, meta-learning adalah kemampuan mesin cerdas buatan untuk belajar cara melakukan berbagai tugas kompleks, mengambil prinsip yang digunakan untuk belajar satu tugas dan menerapkannya pada tugas lain. Sistem AI biasanya harus dilatih untuk menyelesaikan tugas melalui penguasaan banyak sub-tugas kecil. Pelatihan ini dapat memakan waktu lama dan agen AI tidak dengan mudah mentransfer pengetahuan yang diperoleh selama satu tugas ke tugas lain. Membuat model dan teknik meta-learning dapat membantu AI belajar untuk menggeneralisasi metode pembelajaran dan memperoleh keterampilan baru lebih cepat.

Jenis-Jenis Meta-Learning

Optimizer Meta-Learning

Meta-learning sering digunakan untuk mengoptimalkan kinerja jaringan neural yang sudah ada. Metode optimizer meta-learning biasanya berfungsi dengan menyesuaikan hyperparameter jaringan neural lain untuk meningkatkan kinerja jaringan neural dasar. Hasilnya adalah jaringan target harus menjadi lebih baik dalam melakukan tugas yang sedang dilatih. Salah satu contoh meta-learning optimizer adalah penggunaan jaringan untuk meningkatkan gradient descent hasil.

Few-Shots Meta-Learning

Pendekatan few-shots meta-learning adalah satu di mana jaringan neural dalam dibangun yang mampu menggeneralisasi dari dataset pelatihan ke dataset yang tidak terlihat. Contoh few-shot klasifikasi mirip dengan tugas klasifikasi normal, tetapi sebagai gantinya, sampel data adalah dataset lengkap. Model dilatih pada banyak tugas pembelajaran/ dataset yang berbeda dan kemudian dioptimalkan untuk kinerja puncak pada banyak tugas pelatihan dan data yang tidak terlihat. Dalam pendekatan ini, satu sampel pelatihan dibagi menjadi beberapa kelas. Ini berarti bahwa setiap sampel pelatihan/ dataset dapat berpotensi terdiri dari dua kelas, untuk total 4-shots. Dalam hal ini, tugas pelatihan total dapat digambarkan sebagai tugas klasifikasi 4-shot 2-kelas.

Dalam few-shot learning, ideanya adalah bahwa sampel pelatihan individu minimalis dan jaringan dapat belajar mengidentifikasi objek setelah melihat hanya beberapa gambar. Ini mirip dengan cara seorang anak belajar membedakan objek setelah melihat hanya beberapa gambar. Pendekatan ini telah digunakan untuk membuat teknik seperti one-shot generative models dan memory augmented neural networks.

Metric Meta-Learning

Metric berbasis meta-learning adalah penggunaan jaringan neural untuk menentukan apakah metric digunakan secara efektif dan jika jaringan atau jaringan mencapai target metric. Metric meta-learning mirip dengan few-shot learning dalam hal hanya beberapa contoh yang digunakan untuk melatih jaringan dan membuatnya belajar ruang metric. Metric yang sama digunakan di seluruh domain yang beragam dan jika jaringan menyimpang dari metric maka dianggap gagal.

Recurrent Model Meta-Learning

Recurrent model meta-learning adalah penerapan teknik meta-learning pada Jaringan Neural Rekuren dan jaringan Long Short-Term Memory yang serupa. Teknik ini beroperasi dengan melatih model RNN/ LSTM untuk secara berurutan belajar dataset dan kemudian menggunakan model yang dilatih sebagai dasar untuk pembelajar lain. Meta-pembelajar mengambil alih algoritma optimasi yang digunakan untuk melatih model awal. Parameterisasi meta-pembelajar yang diwariskan memungkinkannya untuk dengan cepat diinisialisasi dan konvergen, tetapi masih dapat diperbarui untuk skenario baru.

Bagaimana Meta-Learning Bekerja?

Cara tepat meta-learning dilakukan bervariasi tergantung pada model dan sifat tugas yang ada. Namun, secara umum, tugas meta-learning melibatkan menyalin parameter jaringan pertama ke parameter jaringan kedua/ optimizer.

Ada dua proses pelatihan dalam meta-learning. Model meta-learning biasanya dilatih setelah beberapa langkah pelatihan pada model dasar telah dilakukan. Setelah langkah pelatihan maju, mundur, dan optimasi yang melatih model dasar, langkah pelatihan maju dilakukan untuk model optimasi. Misalnya, setelah tiga atau empat langkah pelatihan pada model dasar, meta-loss dihitung. Setelah meta-loss dihitung, gradien dihitung untuk setiap meta-parameter. Setelah itu, meta-parameter dalam optimizer diperbarui.

Salah satu kemungkinan untuk menghitung meta-loss adalah menyelesaikan langkah pelatihan maju model awal dan kemudian menggabungkan loss yang telah dihitung. Meta-optimizer bahkan dapat menjadi meta-pembelajar lain, meskipun pada titik tertentu optimizer diskrit seperti ADAM atau SGD harus digunakan.

Banyak model pembelajaran dalam dapat memiliki ratusan ribu atau bahkan jutaan parameter. Membuat meta-pembelajar yang memiliki set parameter baru sepenuhnya akan sangat mahal secara komputasi, dan karena itu, taktik yang disebut coordinate-sharing biasanya digunakan. Coordinate-sharing melibatkan merancang meta-pembelajar/ optimizer sehingga belajar satu parameter dari model dasar dan kemudian hanya mengkloning parameter itu sebagai gantinya semua parameter lain. Hasilnya adalah parameter yang dimiliki optimizer tidak bergantung pada parameter model.