Apa itu Meta-Learning?

Apa itu Meta-Learning?

Salah satu bidang penelitian pembelajaran mesin dengan pertumbuhan tercepat adalah bidang meta-learning. Meta-learning, dalam konteks pembelajaran mesin, adalah penggunaan algoritma pembelajaran mesin untuk membantu pelatihan dan pengoptimalan model pembelajaran mesin lainnya. Karena meta-learning menjadi semakin populer dan lebih banyak teknik meta-learning sedang dikembangkan, akan bermanfaat untuk memiliki pemahaman tentang apa itu meta-learning dan untuk mengetahui berbagai cara penerapannya. Mari periksa ide di balik meta-learning, jenis meta-learning, serta beberapa cara meta-learning dapat digunakan.

Istilah meta-learning diciptakan oleh Donald Maudsley untuk menggambarkan sebuah proses di mana orang mulai membentuk apa yang mereka pelajari, menjadi "semakin mengendalikan kebiasaan persepsi, penyelidikan, pembelajaran, dan pertumbuhan yang telah mereka internalisasikan". Belakangan, para ilmuwan kognitif dan psikolog akan menggambarkan meta-learning sebagai “belajar bagaimana belajar”.

Untuk meta-learning versi pembelajaran mesin, gagasan umum tentang "belajar cara belajar" diterapkan pada sistem AI. Dalam pengertian AI, meta-learning adalah kemampuan mesin kecerdasan artifisial untuk mempelajari cara melakukan berbagai tugas kompleks, mengambil prinsip yang digunakannya untuk mempelajari satu tugas dan menerapkannya ke tugas lain. Sistem AI biasanya harus dilatih untuk menyelesaikan tugas melalui penguasaan banyak subtugas kecil. Pelatihan ini bisa memakan waktu lama dan agen AI tidak mudah mentransfer pengetahuan yang dipelajari selama satu tugas ke tugas lainnya. Membuat model dan teknik meta-learning dapat membantu AI belajar menggeneralisasi metode pembelajaran dan memperoleh keterampilan baru lebih cepat.

Jenis Pembelajaran Meta

Pembelajaran Meta Pengoptimal

Meta-learning sering digunakan untuk mengoptimalkan kinerja jaringan saraf yang sudah ada. Metode meta-learning pengoptimal biasanya berfungsi dengan mengutak-atik hyperparameter dari jaringan saraf yang berbeda untuk meningkatkan kinerja jaringan saraf dasar. Hasilnya adalah jaringan target harus menjadi lebih baik dalam melakukan tugas yang sedang dilatihnya. Salah satu contoh pengoptimal meta-learning adalah penggunaan jaringan untuk meningkatkan keturunan gradien hasil.

Pembelajaran Meta Sedikit Tembakan

Pendekatan meta-learning beberapa tembakan adalah salah satu di mana jaringan saraf yang dalam direkayasa yang mampu menggeneralisasi dari kumpulan data pelatihan ke kumpulan data yang tidak terlihat. Instance dari klasifikasi beberapa tembakan serupa dengan tugas klasifikasi normal, tetapi sebaliknya, sampel datanya adalah seluruh kumpulan data. Model ini dilatih pada banyak tugas/kumpulan data pembelajaran yang berbeda dan kemudian dioptimalkan untuk kinerja puncak pada banyak tugas pelatihan dan data yang tidak terlihat. Dalam pendekatan ini, satu sampel pelatihan dibagi menjadi beberapa kelas. Ini berarti bahwa setiap sampel/set data pelatihan berpotensi terdiri dari dua kelas, dengan total 4 tembakan. Dalam hal ini, tugas pelatihan total dapat digambarkan sebagai tugas klasifikasi 4-tembakan 2-kelas.

Dalam pembelajaran beberapa tembakan, idenya adalah bahwa sampel pelatihan individual minimalis dan jaringan dapat belajar mengidentifikasi objek setelah melihat beberapa gambar saja. Ini seperti bagaimana seorang anak belajar membedakan objek setelah melihat beberapa gambar saja. Pendekatan ini telah digunakan untuk membuat teknik seperti model generatif satu-shot dan jaringan saraf augmented memori.

Metrik Meta-Pembelajaran

Meta-learning berbasis metrik adalah pemanfaatan jaringan saraf untuk menentukan apakah metrik digunakan secara efektif dan apakah jaringan atau jaringan mencapai metrik target. Metrik meta-learning mirip dengan pembelajaran beberapa tembakan di mana hanya beberapa contoh yang digunakan untuk melatih jaringan dan mempelajari ruang metrik. Metrik yang sama digunakan di seluruh domain yang beragam dan jika jaringan menyimpang dari metrik dianggap gagal.

Meta-Learning Model Berulang

Pembelajaran meta model berulang adalah penerapan teknik pembelajaran meta pada Jaringan Syaraf Berulang dan jaringan Memori Jangka Pendek Panjang yang serupa. Teknik ini beroperasi dengan melatih model RNN/LSTM untuk mempelajari kumpulan data secara berurutan dan kemudian menggunakan model terlatih ini sebagai dasar untuk pelajar lainnya. Pembelajar meta menggunakan algoritme pengoptimalan spesifik yang digunakan untuk melatih model awal. Parameterisasi yang diwariskan dari pembelajar meta memungkinkannya melakukan inisialisasi dan konvergensi dengan cepat, namun tetap dapat memperbarui untuk skenario baru.

Bagaimana Meta-Learning Bekerja?

Cara pasti meta-learning dilakukan bervariasi tergantung pada model dan sifat tugas yang ada. Namun, secara umum, tugas meta-learning melibatkan penyalinan parameter dari jaringan pertama ke dalam parameter jaringan kedua/pengoptimal.

Ada dua proses pelatihan dalam meta-learning. Model meta-learning biasanya dilatih setelah beberapa langkah pelatihan pada model dasar telah dilakukan. Setelah langkah maju, mundur, dan optimalisasi yang melatih model dasar, dilakukan pelatihan lanjutan untuk model optimalisasi. Misalnya, setelah tiga atau empat langkah pelatihan pada model dasar, kerugian meta dihitung. Setelah meta-loss dihitung, gradien dihitung untuk setiap meta-parameter. Setelah ini terjadi, parameter meta di pengoptimal diperbarui.

Salah satu kemungkinan untuk menghitung kerugian meta adalah menyelesaikan forward training pass dari model awal dan kemudian menggabungkan kerugian yang telah dihitung. Pengoptimal meta bahkan bisa menjadi meta-pelajar lain, meskipun pada titik tertentu pengoptimal diskrit seperti ADAM atau SGD harus digunakan.

Banyak model pembelajaran mendalam dapat memiliki ratusan ribu atau bahkan jutaan parameter. Membuat meta-pelajar yang memiliki kumpulan parameter yang sama sekali baru akan mahal secara komputasi, dan untuk alasan ini, taktik yang disebut pembagian koordinat biasanya digunakan. Berbagi koordinat melibatkan rekayasa meta-pelajar/pengoptimal sehingga mempelajari satu parameter dari model dasar dan kemudian hanya mengkloning parameter itu sebagai pengganti semua parameter lainnya. Hasilnya adalah parameter yang dimiliki pengoptimal tidak bergantung pada parameter model.