Apa itu Ensemble Learning?

Salah satu teknik machine learning yang paling kuat adalah ensemble learning. Ensemble learning adalah penggunaan beberapa model machine learning untuk meningkatkan keandalan dan akurasi prediksi. Namun bagaimana penggunaan beberapa model machine learning dapat menghasilkan prediksi yang lebih akurat? Teknik seperti apa yang digunakan untuk membuat model ensemble learning? Kami akan mengeksplorasi jawaban atas pertanyaan-pertanyaan ini, dengan melihat alasan di balik penggunaan model ensemble dan cara-cara utama dalam membuat model ensemble.

Apa Itu Ensemble Learning?

Secara sederhana, ensemble learning adalah proses melatih beberapa model machine learning dan menggabungkan outputnya bersama-sama. Model-model yang berbeda digunakan sebagai dasar untuk membuat satu model prediktif yang optimal. Menggabungkan serangkaian model machine learning individu yang beragam dapat meningkatkan stabilitas model secara keseluruhan, yang mengarah pada prediksi yang lebih akurat. Model ensemble learning seringkali lebih andal daripada model individu, dan sebagai hasilnya, mereka sering menempati peringkat pertama dalam banyak kompetisi machine learning. Ada teknik yang berbeda yang dapat digunakan seorang insinyur untuk membuat model ensemble learning. Teknik ensemble learning sederhana mencakup hal-hal seperti merata-ratakan output dari model yang berbeda, sementara ada juga metode dan algoritma yang lebih kompleks yang dikembangkan khusus untuk menggabungkan prediksi dari banyak base learner/model bersama-sama.

Mengapa Menggunakan Metode Pelatihan Ensemble?

Model machine learning dapat berbeda satu sama lain karena berbagai alasan. Model machine learning yang berbeda mungkin beroperasi pada sampel data populasi yang berbeda, teknik pemodelan yang berbeda dapat digunakan, dan hipotesis yang berbeda mungkin digunakan. Bayangkan Anda sedang bermain game trivia dengan sekelompok besar orang. Jika Anda berada dalam tim sendirian, pasti ada beberapa topik yang Anda ketahui dan banyak topik yang tidak Anda ketahui. Sekarang asumsikan Anda bermain dalam tim dengan orang lain. Sama seperti Anda, mereka akan memiliki pengetahuan mengenai spesialisasi mereka sendiri dan tidak memiliki pengetahuan tentang topik lain. Namun ketika pengetahuan Anda digabungkan, Anda memiliki tebakan yang lebih akurat untuk lebih banyak bidang, dan jumlah topik yang tidak diketahui tim Anda menyusut. Ini adalah prinsip yang sama yang mendasari ensemble learning, menggabungkan prediksi dari anggota tim yang berbeda (model individu) untuk meningkatkan akurasi dan meminimalkan kesalahan. Statistikawan telah membuktikan bahwa ketika sekelompok orang diminta untuk menebak jawaban yang benar untuk suatu pertanyaan dengan sejumlah kemungkinan jawaban, semua jawaban mereka membentuk distribusi probabilitas. Orang-orang yang benar-benar tahu jawaban yang benar akan memilih jawaban yang tepat dengan percaya diri, sementara orang-orang yang memilih jawaban yang salah akan menyebarkan tebakan mereka di seluruh rentang kemungkinan jawaban yang salah. Kembali ke contoh game trivia, jika Anda dan dua teman Anda tahu jawaban yang benar adalah A, ketiga Anda akan memilih A, sementara tiga orang lain di tim Anda yang tidak tahu jawabannya kemungkinan akan salah menebak B, C, D, atau E. Hasilnya adalah A memiliki tiga suara dan jawaban lain kemungkinan hanya memiliki satu atau dua suara maksimal. Semua model memiliki sejumlah kesalahan. Kesalahan untuk satu model akan berbeda dari kesalahan yang dihasilkan oleh model lain, karena model itu sendiri berbeda karena alasan yang dijelaskan di atas. Ketika semua kesalahan diperiksa, mereka tidak akan mengelompok di sekitar satu jawaban atau lainnya, melainkan akan tersebar. Tebakan yang salah pada dasarnya tersebar di semua kemungkinan jawaban yang salah, saling meniadakan. Sementara itu, tebakan yang benar dari model-model yang berbeda akan mengelompok di sekitar jawaban yang benar dan tepat. Ketika metode pelatihan ensemble digunakan, jawaban yang benar dapat ditemukan dengan keandalan yang lebih besar.

Metode Pelatihan Ensemble Sederhana

Metode pelatihan ensemble sederhana biasanya hanya melibatkan penerapan teknik ringkasan statistik, seperti menentukan modus, mean, atau rata-rata tertimbang dari serangkaian prediksi. Modus mengacu pada elemen yang paling sering muncul dalam satu set angka. Untuk mendapatkan modus, model pembelajaran individu mengembalikan prediksi mereka dan prediksi ini dianggap sebagai suara menuju prediksi akhir. Menentukan mean dari prediksi dilakukan hanya dengan menghitung mean aritmatika dari prediksi, dibulatkan ke bilangan bulat terdekat. Terakhir, rata-rata tertimbang dapat dihitung dengan menetapkan bobot yang berbeda pada model yang digunakan untuk membuat prediksi, dengan bobot mewakili persepsi pentingnya model tersebut. Representasi numerik dari prediksi kelas dikalikan dengan bobot dari 0 hingga 1.0, prediksi tertimbang individu kemudian dijumlahkan bersama dan hasilnya dibulatkan ke bilangan bulat terdekat.

Metode Pelatihan Ensemble Lanjutan

Ada tiga teknik pelatihan ensemble lanjutan utama, masing-masing dirancang untuk menangani jenis masalah machine learning tertentu. Teknik “Bagging” digunakan untuk menurunkan varians dari prediksi model, dengan varians mengacu pada seberapa besar hasil prediksi berbeda ketika didasarkan pada observasi yang sama. Teknik “Boosting” digunakan untuk melawan bias model. Akhirnya, “stacking” digunakan untuk meningkatkan prediksi secara umum.