Apa itu Peningkatan Gradien?

Jenis model pembelajaran mesin umum yang berhasil menjadi sangat berguna dalam kompetisi ilmu data adalah model peningkatan gradien. Meningkatkan gradien pada dasarnya adalah proses mengubah model pembelajaran yang lemah menjadi model pembelajaran yang kuat. Namun bagaimana tepatnya ini dicapai? Mari kita lihat lebih dekat algoritma peningkatan gradien dan lebih baik memahami bagaimana model peningkatan gradien mengubah pembelajar yang lemah menjadi pembelajar yang kuat.

Mendefinisikan Peningkatan Gradien

Artikel ini bertujuan untuk memberi Anda intuisi yang baik tentang apa itu peningkatan gradien, tanpa banyak pemecahan matematika yang mendasari algoritme. Setelah Anda memahami bagaimana peningkatan gradien beroperasi pada tingkat tinggi, Anda didorong untuk masuk lebih dalam dan menjelajahi matematika yang memungkinkannya.

Mari kita mulai dengan mendefinisikan apa artinya "meningkatkan" seorang pembelajar. Peserta didik yang lemah diubah menjadi peserta didik yang kuat dengan menyesuaikan sifat-sifat model pembelajaran. Algoritma pembelajaran apa yang sedang ditingkatkan?

Meningkatkan model bekerja dengan menambah model pembelajaran mesin umum lainnya, sebuah pohon keputusan.

A pohon keputusan model berfungsi dengan memecah kumpulan data menjadi bagian-bagian yang lebih kecil, dan ketika subkumpulan tidak dapat dipecah lebih jauh, hasilnya adalah pohon dengan simpul dan daun. Node dalam pohon keputusan adalah tempat keputusan tentang titik data dibuat menggunakan kriteria pemfilteran yang berbeda. Daun pada pohon keputusan adalah titik data yang telah diklasifikasikan. Algoritme pohon keputusan dapat menangani data numerik dan kategorikal, dan pemisahan pohon didasarkan pada variabel/fitur tertentu.

Ilustrasi cara meningkatkan model dilatih.
Foto: SeattleDataBeli melalui Wikimedia Commons, CC 4.0 (https://commons.wikimedia.org/wiki/File:Boosting.png)

Salah satu jenis algoritma boosting adalah Algoritma AdaBoost. Algoritme AdaBoost dimulai dengan melatih model pohon keputusan dan menetapkan bobot yang sama untuk setiap pengamatan. Setelah pohon pertama dievaluasi keakuratannya, bobot untuk pengamatan yang berbeda disesuaikan. Pengamatan yang mudah diklasifikasikan bobotnya diturunkan, sedangkan observasi yang sulit diklasifikasikan bobotnya dinaikkan. Pohon kedua dibuat menggunakan bobot yang disesuaikan ini, dengan tujuan agar prediksi pohon kedua lebih akurat daripada prediksi pohon pertama.

Model sekarang terdiri dari prediksi pohon asli dan pohon baru (atau Pohon 1 + Pohon 2). Akurasi klasifikasi dinilai sekali lagi berdasarkan model baru. Pohon ketiga dibuat berdasarkan kesalahan yang dihitung untuk model, dan bobotnya sekali lagi disesuaikan. Proses ini berlanjut untuk sejumlah iterasi tertentu, dan model terakhir adalah model ansambel yang menggunakan penjumlahan bobot dari prediksi yang dibuat oleh semua pohon yang dibangun sebelumnya.

Proses yang dijelaskan di atas menggunakan Pohon Keputusan dan prediktor/model dasar, namun pendekatan peningkatan dapat dilakukan dengan berbagai model seperti banyak model classifier dan regressor standar. Konsep kunci untuk dipahami adalah bahwa prediktor selanjutnya belajar dari kesalahan yang dibuat sebelumnya dan bahwa prediktor dibuat secara berurutan.

Keuntungan utama meningkatkan algoritme adalah membutuhkan waktu lebih sedikit untuk menemukan prediksi saat ini jika dibandingkan dengan model pembelajaran mesin lainnya. Namun, kehati-hatian harus digunakan saat menggunakan algoritme penguat, karena cenderung overfitting.

Meningkatkan Gradien

Sekarang kita akan melihat salah satu algoritme peningkatan yang paling umum. Gradient Boosting Models (GBM) dikenal karena akurasinya yang tinggi, dan meningkatkan prinsip umum yang digunakan di AdaBoost.

Perbedaan utama antara Gradient Boosting Model dan AdaBoost adalah bahwa GBM menggunakan metode berbeda untuk menghitung peserta didik mana yang salah mengidentifikasi titik data. AdaBoost menghitung di mana model berperforma buruk dengan memeriksa poin data yang sangat berbobot. Sementara itu, GBM menggunakan gradien untuk menentukan keakuratan pembelajar, menerapkan fungsi kerugian pada model. Fungsi kerugian adalah cara untuk mengukur keakuratan kecocokan model pada dataset, menghitung kesalahan, dan mengoptimalkan model untuk mengurangi kesalahan tersebut. GBM membiarkan pengguna mengoptimalkan fungsi kerugian tertentu berdasarkan tujuan yang diinginkan.

Mengambil fungsi kerugian yang paling umum – Kesalahan Kuadrat Rata-Rata (MSE) - sebagai contoh, keturunan gradien digunakan untuk memperbarui prediksi berdasarkan kecepatan pembelajaran yang telah ditentukan, bertujuan untuk menemukan nilai di mana kerugian minimal.

Untuk membuatnya lebih jelas:

Prediksi model baru = variabel keluaran – prediksi lama yang tidak sempurna.

Dalam arti yang lebih statistik, GBM bertujuan untuk menemukan pola yang relevan dalam residu model, menyesuaikan model agar sesuai dengan pola dan membawa residu sedekat mungkin ke nol. Jika Anda melakukan regresi pada prediksi model, residu akan didistribusikan sekitar 0 (sangat cocok), dan GBM menemukan pola di dalam residu dan memperbarui model di sekitar pola ini.

Dengan kata lain, prediksi diperbarui sehingga jumlah semua residu sedekat mungkin dengan 0, artinya nilai prediksi akan sangat dekat dengan nilai sebenarnya.

Perhatikan bahwa berbagai fungsi kerugian lainnya (seperti kerugian logaritmik) dapat digunakan oleh GBM. MSE dipilih di atas untuk tujuan kesederhanaan.

Variasi Pada Gradient Boosting Model

Gradient Boosting Models adalah algoritme serakah yang rentan terhadap overfitting pada kumpulan data. Hal ini dapat dicegah dengan beberapa metode berbeda yang dapat meningkatkan kinerja GBM.

GBM dapat diatur dengan empat metode berbeda: Penyusutan, Batasan Pohon, Peningkatan Gradien Stokastik, dan Pembelajaran yang Dihukum.

Penyusutan

Seperti disebutkan sebelumnya, dalam prediksi GBM dirangkum bersama secara berurutan. Dalam "Penyusutan", penambahan setiap pohon ke jumlah keseluruhan disesuaikan. Bobot diterapkan yang memperlambat laju pembelajaran algoritme, mengharuskan lebih banyak pohon ditambahkan ke model, yang biasanya meningkatkan ketahanan dan kinerja model. Imbalannya adalah model membutuhkan waktu lebih lama untuk dilatih.

Kendala Pohon

Membatasi pohon dengan berbagai perubahan seperti menambah kedalaman pohon atau menambah jumlah simpul atau daun di pohon dapat mempersulit model untuk overfit. Memaksakan kendala pada jumlah minimum pengamatan per pemisahan memiliki efek yang serupa. Sekali lagi, keuntungannya adalah model akan membutuhkan waktu lebih lama untuk dilatih.

Pengambilan Sampel Acak

Pelajar individu dapat dibuat melalui proses stokastik, berdasarkan substempel yang dipilih secara acak dari kumpulan data pelatihan. Ini memiliki efek mengurangi korelasi antara pohon, yang mencegah overfitting. Dataset dapat disubstempel sebelum membuat pohon atau sebelum mempertimbangkan pemisahan pohon.

Pembelajaran yang Dihukum

Selain membatasi model dengan membatasi struktur pohon, mungkin juga menggunakan pohon regresi. Pohon regresi memiliki nilai numerik yang melekat pada setiap daun, dan ini berfungsi sebagai bobot dan dapat disesuaikan dengan fungsi regularisasi umum seperti regularisasi L1 dan L2.