Model Pembelajaran Mesin Generative vs. Diskriminatif

Beberapa model pembelajaran mesin termasuk dalam kategori “generative” atau “diskriminatif”. Namun, apa perbedaan antara kedua kategori model ini? Apa artinya bagi sebuah model untuk menjadi diskriminatif atau generative?

Jawaban singkatnya adalah bahwa model generative adalah model yang mencakup distribusi dataset, mengembalikan probabilitas untuk contoh tertentu. Model generative sering digunakan untuk memprediksi apa yang terjadi selanjutnya dalam sebuah urutan. Sementara itu, model diskriminatif digunakan untuk klasifikasi atau regresi dan mengembalikan prediksi berdasarkan probabilitas kondisional. Mari kita jelajahi perbedaan antara model generative dan diskriminatif lebih lanjut, sehingga kita dapat memahami apa yang memisahkan kedua jenis model dan kapan jenis model harus digunakan.

Model Pembelajaran Mesin Generative vs. Diskriminatif

Ada beberapa cara untuk mengategorikan model pembelajaran mesin. Sebuah model dapat diklasifikasikan sebagai milik kategori yang berbeda, seperti: model generative, model diskriminatif, model parametric, model non-parametric, model berbasis pohon, model non-pohon.

Artikel ini akan fokus pada perbedaan antara model generative dan model diskriminatif. Kami akan memulai dengan mendefinisikan model generative dan diskriminatif, kemudian kita akan menjelajahi beberapa contoh dari masing-masing jenis model.

Model Generative

Model generative adalah model yang berfokus pada distribusi kelas dalam dataset. Algoritma pembelajaran mesin biasanya memodelkan distribusi data poin. Model generative bergantung pada pencarian probabilitas bersama. Membuat poin di mana fitur input yang diberikan dan label/output yang diinginkan ada bersamaan.

Model generative biasanya digunakan untuk memperkirakan probabilitas dan kemungkinan, memodelkan data poin dan membedakan antara kelas berdasarkan probabilitas tersebut. Karena model mempelajari distribusi probabilitas untuk dataset, maka dapat merujuk pada distribusi probabilitas tersebut untuk menghasilkan contoh data baru. Model generative sering bergantung pada teorema Bayes untuk menemukan probabilitas bersama, menemukan p(x,y). Secara esensial, model generative memodelkan bagaimana data dihasilkan, menjawab pertanyaan berikut:

“Apa kemungkinan bahwa kelas ini atau kelas lain menghasilkan data poin/contoh ini?”

Contoh model pembelajaran mesin generative termasuk Analisis Diskriminan Linier (LDA), Model Markov Tersembunyi, dan jaringan Bayesian seperti Naive Bayes.

Model Diskriminatif

Sementara model generative mempelajari distribusi dataset, model diskriminatif mempelajari batas keputusan antara kelas dalam dataset. Dengan model diskriminatif, tujuannya adalah untuk mengidentifikasi batas keputusan antara kelas untuk menerapkan label kelas yang dapat diandalkan pada contoh data. Model diskriminatif memisahkan kelas dalam dataset dengan menggunakan probabilitas kondisional, tanpa membuat asumsi tentang poin data individu.

Model diskriminatif berusaha untuk menjawab pertanyaan berikut:

“Di mana sisi batas keputusan contoh ini ditemukan?”

Contoh model pembelajaran mesin diskriminatif termasuk mesin vektor pendukung, regresi logistik, pohon keputusan, dan hutan acak.

Perbedaan Antara Model Generative dan Diskriminatif

Berikut adalah ringkasan singkat dari perbedaan utama antara model generative dan diskriminatif.

Model Generative:

• Model generative bertujuan untuk menangkap distribusi kelas yang sebenarnya dalam dataset.
• Model generative memprediksi distribusi probabilitas bersama – p(x,y) – dengan menggunakan teorema Bayes.
• Model generative lebih mahal secara komputasi dibandingkan dengan model diskriminatif.
• Model generative berguna untuk tugas pembelajaran mesin tidak terawasi.
• Model generative dipengaruhi oleh kehadiran outlier lebih dari model diskriminatif.

Model Diskriminatif:

• Model diskriminatif memodelkan batas keputusan untuk kelas dalam dataset.
• Model diskriminatif mempelajari probabilitas kondisional – p(y|x).
• Model diskriminatif lebih murah secara komputasi dibandingkan dengan model generative.
• Model diskriminatif berguna untuk tugas pembelajaran mesin terawasi.
• Model diskriminatif memiliki kelebihan dalam ketahanan terhadap outlier, tidak seperti model generative.
• Model diskriminatif lebih tahan terhadap outlier dibandingkan dengan model generative.

Kami akan segera menjelajahi beberapa contoh model pembelajaran mesin generative dan diskriminatif.

Contoh Model Generative

Analisis Diskriminan Linier (LDA)

Model LDA berfungsi dengan memperkirakan varians dan mean dari data untuk setiap kelas dalam dataset. Setelah mean dan varians untuk setiap kelas dihitung, prediksi dapat dibuat dengan memperkirakan probabilitas bahwa sebuah set input tertentu termasuk dalam sebuah kelas tertentu.

Model Markov Tersembunyi

Rantai Markov dapat dianggap sebagai grafik dengan probabilitas yang menunjukkan seberapa mungkin kita akan berpindah dari satu titik dalam rantai, sebuah “keadaan”, ke keadaan lain. Rantai Markov digunakan untuk menentukan probabilitas berpindah dari keadaan j ke keadaan i, yang dapat dilambangkan sebagai p(i,j). Ini adalah probabilitas bersama yang disebutkan di atas. Model Markov Tersembunyi adalah di mana rantai Markov yang tidak terlihat, tidak teramati, digunakan. Input data diberikan kepada model dan probabilitas untuk keadaan saat ini dan keadaan sebelumnya digunakan untuk menghitung hasil yang paling mungkin.

Jaringan Bayesian

Jaringan Bayesian adalah jenis model grafik probabilistik. Mereka merepresentasikan ketergantungan kondisional antara variabel, seperti yang direpresentasikan oleh Grafik Siklik Terarah. Dalam jaringan Bayesian, setiap tepi grafik merepresentasikan ketergantungan kondisional, dan setiap node sesuai dengan variabel unik. Ketergantungan kondisional untuk hubungan unik dalam grafik dapat digunakan untuk menentukan distribusi bersama dari variabel dan menghitung probabilitas bersama. Dengan kata lain, jaringan Bayesian menangkap subset dari hubungan independen dalam distribusi probabilitas bersama tertentu.

Setelah jaringan Bayesian dibuat dan didefinisikan dengan benar, dengan Variabel Acak, Hubungan Kondisional, dan Distribusi Probabilitas yang diketahui, maka dapat digunakan untuk memperkirakan probabilitas kejadian atau hasil.

Salah satu jenis jaringan Bayesian yang paling umum digunakan adalah model Naive Bayes. Model Naive Bayes menangani tantangan menghitung probabilitas untuk dataset dengan banyak parameter/variabel dengan menganggap semua fitur sebagai independen satu sama lain.

Contoh Model Diskriminatif

Mesin Vektor Pendukung

Mesin vektor pendukung beroperasi dengan menggambar batas keputusan antara poin data, menemukan batas keputusan yang terbaik untuk memisahkan kelas yang berbeda dalam dataset. Algoritma SVM menggambar garis atau hiperplan yang memisahkan poin, untuk ruang 2-dimensi dan 3-dimensi. SVM berusaha untuk menemukan garis/hiperplan yang terbaik untuk memisahkan kelas dengan mencoba memaksimalkan margin, atau jarak antara garis/hiperplan ke poin terdekat. Model SVM juga dapat digunakan pada dataset yang tidak terpisahkan secara linier dengan menggunakan “trik kernel” untuk mengidentifikasi batas keputusan non-linier.

Regresi Logistik

Regresi logistik adalah algoritma yang menggunakan fungsi logit (log-odds) untuk menentukan probabilitas bahwa input termasuk dalam salah satu dari dua keadaan. Fungsi sigmoid digunakan untuk “menghancurkan” probabilitas ke arah 0 atau 1, benar atau salah. Probabilitas yang lebih besar dari 0,50 dianggap sebagai kelas 1, sedangkan probabilitas 0,49 atau lebih rendah dianggap sebagai 0. Oleh karena itu, regresi logistik biasanya digunakan dalam masalah klasifikasi biner. Namun, regresi logistik dapat diterapkan pada masalah multi-kelas dengan menggunakan pendekatan satu-lawan-semua, membuat model klasifikasi biner untuk setiap kelas dan menentukan probabilitas bahwa contoh adalah kelas target atau kelas lain dalam dataset.

Pohon Keputusan

Model pohon keputusan berfungsi dengan membagi dataset menjadi bagian yang lebih kecil, dan setelah subset tidak dapat dibagi lagi, hasilnya adalah pohon dengan node dan daun. Node dalam pohon keputusan adalah di mana keputusan tentang poin data dibuat dengan menggunakan kriteria penyaringan yang berbeda. Daun dalam pohon keputusan adalah poin data yang telah diklasifikasikan. Algoritma pohon keputusan dapat menangani data numerik dan kategorik, dan pemisahan dalam pohon didasarkan pada variabel/fitur tertentu.

Hutan Acak

Model hutan acak pada dasarnya adalah sekumpulan pohon keputusan di mana prediksi pohon individu diambil rata-rata untuk menghasilkan keputusan akhir. Algoritma hutan acak memilih pengamatan dan fitur secara acak, membangun pohon individu berdasarkan pilihan tersebut.

Artikel tutorial ini akan menjelajahi cara membuat Plot Kotak di Matplotlib. Plot kotak digunakan untuk memvisualisasikan statistik ringkas dari dataset, menampilkan atribut distribusi seperti rentang data dan distribusi.