Apa itu Teorema Bayes?

Jika Anda pernah mempelajari ilmu data atau pembelajaran mesin, kemungkinan besar Anda pernah mendengarnya istilah "Teorema Bayes" sebelumnya, atau “pengklasifikasi Bayes”. Konsep-konsep ini bisa jadi agak membingungkan, terutama jika Anda tidak terbiasa memikirkan probabilitas dari perspektif statistik tradisional yang sering digunakan. Artikel ini akan mencoba menjelaskan prinsip di balik Teorema Bayes dan cara penggunaannya dalam pembelajaran mesin.

Apa itu Teorema Bayes?

Teorema Bayes adalah metode dari menghitung peluang bersyarat. Metode tradisional untuk menghitung probabilitas bersyarat (probabilitas bahwa satu peristiwa terjadi mengingat terjadinya peristiwa yang berbeda) adalah dengan menggunakan rumus probabilitas bersyarat, menghitung probabilitas gabungan dari peristiwa satu dan peristiwa dua yang terjadi pada waktu yang sama, lalu membaginya. dengan probabilitas peristiwa dua terjadi. Namun, probabilitas bersyarat juga dapat dihitung dengan cara yang sedikit berbeda dengan menggunakan Teorema Bayes.

Saat menghitung probabilitas bersyarat dengan teorema Bayes, Anda menggunakan langkah-langkah berikut:

• Tentukan probabilitas kondisi B benar, dengan asumsi bahwa kondisi A benar.
• Tentukan peluang kejadian A benar.
• Kalikan kedua probabilitas bersama-sama.
• Bagilah dengan probabilitas peristiwa B terjadi.

Ini berarti bahwa rumus Teorema Bayes dapat dinyatakan seperti ini:

P(A|B) = P(B|A)*P(A) / P(B)

Menghitung probabilitas bersyarat seperti ini sangat berguna ketika probabilitas bersyarat terbalik dapat dengan mudah dihitung, atau ketika menghitung probabilitas bersama akan terlalu menantang.

Contoh Teorema Bayes

Ini mungkin lebih mudah untuk ditafsirkan jika kita meluangkan waktu untuk melihat sebuah contoh tentang bagaimana Anda akan menerapkan penalaran Bayesian dan Teorema Bayes. Anggaplah Anda sedang memainkan permainan sederhana di mana banyak peserta menceritakan sebuah cerita dan Anda harus menentukan salah satu peserta yang berbohong kepada Anda. Mari isi persamaan Teorema Bayes dengan variabel dalam skenario hipotetis ini.

Kami mencoba memprediksi apakah setiap individu dalam game berbohong atau mengatakan yang sebenarnya, jadi jika ada tiga pemain selain Anda, variabel kategori dapat dinyatakan sebagai A1, A2, dan A3. Bukti kebohongan/kebenaran mereka adalah perilaku mereka. Seperti saat bermain poker, Anda akan mencari “memberi tahu” tertentu bahwa seseorang berbohong dan menggunakannya sebagai informasi untuk menginformasikan tebakan Anda. Atau jika Anda diizinkan menanyai mereka, itu akan menjadi bukti cerita mereka tidak sesuai. Kami dapat mewakili bukti bahwa seseorang berbohong sebagai B.

Agar jelas, kami bertujuan untuk memprediksi Probabilitas (A berbohong/mengatakan yang sebenarnya | mengingat bukti perilakunya). Untuk melakukan ini, kami ingin mengetahui kemungkinan B diberikan A, atau kemungkinan bahwa perilaku mereka akan terjadi jika orang tersebut benar-benar berbohong atau mengatakan yang sebenarnya. Anda mencoba menentukan dalam kondisi apa perilaku yang Anda lihat paling masuk akal. Jika ada tiga perilaku yang Anda saksikan, Anda akan melakukan perhitungan untuk setiap perilaku. Misalnya, P(B1, B2, B3 * A). Anda kemudian akan melakukan ini untuk setiap kemunculan A/untuk setiap orang dalam game selain diri Anda sendiri. Itulah bagian dari persamaan di atas:

P(B1, B2, B3,|A) * P|A

Akhirnya, kita hanya membaginya dengan probabilitas B.

Jika kami menerima bukti tentang probabilitas aktual dalam persamaan ini, kami akan membuat ulang model probabilitas kami, dengan mempertimbangkan bukti baru. Ini disebut memperbarui prior Anda, karena Anda memperbarui asumsi Anda tentang probabilitas sebelumnya dari peristiwa yang diamati terjadi.

Aplikasi Pembelajaran Mesin untuk teorema Bayes

Penggunaan teorema Bayes yang paling umum dalam pembelajaran mesin adalah dalam bentuk algoritma Naive Bayes.

Naive Bayes digunakan untuk klasifikasi dataset biner dan multi-kelas, Naive Bayes mendapatkan namanya karena nilai yang ditetapkan untuk bukti/atribut saksi – Bs dalam P(B1, B2, B3 * A) – diasumsikan independen satu sama lain. Diasumsikan bahwa atribut ini tidak memengaruhi satu sama lain untuk menyederhanakan model dan membuat perhitungan menjadi mungkin, alih-alih mencoba tugas rumit untuk menghitung hubungan antara masing-masing atribut. Terlepas dari model yang disederhanakan ini, Naive Bayes cenderung bekerja cukup baik sebagai algoritme klasifikasi, bahkan ketika asumsi ini mungkin tidak benar (yang seringkali terjadi).

Ada juga varian yang biasa digunakan dari pengklasifikasi Naive Bayes seperti Multinomial Naive Bayes, Bernoulli Naive Bayes, dan Gaussian Naive Bayes.

Naive Bayes Multinomial algoritma sering digunakan untuk mengklasifikasikan dokumen, karena efektif dalam menafsirkan frekuensi kata dalam dokumen.

Bernoulli Naif Bayes beroperasi serupa dengan Multinomial Naive Bayes, tetapi prediksi yang diberikan oleh algoritme adalah boolean. Ini berarti bahwa ketika memprediksi kelas, nilainya akan berupa biner, tidak, atau ya. Dalam domain klasifikasi teks, algoritma Bernoulli Naive Bayes akan menetapkan parameter ya atau tidak berdasarkan ada atau tidaknya kata yang ditemukan dalam dokumen teks.

Jika nilai prediktor/fitur tidak diskrit melainkan kontinu, Gauss Naif Bayes dapat digunakan. Diasumsikan bahwa nilai fitur kontinu telah diambil sampelnya dari distribusi gaussian.