Apa itu Matriks Kebingungan?

Salah satu alat analitis paling kuat dalam pembelajaran mesin dan ilmu data adalah matriks kebingungan. Matriks kebingungan mampu memberikan peneliti informasi rinci tentang bagaimana klasifikasi pembelajaran mesin telah berperforma dengan respect kepada kelas target dalam dataset. Matriks kebingungan akan menampilkan contoh-contoh yang telah diklasifikasikan dengan benar melawan contoh-contoh yang salah diklasifikasikan. Mari kita lihat lebih dalam tentang bagaimana matriks kebingungan terstruktur dan bagaimana dapat diinterpretasikan.

Apa itu Matriks Kebingungan?

Mari kita mulai dengan memberikan definisi sederhana dari matriks kebingungan. Matriks kebingungan adalah alat analitik prediktif. Secara khusus, ini adalah tabel yang menampilkan dan membandingkan nilai-nilai aktual dengan nilai-nilai yang diprediksi oleh model. Dalam konteks pembelajaran mesin, matriks kebingungan digunakan sebagai metrik untuk menganalisis bagaimana klasifikasi pembelajaran mesin berperforma pada dataset. Matriks kebingungan menghasilkan visualisasi metrik seperti presisi, akurasi, spesifisitas, dan recall.

Alasan matriks kebingungan sangat berguna adalah bahwa, tidak seperti metrik klasifikasi lain seperti akurasi sederhana, matriks kebingungan menghasilkan gambaran yang lebih lengkap tentang bagaimana model berperforma. Hanya menggunakan metrik seperti akurasi dapat menyebabkan situasi di mana model secara konsisten salah mengidentifikasi satu kelas, tetapi tidak terdeteksi karena performa rata-rata baik. Sementara itu, matriks kebingungan memberikan perbandingan nilai-nilai yang berbeda seperti False Negatives, True Negatives, False Positives, dan True Positives.

Mari kita definisikan metrik-metrik yang diwakili oleh matriks kebingungan.

Recall dalam Matriks Kebingungan

Recall adalah jumlah contoh positif yang sebenarnya dibagi dengan jumlah contoh negatif palsu dan contoh positif total. Dengan kata lain, recall adalah representasi proporsi contoh positif yang sebenarnya yang telah diklasifikasikan oleh model pembelajaran mesin. Recall diberikan sebagai persentase contoh positif yang dapat diklasifikasikan oleh model dari semua contoh positif dalam dataset. Nilai ini juga dapat disebut sebagai “hit rate”, dan nilai terkait adalah “sensitivitas“, yang menjelaskan kemungkinan recall, atau tingkat prediksi positif yang sebenarnya.

Presisi dalam Matriks Kebingungan

Seperti recall, presisi adalah nilai yang melacak performa model dalam mengklasifikasikan contoh positif. Tidak seperti recall, presisi lebih peduli dengan berapa banyak contoh yang diberi label positif oleh model yang sebenarnya positif. Untuk menghitung ini, jumlah contoh positif yang sebenarnya dibagi dengan jumlah contoh palsu positif plus contoh positif yang sebenarnya.

Untuk membuat perbedaan antara recall dan presisi lebih jelas, presisi bertujuan untuk mengetahui persentase semua contoh yang diberi label positif yang sebenarnya positif, sementara recall melacak persentase semua contoh positif yang sebenarnya yang dapat dikenali oleh model.

Spesifisitas dalam Matriks Kebingungan

Sementara recall dan presisi adalah nilai yang melacak contoh positif dan tingkat positif yang sebenarnya, spesifisitas mengukur tingkat negatif yang sebenarnya atau jumlah contoh yang didefinisikan sebagai negatif oleh model yang sebenarnya negatif. Ini dihitung dengan mengambil jumlah contoh yang diklasifikasikan sebagai negatif dan membaginya dengan jumlah contoh palsu positif yang digabung dengan contoh negatif yang sebenarnya.

Mengerti Matriks Kebingungan

Photo: Jackverr via Wikimedia Commons, (https://commons.wikimedia.org/wiki/File:ConfusionMatrix.png), CC BY SA 3.0

Contoh Matriks Kebingungan

Setelah mendefinisikan istilah-istilah yang diperlukan seperti presisi, recall, sensitivitas, dan spesifisitas, kita dapat melihat bagaimana nilai-nilai yang berbeda ini diwakili dalam matriks kebingungan. Matriks kebingungan dihasilkan dalam kasus klasifikasi, yang dapat diterapkan ketika ada dua atau lebih kelas. Matriks kebingungan yang dihasilkan dapat sebesar yang diinginkan, memegang jumlah kelas yang diinginkan, tetapi untuk keperluan kesederhanaan, kita akan melihat matriks kebingungan 2 x 2 untuk tugas klasifikasi biner.

Sebagai contoh, anggaplah bahwa sebuah klasifikasi digunakan untuk menentukan apakah pasien memiliki penyakit atau tidak. Fitur-fitur akan dimasukkan ke dalam klasifikasi, dan klasifikasi akan mengembalikan salah satu dari dua klasifikasi yang berbeda – baik pasien tidak memiliki penyakit atau mereka memiliki.

Mari kita mulai dengan sisi kiri matriks. Sisi kiri matriks kebingungan mewakili prediksi yang dibuat oleh klasifikasi untuk kelas individu. Tugas klasifikasi biner akan memiliki dua baris di sini. Mengenai bagian atas matriks, ini melacak nilai-nilai sebenarnya, label kelas sebenarnya, dari contoh data.

Menginterpretasikan matriks kebingungan dapat dilakukan dengan memeriksa di mana baris dan kolom bersilangan. Periksa prediksi model dengan label sebenarnya dari model. Dalam hal ini, nilai True Positives, jumlah prediksi positif yang benar, terletak di pojok kiri atas. Nilai false positives terletak di pojok kanan atas, di mana contoh-contoh sebenarnya negatif tetapi klasifikasi menandainya sebagai positif.

Sudut kiri bawah grid menampilkan contoh-contoh yang diklasifikasikan sebagai negatif oleh klasifikasi tetapi sebenarnya positif. Akhirnya, sudut kanan bawah matriks kebingungan adalah di mana nilai True Negatives terletak, atau di mana contoh-contoh yang sebenarnya negatif.

Ketika dataset berisi lebih dari dua kelas, matriks tumbuh dengan jumlah kelas tersebut. Misalnya, jika ada tiga kelas, matriks akan menjadi matriks 3 x 3. Tidak peduli ukuran matriks kebingungan, metode untuk menginterpretasikannya sama. Sisi kiri berisi nilai-nilai yang diprediksi dan label kelas sebenarnya berjalan di atas. Contoh-contoh yang diprediksi dengan benar oleh klasifikasi berjalan secara diagonal dari atas-kiri ke bawah-kanan. Dengan melihat matriks, Anda dapat mengetahui empat metrik prediktif yang dibahas di atas.

Sebagai contoh, Anda dapat menghitung recall dengan mengambil true positives dan false negatives, menambahkan mereka bersama, dan membaginya dengan jumlah contoh positif yang sebenarnya. Sementara itu, presisi dapat dihitung dengan menggabungkan false positives dengan true positives, lalu membagi nilai tersebut dengan total true positives.

Sementara seseorang dapat menghabiskan waktu untuk menghitung metrik seperti presisi, recall, dan spesifisitas secara manual, metrik ini sangat umum digunakan sehingga sebagian besar perpustakaan pembelajaran mesin memiliki metode untuk menampilkan mereka. Sebagai contoh, Scikit-learn untuk Python memiliki fungsi yang menghasilkan matriks kebingungan.