Apa Itu Ketidakseimbangan Kelas? Mengapa Akurasi Bisa Menyesatkan Anda

Ketidakseimbangan kelas terjadi ketika satu kelas target jauh lebih jarang daripada kelas lainnya, sehingga metrik agregat dan pelatihan standar dapat mengabaikan kasus-kasus yang mungkin paling penting.

Ketidakseimbangan kelas perlu dijelaskan secara tepat karena istilahnya merujuk pada alur informasi, pilihan pelatihan, mekanisme saat sistem berjalan, atau batas tata kelola tertentu. Menganggapnya sebagai sinonim dari “AI canggih” membuat klaim mustahil diuji. Panduan ini menelusuri konsep tersebut mulai dari masukan dan asumsi hingga hasil yang dapat diamati, lalu menguji jalan pintas yang paling mungkin disalahartikan sebagai konsep itu.

Ketidakseimbangan Kelas Target: Definisi, Batasan, dan Tujuan

Ketidakseimbangan kelas terjadi ketika satu kelas target jauh lebih jarang daripada kelas lainnya, sehingga metrik agregat dan pelatihan standar dapat mengabaikan kasus-kasus yang mungkin paling penting. Definisi ini mencakup tiga komitmen praktis: terdapat masukan yang dapat diidentifikasi, transformasi atau keputusan yang menjadi ciri khas ketidakseimbangan kelas, serta hasil yang dapat dievaluasi berdasarkan tujuan yang dinyatakan. Jika salah satu unsur tersebut tidak ada, label itu mungkin menggambarkan suatu aspirasi, bukan mekanisme yang telah diterapkan.

Pembelajaran statistik mengubah sampel terbatas menjadi klaim tentang data di masa mendatang. Karena itu, pembagian data, optimisasi, regularisasi, metrik, dan pemantauan merupakan bagian dari satu masalah generalisasi, bukan teknik-teknik buku teks yang berdiri sendiri. Dalam ketidakseimbangan kelas, sudut pandang sistem ini penting karena kinerja dapat ditentukan oleh data, antarmuka, perangkat keras, izin, dan orang-orang di sekitarnya, sekalipun model dasarnya tidak berubah. Oleh sebab itu, penjelasan yang baik memisahkan perilaku yang dipelajari model dari produk yang menentukan kapan, di mana, dan dengan kewenangan seperti apa perilaku itu digunakan.

Jalan pintas menyesatkan yang paling mirip adalah dataset pembelajaran yang seimbang, tetapi tidak mencerminkan prevalensi sebenarnya. Dataset itu mungkin memiliki ciri yang tampak serupa dengan ketidakseimbangan kelas, tetapi mengubah hubungan sebab-akibat: keberhasilan akan dibuktikan dengan bukti yang berbeda, biaya akan lebih banyak ditentukan oleh sumber daya yang berbeda, dan pencegahan bahaya akan memerlukan kendali yang berbeda. Jadi, batasnya bersifat operasional, bukan terminologis.

Peta Operasional Ketidakseimbangan Kelas dalam Lima Tahap

Diagram ini merupakan peta sebab-akibat ringkas untuk ketidakseimbangan kelas, bukan klaim bahwa setiap penerapan menggunakan lima komponen perangkat lunak. Sebagian sistem menggabungkan beberapa tahap, sementara sistem lainnya mengulanginya dalam suatu siklus. Peta ini tetap berguna karena memastikan setiap perubahan informasi atau kewenangan memiliki penanggung jawab, masukan, keluaran, dan pengujian.

1. Ukur Prevalensi dalam Populasi Operasional yang Sebenarnya: Masukan dan Asumsi dalam Ketidakseimbangan Kelas

Pada tahap ketidakseimbangan kelas ini, sistem harus mengukur prevalensi dalam populasi operasional yang sebenarnya. Pertanyaan yang berguna bukan sekadar apakah operasi tersebut dilakukan, melainkan informasi apa yang digunakannya, keadaan apa yang diubahnya, dan bukti apa yang menunjukkan bahwa perubahan itu valid. Peninjau harus dapat membedakan operasi tersebut dari dataset pembelajaran yang seimbang tetapi tidak mencerminkan prevalensi sebenarnya, serta mereproduksi hasilnya dalam kondisi yang sama seperti yang dinyatakan.

Serah terima ke tahap ketidakseimbangan kelas ini dimulai dari tujuan yang dinyatakan dan seharusnya berakhir pada hasil yang dapat mendukung stratifikasi pembagian tanpa membocorkan data terkait. Catat ketidakpastian, alternatif yang ditolak, penggunaan sumber daya, serta kendali manusia atau perangkat lunak apa pun yang diterapkan pada batas tersebut. Jejak ini memungkinkan tim mendeteksi apakah akurasi tinggi dapat dicapai dengan sepenuhnya mengabaikan kelas langka sebelum kelemahan yang sama memengaruhi keluaran yang berdampak penting.

2. Stratifikasi Pembagian tanpa Membocorkan Data Terkait: Representasi atau Keputusan dalam Ketidakseimbangan Kelas

Pada tahap ketidakseimbangan kelas ini, sistem harus melakukan stratifikasi pembagian tanpa membocorkan data terkait. Pertanyaan yang berguna bukan sekadar apakah operasi tersebut dilakukan, melainkan informasi apa yang digunakannya, keadaan apa yang diubahnya, dan bukti apa yang menunjukkan bahwa perubahan itu valid. Peninjau harus dapat membedakan operasi tersebut dari dataset pembelajaran yang seimbang tetapi tidak mencerminkan prevalensi sebenarnya, serta mereproduksi hasilnya dalam kondisi yang sama seperti yang dinyatakan.

Proses peralihan ke tahap ketidakseimbangan kelas ini dimulai dengan mengukur prevalensi pada populasi operasional yang sebenarnya dan seharusnya berakhir dengan hasil yang dapat menjadi dasar untuk memilih metrik dan ambang batas yang memperhitungkan ketidakseimbangan. Catat ketidakpastian, alternatif yang ditolak, penggunaan sumber daya, serta kontrol manusia atau perangkat lunak apa pun yang diterapkan pada batas tersebut. Catatan inilah yang memungkinkan tim mendeteksi apakah akurasi tinggi dapat dicapai dengan sepenuhnya mengabaikan kelas yang langka, sebelum kelemahan yang sama menghasilkan keluaran yang berdampak besar.

3. Pilih Metrik dan Ambang Batas yang Memperhitungkan Ketidakseimbangan: Transformasi Khas dalam Ketidakseimbangan Target

Pada tahap ketidakseimbangan kelas ini, sistem harus memilih metrik dan ambang batas yang memperhitungkan ketidakseimbangan. Pertanyaan yang berguna bukan sekadar apakah operasi tersebut dilakukan, melainkan informasi apa yang digunakan, keadaan apa yang diubah, dan bukti apa yang menunjukkan bahwa perubahan itu sahih. Peninjau harus dapat membedakan operasi tersebut dari dataset seimbang untuk latihan yang tidak mencerminkan prevalensi nyata, serta mereproduksi hasilnya dalam kondisi yang sama seperti yang dinyatakan.

Proses peralihan ke tahap ketidakseimbangan kelas ini dimulai dengan membagi data secara terstratifikasi tanpa membocorkan rekaman yang saling terkait dan seharusnya berakhir dengan hasil yang dapat menjadi dasar untuk memberi bobot ulang, mengambil sampel ulang, atau merancang ulang pengumpulan data. Catat ketidakpastian, alternatif yang ditolak, penggunaan sumber daya, serta kontrol manusia atau perangkat lunak apa pun yang diterapkan pada batas tersebut. Catatan inilah yang memungkinkan tim mendeteksi apakah akurasi tinggi dapat dicapai dengan sepenuhnya mengabaikan kelas yang langka, sebelum kelemahan yang sama menghasilkan keluaran yang berdampak besar.

4. Beri Bobot Ulang, Ambil Sampel Ulang, atau Rancang Ulang Pengumpulan Data: Batasan dan Verifikasi dalam Ketidakseimbangan Target

Pada tahap ketidakseimbangan kelas ini, sistem harus memberi bobot ulang, mengambil sampel ulang, atau merancang ulang pengumpulan data. Pertanyaan yang berguna bukan sekadar apakah operasi tersebut dilakukan, melainkan informasi apa yang digunakan, keadaan apa yang diubah, dan bukti apa yang menunjukkan bahwa perubahan itu sahih. Peninjau harus dapat membedakan operasi tersebut dari dataset seimbang untuk latihan yang tidak mencerminkan prevalensi nyata, serta mereproduksi hasilnya dalam kondisi yang sama seperti yang dinyatakan.

Proses peralihan ke tahap ketidakseimbangan kelas ini dimulai dengan memilih metrik dan ambang batas yang memperhitungkan ketidakseimbangan dan seharusnya berakhir dengan hasil yang dapat menjadi dasar untuk memantau kinerja kelas minoritas setelah penerapan. Catat ketidakpastian, alternatif yang ditolak, penggunaan sumber daya, serta kontrol manusia atau perangkat lunak apa pun yang diterapkan pada batas tersebut. Catatan inilah yang memungkinkan tim mendeteksi apakah akurasi tinggi dapat dicapai dengan sepenuhnya mengabaikan kelas yang langka, sebelum kelemahan yang sama menghasilkan keluaran yang berdampak besar.

5. Pantau Kinerja Kelas Minoritas Setelah Penerapan: Keluaran, Umpan Balik, dan Aturan Penghentian dalam Ketidakseimbangan Target

Pada tahap ketidakseimbangan kelas ini, sistem harus memantau kinerja kelas minoritas setelah penerapan. Pertanyaan yang berguna bukan sekadar apakah operasi tersebut dilakukan, melainkan informasi apa yang digunakan, keadaan apa yang diubah, dan bukti apa yang menunjukkan bahwa perubahan itu sahih. Peninjau harus dapat membedakan operasi tersebut dari dataset seimbang untuk latihan yang tidak mencerminkan prevalensi nyata, serta mereproduksi hasilnya dalam kondisi yang sama seperti yang dinyatakan.

Proses peralihan ke tahap ketidakseimbangan kelas ini dimulai dengan memberi bobot ulang, mengambil sampel ulang, atau merancang ulang pengumpulan data dan seharusnya berakhir dengan hasil yang dapat menjadi dasar untuk pemantauan atau keputusan akhir. Catat ketidakpastian, alternatif yang ditolak, penggunaan sumber daya, serta kontrol manusia atau perangkat lunak apa pun yang diterapkan pada batas tersebut. Catatan inilah yang memungkinkan tim mendeteksi apakah akurasi tinggi dapat dicapai dengan sepenuhnya mengabaikan kelas yang langka, sebelum kelemahan yang sama menghasilkan keluaran yang berdampak besar.

Baca peta ketidakseimbangan kelas dari awal ke akhir untuk memahami proses produksi, dan dari akhir ke awal untuk mendiagnosis kegagalan. Analisis maju menelaah bagaimana satu tahap menyediakan masukan bagi tahap berikutnya. Analisis mundur dimulai dari hasil yang keliru, lambat, mahal, atau tidak aman, lalu menelusuri asumsi sebelumnya yang memungkinkannya terjadi. Jalur penelusuran mundur sering kali membantu tim menemukan bahwa kesalahan penentu terjadi sebelum model menghasilkan apa pun.

Contoh Ketidakseimbangan Target Secara Terperinci

Model penipuan yang melabeli setiap transaksi sebagai sah dapat mencapai akurasi lebih dari 99 persen, tetapi tidak mendeteksi satu pun penipuan.

Contoh ini informatif karena ketidakseimbangan kelas dapat dikaitkan dengan masukan yang dapat diamati, keadaan perantara, dan hasil, alih-alih dinilai melalui demonstrasi yang dipoles. Pengujian yang ketat akan menyusun kasus biasa, sulit, dan sengaja menyesatkan berdasarkan skenario tersebut, mempertahankan tolok ukur dasar tanpa teknik itu, serta mencatat kinerja rata-rata dan tingkat keparahan setiap kegagalan.

Ubah satu asumsi dalam contoh ketidakseimbangan kelas ini, lalu ulangi analisisnya. Hilangkan masukan yang diwajibkan, masukkan sinyal yang bertentangan, batasi komputasi, ubah populasi pengguna, atau paksa sistem untuk tidak memberikan prediksi. Mekanisme yang hanya berhasil dalam satu demonstrasi yang diatur dengan cermat belum membuktikan bahwa mekanisme tersebut dapat digeneralisasi ke lingkungan operasional.

Ketidakseimbangan Target vs. Jalan Pintas yang Paling Umum

Ketidakseimbangan kelas sering kali direduksi menjadi dataset seimbang untuk latihan yang tidak mencerminkan prevalensi nyata. Penyederhanaan itu menghilangkan batas yang justru mendefinisikan konsep tersebut. Akibatnya, pembeli dapat membandingkan produk yang tidak sebanding, peneliti dapat melebih-lebihkan hal yang dibuktikan oleh suatu eksperimen, dan operator dapat memantau sinyal yang keliru setelah penerapan.

Perbandingan tersebut juga harus mengidentifikasi unit analisis. Makalah tentang ketidakseimbangan kelas mungkin hanya mengkaji sebuah model atau algoritme, sementara layanan yang telah diterapkan juga mencakup pengambilan, perutean, penyimpanan dalam tembolok, kebijakan, identitas, antarmuka pengguna, dan pemantauan. Dua produk dapat menggunakan istilah utama yang sama, tetapi menerapkan bagian yang berbeda dari rangkaian tersebut. Tanyakan komponen mana yang menjalankan transformasi utama dan komponen lain mana yang diperlukan agar hasil yang dilaporkan tercapai.

Mengapa Ketidakseimbangan Target Penting dalam Sistem AI Masa Kini

Ketidakseimbangan kelas penting saat ini karena sistem AI diberi konteks yang lebih luas, lebih banyak modalitas, komputasi waktu jalan yang lebih besar, akses alat yang lebih luas, serta keterkaitan yang lebih erat dengan keputusan organisasi. Dalam kondisi tersebut, hal yang sebelumnya tampak seperti detail penelitian dapat menentukan latensi, keamanan, aksesibilitas, biaya lingkungan, kualitas produk, atau akuntabilitas hukum.

Ukuran yang relevan bukanlah apakah ketidakseimbangan kelas dapat menghasilkan satu hasil yang mengesankan. Yang perlu dinilai adalah apakah teknik tersebut meningkatkan hasil yang penting dalam kondisi yang representatif dan melakukannya dengan lebih efektif daripada tolok ukur yang lebih sederhana. Laporkan distribusi, kategori kegagalan, latensi pada kasus-kasus ekstrem, penggunaan sumber daya, dan subkelompok yang terdampak, alih-alih merangkum semua hasil menjadi satu nilai rata-rata.

Pilih prosedur berdasarkan struktur data dan biaya keputusan. Pertahankan pengelompokan dan urutan waktu, kuantifikasi ketidakpastian, periksa irisan data, tetapkan pengujian akhir tanpa mengubahnya, dan pastikan peningkatan yang terlihat secara luring tetap bertahan setelah penerapan. Jika diterapkan secara khusus pada ketidakseimbangan kelas, disiplin ini membuat bukti dapat digunakan oleh pihak lain: tim lain dapat menilai apakah peningkatan yang diklaim kemungkinan akan bertahan ketika menggunakan model, bahasa, platform perangkat keras, kumpulan data, populasi pengguna, atau toleransi risiko yang berbeda.

Manfaat yang Dapat Dihasilkan oleh Penanganan Ketidakseimbangan Target

Alasan terkuat untuk menangani ketidakseimbangan kelas adalah kemampuannya mengatasi secara langsung hambatan yang memang hendak ditangani. Bergantung pada penerapannya, manfaatnya dapat berupa landasan yang lebih kuat, representasi yang lebih akurat, generalisasi yang lebih baik, latensi yang lebih rendah, perpindahan memori yang berkurang, akuntabilitas yang lebih jelas, atau batas yang lebih aman antara usulan model dan tindakan nyata.

Manfaat harus dinyatakan dalam bentuk keputusan dan pengukuran. “Lebih cerdas” bukanlah kriteria penerimaan untuk penanganan ketidakseimbangan kelas. Sasaran yang berguna dapat menetapkan tingkat kesalahan pada kasus sulit, pemulihan setelah bukti yang saling bertentangan, biaya pada persentil tertentu dari lalu lintas, waktu peninjauan manusia, kalibrasi, atau persentase tindakan yang tetap berada dalam batas kewenangan yang telah ditentukan.

Pola Kegagalan yang Mendefinisikan Ketidakseimbangan Target

Keterbatasan utamanya adalah akurasi tinggi dapat dicapai dengan mengabaikan sepenuhnya kelas yang jarang. Kegagalan ini bukan hal yang baru dipertimbangkan setelah pengembangan selesai. Sejak awal, kegagalan tersebut harus memengaruhi pengumpulan data, arsitektur, izin, evaluasi, gerbang rilis, dan pemantauan ketidakseimbangan kelas.

Kontrol untuk ketidakseimbangan kelas hanya berguna jika diterapkan sebelum timbul konsekuensi yang mahal atau tidak dapat dipulihkan. Identifikasi tanda awal kegagalan yang paling cepat dapat diamati, tetapkan ambang batas atau aturan, tunjuk penanggung jawab, dan uji pemulihannya. Bergantung pada kasus penggunaannya, pemulihan dapat berarti menahan diri untuk tidak mengambil keputusan, beralih ke sistem yang lebih sederhana, meminta bukti tambahan, meneruskan masalah kepada seseorang, mengembalikan model ke versi sebelumnya, atau menghentikan tindakan sepenuhnya.

Rencana Evaluasi untuk Ketidakseimbangan Kelas Target

Mulailah mengevaluasi ketidakseimbangan kelas dengan merumuskan keputusan yang harus didukung oleh bukti. Tetapkan populasi operasional, konsekuensi hasil yang keliru, informasi yang benar-benar tersedia saat keputusan dibuat, serta alternatif paling sederhana yang dapat diandalkan. Langkah ini mencegah tolok ukur menjadi tujuan hanya karena mudah dijalankan.

Gunakan set pengujian yang belum pernah digunakan untuk perbandingan terkontrol, lalu validasi ketidakseimbangan kelas dalam lingkungan operasional bertahap. Evaluasi luring memudahkan perbandingan antarvarian; mode bayangan, peluncuran canary, batas laju, atau gerbang persetujuan mengungkap bagaimana lalu lintas nyata, siklus umpan balik, dan orang-orang mengubah perilaku. Tahap penerapan harus memiliki kondisi penghentian yang jelas, bukan berasumsi bahwa setiap peningkatan layak diterapkan sepenuhnya.

Buat versi untuk masukan yang diperlukan guna mereproduksi ketidakseimbangan kelas: data sumber, prapemrosesan, tokenizer atau encoder, bobot model, konfigurasi, prompt atau kebijakan, indeks pengambilan, set evaluasi, asumsi perangkat keras, dan kode penyajian, jika relevan. Tanpa jejak asal-usul, tim tidak dapat mengetahui apakah perubahan hasil berasal dari teknik tersebut, lingkungan, atau penyuntingan alur kerja yang luput dari perhatian.

Terakhir, tanyakan temuan apa yang dapat membantah klaim bahwa ketidakseimbangan kelas memberikan manfaat. Jika tidak ada hasil yang dapat mengubah keputusan penerapan, evaluasi itu hanyalah pemasaran. Ambang penerimaan yang ditetapkan sebelumnya dan set konfirmasi yang disimpan akan menjadikan proses ini sebagai pengumpulan bukti.

Pertanyaan Sebelum Menerapkan Ketidakseimbangan Kelas Target

• Tujuan: Hambatan terukur apa yang hendak diatasi dengan ketidakseimbangan kelas?
• Mekanisme: Di antara lima tahap, tahap mana yang memuat transformasi khasnya?
• Dasar pembanding: Bagaimana kinerjanya dibandingkan dengan kumpulan data kelas seimbang yang tidak mencerminkan prevalensi nyata, atau alternatif lain yang lebih sederhana?
• Bukti: Kasus biasa, sulit, adversarial, dan subkelompok mana yang telah diuji?
• Operasional: Berapa biaya latensi, memori, komputasi, energi, pemeliharaan, dan peninjauan saat sistem digunakan dalam skala besar?
• Risiko: Bagaimana tim akan mendeteksi bahwa akurasi tinggi dapat dicapai dengan sama sekali mengabaikan kelas yang langka?
• Pemulihan: Dapatkah sistem menahan diri untuk tidak mengambil keputusan, beralih ke sistem lain, dikembalikan ke versi sebelumnya, atau meneruskan masalah kepada pihak lain sebelum terjadi bahaya?

Sumber Utama untuk Mempelajari Ketidakseimbangan Kelas Target

Titik awal tepercaya untuk mempelajari bagian dari tumpukan AI yang terkait dengan ketidakseimbangan kelas mencakup panduan pemilihan model scikit-learn, Aturan ML Google, dan NIST AI RMF. Bacalah sumber-sumber tersebut bersama dokumentasi untuk model, kumpulan data, perangkat keras, dan yurisdiksi yang digunakan. Sumber umum dapat menjelaskan mekanismenya, tetapi hanya bukti yang spesifik untuk penerapan yang dapat memastikan bahwa suatu implementasi tertentu sesuai.

Hal-Hal Penting tentang Ketidakseimbangan Kelas Target

Ketidakseimbangan kelas merupakan mekanisme yang terdefinisi dalam sistem sosioteknis yang lebih luas. Manfaatnya berasal dari peningkatan hasil tertentu dalam kondisi yang jelas, bukan dari istilahnya semata. Peta lima tahap memperlihatkan aliran informasinya, perbandingan menjelaskan apa yang bukan termasuk ketidakseimbangan kelas, dan jalur kontrol menunjukkan titik intervensi yang tersedia bagi operator yang bertanggung jawab.

Aturan praktis untuk menangani ketidakseimbangan kelas adalah menetapkan tujuan, membandingkannya dengan dasar pembanding yang dapat diandalkan, menguji kegagalan yang paling penting, dan menyimpan bukti yang diperlukan untuk memantau perubahan. Dengan langkah-langkah tersebut, konsep ini menjadi pilihan rekayasa dan tata kelola yang dapat dievaluasi. Tanpanya, konsep ini hanya menjadi nama yang menjanjikan, tetapi terkait dengan risiko operasional yang belum diketahui.