Ketidakseimbangan kelas dalam Pembelajaran dengan Mesin yang Dibimbing

Ini adalah pertanyaan secara umum, tidak spesifik untuk metode atau kumpulan data apa pun. Bagaimana kita menangani masalah ketidakseimbangan kelas dalam pembelajaran Supervised Machine di mana angka 0 adalah sekitar 90% dan angka 1 adalah sekitar 10% dalam dataset Anda. Bagaimana kita melatih penggolong secara optimal.

Salah satu cara yang saya ikuti adalah sampling untuk membuat dataset seimbang dan kemudian melatih classifier dan ulangi ini untuk beberapa sampel.

Saya merasa ini acak, Apakah ada kerangka kerja untuk mendekati masalah semacam ini.

Ada banyak kerangka kerja dan pendekatan. Ini adalah masalah berulang.

Contoh:

• Undersampling . Pilih subsampel set nol sehingga ukurannya cocok dengan set. Ada kehilangan informasi yang jelas, kecuali jika Anda menggunakan kerangka kerja yang lebih kompleks (misalnya, saya akan membagi set pertama pada 9 subset yang lebih kecil, saling eksklusif, latih model pada masing-masing dari mereka dan ensemble model).
• Oversampling . Hasilkan yang buatan hingga proporsinya 50% / 50%. Majikan saya sebelumnya menggunakan ini secara default. Ada banyak kerangka kerja untuk ini (saya pikir SMOTE adalah yang paling populer, tapi saya lebih suka trik sederhana seperti Noisy PCA ).
• Pembelajaran Satu Kelas . Anggap saja data Anda memiliki beberapa poin nyata (yang) dan banyak suara acak yang secara fisik tidak ada bocor ke dalam dataset (apa pun yang bukan satu adalah suara). Gunakan algoritme untuk menolak data, bukan algoritma klasifikasi.
• Pelatihan Biaya-Sensitif . Gunakan fungsi biaya asimetris untuk menyeimbangkan proses pelatihan secara artifisial.

Beberapa ulasan yang menyala, dengan tingkat kerumitan teknis \ tingkat perincian yang meningkat:

• Tentang Klasifikasi Set data Tidak Seimbang
• ACM SIGKDD Explorations Newsletter - Masalah khusus tentang belajar dari dataset yang tidak seimbang (baca setidaknya editorial , itu akan mencerahkan)
• Penambangan Data untuk Kumpulan Data yang Tidak Seimbang: Tinjauan

Oh, dan omong-omong, 90% / 10% tidak tidak seimbang. Kumpulan data penipuan transaksi kartu sering kali dibagi 99,97% / 0,03%. Ini tidak seimbang.

Ini sangat tergantung pada metode pembelajaran. Sebagian besar pendekatan tujuan umum memiliki satu (atau beberapa) cara untuk menghadapinya. Perbaikan umum adalah menetapkan hukuman kesalahan klasifikasi yang lebih tinggi pada kelas minoritas, memaksa classifier untuk mengenalinya (SVM, regresi logistik, jaringan saraf, ...).

Mengubah sampling juga kemungkinan seperti yang Anda sebutkan. Dalam hal ini, oversampling kelas minoritas biasanya merupakan solusi yang lebih baik daripada undersampling kelas mayoritas.

Beberapa metode, seperti hutan acak, tidak memerlukan modifikasi apa pun.

Seringkali masalahnya bukan frekuensi tetapi jumlah absolut kasus di kelas minoritas. Jika Anda tidak memiliki cukup variasi dalam target ketika dibandingkan dengan variasi dalam fitur, maka itu mungkin berarti bahwa algoritma tidak dapat mengklasifikasikan sesuatu dengan sangat akurat.

Satu hal adalah hukuman kesalahan klasifikasi dapat digunakan pada langkah klasifikasi dan tidak pada langkah estimasi parameter jika ada. Beberapa metode tidak memiliki konsep parameter, mereka hanya menghasilkan label kelas langsung atau probabilitas kelas.

Ketika Anda memiliki estimator probabilistik maka Anda dapat membuat keputusan klasifikasi berdasarkan alasan teori informasi atau dengan kombinasi nilai bisnis.

Tambahkan dua trik: 1. gunakan CDF, hitung frekuensi dalam data pelatihan Anda atau gunakan validasi yang sangat besar (jika set tes Anda tidak akan berubah, tetapi set validasi harus memiliki distribusi yang sama dengan set pelatihan), kemudian sortir prediksi Anda, dan dapatkan X% pertama (hitungan frekuensi Anda sebelumnya) untuk satu kelas dan yang lain adalah / 2. sampel tertimbang, model akan cenderung ke kelas sampel tertimbang, Anda dapat menggunakan varians sampel v. mis. weighti = 1/2 (1- (vmax - vi) / vmax)