Saya ingin mencoba menggunakan Support Vector Machines (SVMs) pada dataset saya. Sebelum saya mencoba masalah, saya diperingatkan bahwa SVM tidak bekerja dengan baik pada data yang sangat tidak seimbang. Dalam kasus saya, saya dapat memiliki sebanyak 95-98% 0 dan 2-5% 1. Saya mencoba untuk...
Saya memiliki dataset dengan beberapa juta baris dan ~ 100 kolom. Saya ingin mendeteksi sekitar 1% dari contoh dalam dataset, yang termasuk kelas umum. Saya memiliki batasan presisi minimum, tetapi karena biaya yang sangat asimetris, saya tidak terlalu tertarik pada penarikan tertentu (selama saya...
Saya bertanya-tanya apakah ada yang bisa menjelaskan perbedaan antara akurasi yang seimbang b_acc = (sensitivity + specificity)/2 dan skor f1 yaitu: f1 = 2*precision*recall/(precision + recall)
Apakah SVM menangani dataset yang tidak seimbang? Apakah ada parameter (seperti C, atau biaya kesalahan klasifikasi) yang menangani dataset yang tidak
Pertama-tama, saya ingin menjelaskan beberapa tata letak umum yang digunakan buku Penambangan Data yang menjelaskan cara menangani Kumpulan Data Tidak Seimbang . Biasanya bagian utama dinamai Dataset Tidak Seimbang dan mencakup dua subbagian ini: Klasifikasi Sensitif Biaya dan Teknik Pengambilan...
Saya mencoba meningkatkan gradien pada dataset dengan tingkat kejadian sekitar 1% menggunakan penambang Perusahaan, tetapi gagal menghasilkan output apa pun. Pertanyaan saya adalah, karena ini adalah pendekatan berbasis pohon keputusan, apakah itu benar untuk menggunakan meningkatkan gradien dengan...
PENDAHULUAN: Saya tidak peduli tentang manfaat menggunakan cutoff atau tidak, atau bagaimana seseorang harus memilih cutoff. Pertanyaan saya murni matematika dan karena rasa ingin tahu. Regresi logistik memodelkan probabilitas bersyarat posterior kelas A versus kelas B dan cocok dengan hyperplane...
Saya mencoba untuk menyelesaikan tugas yang disebut deteksi pejalan kaki dan saya melatih clasifer biner pada dua kategori positif - orang, negatif - latar belakang. Saya punya dataset: jumlah positif = 3752 jumlah negatif = 3800 Saya menggunakan train \ test split 80 \ 20% dan bentuk...
Saya saat ini menghadapi beberapa masalah menganalisis dataset tweet dengan mesin vektor dukungan. Masalahnya adalah bahwa saya memiliki satu set pelatihan kelas biner yang tidak seimbang (5: 2); yang diharapkan sebanding dengan distribusi kelas nyata. Saat memprediksi saya mendapatkan presisi...
Saya ingin menguji model saya yang terlatih pada dataset yang tidak seimbang. Apakah ada algoritma yang tersedia untuk menghasilkan data sintetis dari dataset berlabel seimbang (spam /
Saya mencoba membuat detektor objek yang sangat jarang terjadi (dalam gambar), berencana untuk menggunakan classifier biner CNN yang diterapkan pada jendela geser / ukuran. Saya telah membangun pelatihan 1: 1 positif-negatif yang seimbang dan set tes (apakah itu hal yang benar untuk dilakukan dalam...
Saya mengerti bahwa ukuran-f (berdasarkan presisi dan daya ingat) adalah perkiraan seberapa akurat classifier. Juga, f-ukuran lebih disukai daripada akurasi ketika kita memiliki dataset yang tidak seimbang. Saya punya pertanyaan sederhana (yang lebih banyak tentang menggunakan terminologi yang...
Saya menjalankan analisis tentang kemungkinan gagal bayar pinjaman menggunakan regresi logistik dan hutan acak. Ketika saya menggunakan regresi logistik, prediksi selalu semua '1' (yang berarti pinjaman baik). Saya belum pernah melihat ini sebelumnya, dan tidak tahu harus mulai dari mana dalam...
Pertimbangkan matriks input dan output biner .XXXyyy Cara umum untuk mengukur kinerja classifier adalah dengan menggunakan kurva ROC. Dalam plot ROC, diagonal adalah hasil yang akan diperoleh dari classifier acak. Dalam hal output tidak seimbang , kinerja classifier acak dapat ditingkatkan...
Saya mencoba menggunakan SMOTE untuk memperbaiki ketidakseimbangan dalam masalah klasifikasi multi-kelas saya. Meskipun SMOTE bekerja dengan sempurna pada dataset iris sesuai dengan dokumen bantuan SMOTE, ia tidak bekerja pada dataset yang sama. Inilah tampilan data saya. Catatan itu memiliki tiga...
Saya ingin melakukan kombinasi oversampling dan undersampling untuk menyeimbangkan dataset saya dengan sekitar 4000 pelanggan dibagi menjadi dua kelompok, di mana salah satu grup memiliki proporsi sekitar 15%. Saya telah melihat SMOTE ( http://www.inside-r.org/packages/cran/DMwR/docs/SMOTE ) dan...
Contoh: Saya memiliki kalimat dalam deskripsi pekerjaan: "Java senior engineer in UK". Saya ingin menggunakan model pembelajaran yang mendalam untuk memperkirakannya sebagai 2 kategori: English dan IT jobs. Jika saya menggunakan model klasifikasi tradisional, hanya dapat memprediksi 1 label dengan...
1) Bagaimana saya bisa mengubah ambang klasifikasi (saya pikir itu adalah 0,5 secara default) di RandomForest di sklearn? 2) bagaimana saya bisa mengambil sampel dalam sklearn? 3) Saya mendapatkan hasil berikut dari pengelompokkan RandomForest: [[1635 1297] [520 3624]] precision recall f1-score...
Saya mencoba membangun model prediksi dengan SVM pada data yang cukup tidak seimbang. Label / output saya memiliki tiga kelas, positif, netral dan negatif. Saya akan mengatakan contoh positif membuat sekitar 10 - 20% dari data saya, netral sekitar 50 - 60%, dan negatif sekitar 30 - 40%. Saya...
Saya telah memberi label data yang terdiri dari 10.000 contoh positif, dan 50.000 contoh negatif, sehingga totalnya 60000 contoh. Jelas data ini tidak seimbang. Sekarang katakanlah saya ingin membuat set validasi saya, dan saya ingin menggunakan 10% dari data saya untuk melakukannya. Pertanyaan...