Apa yang membuat classifier salah mengklasifikasikan data? [Tutup]

Mungkinkah itu dari data itu sendiri? Atau apakah itu karena model tidak dapat mendeteksi secara efisien kesamaan antara data, atau adakah alasan lain untuk kesalahan klasifikasi?

Mari kita asumsikan Anda berbicara tentang kesalahan klasifikasi pada data pelatihan, yaitu, sulit untuk meminimalkan kerugian pada set data pelatihan, tidak ada data pengujian yang melibatkan masalah yang terlalu pas.

Anda benar bahwa, dalam kebanyakan kasus, kesalahan klasifikasi dapat berasal dari "model terlalu sederhana" atau "datanya terlalu berisik". Saya ingin memberikan dua contoh untuk ilustrasi lebih lanjut.

1. Model ini "terlalu sederhana" untuk menangkap "pola dalam data".

   • Contohnya ditunjukkan pada gambar kiri. Misalkan kita ingin menggunakan regresi logistik / garis untuk memisahkan dua kelas, tetapi dua kelas tidak dapat dipisahkan secara linier.

   • Dalam hal ini, masih ada "pola penting dalam data", dan jika kita mengubah model, kita mungkin menjadi lebih baik. Misalnya, jika kita menggunakan pengklasifikasi KNN, alih-alih regresi logistik, kita dapat memiliki kinerja yang sangat baik.

2. Data memiliki terlalu banyak noise, sehingga sangat sulit untuk melakukan tugas klasifikasi.

   • Contohnya ditunjukkan pada gambar kanan, di mana, jika Anda memeriksa kode, Anda akan melihat dua kelas sangat mirip (dua kelas adalah 2D Gaussian, artinya adalah $0.01\times 2$ terpisah, tetapi standar deviasi untuk setiap kelas adalah $1.0$). Ini pada dasarnya adalah tugas yang sangat menantang.

Perhatikan bahwa kedua contoh itu sepele, karena kita dapat memvisualisasikan data dan penggolongnya. Di dunia nyata, bukan itu masalahnya, ketika kita memiliki jutaan titik data dan pengklasifikasi super rumit.

Kode:

library(mlbench)
set.seed(0)
par(mfrow=c(1,2))
d=mlbench.spirals(500)
plot(d)
lg_fit=glm(d$classes~d$x[,1]+d$x[,2]-1,family=binomial())
abline(0,-lg_fit$coefficients[1]/lg_fit$coefficients[2])

d2=mlbench.2dnormals(500,r=0.01)
plot(d2)

Selain @ hxd1011 (+1).

1. Ketidakseimbangan kelas secara relatif atau absolut. Dalam kedua kasus tersebut, kami membangun representasi kelas minat yang tidak memadai. Biasanya yang belakangan lebih sulit diatasi. (Contoh referensi: Belajar dari Data yang Tidak Seimbang oleh He and Garcia)
2. Kriteria klasifikasi yang tidak tepat. Kami melatih classifier kami menggunakan fungsi evaluasi yang tidak sesuai dan / atau menggunakan kriteria yang tidak tepat untuk mendapatkan solusi akhir kami. Masalah yang sangat umum saat menggunakan "solusi kalengan". (Contoh referensi: Kerusakan yang disebabkan oleh Keakuratan Klasifikasi dan Aturan Penilaian Akurasi Tidak Tepat Tidak Terputus Lainnya oleh Harrell)
3. Tidak ada kelas dalam kenyataan. Kami berharap ada sesuatu di sana tetapi sebenarnya tidak ada apa-apa. Biasanya keahlian domain mengarahkan orang menjauh dari ini tetapi sebagai pendatang baru ini selalu menjadi masalah. (Contoh referensi: Kehidupan kita sehari-hari. Bias publikasi mungkin juga menjadi masalah di sini ...)
4. Overfitting. Kami memiliki model yang layak dan dataset yang layak, tetapi kami gagal untuk melatih pembuatan model yang tidak realistis. Biasanya ini berkaitan dengan poin 2. (Poin ekstra untuk pemasangan di bawah!) (Contoh referensi: Masalah Overfitting oleh Hawkings)
5. Konsep melayang. Banyak hal berubah dan kami tidak berlatih kembali. Pengklasifikasi kami memiliki kinerja yang sangat baik dalam sampel pemasaran "penjualan Natal" - ya, menggunakan model ini pada bulan Juli mungkin akan menyebalkan ... (Contoh referensi: Survei tentang Adaptasi Drift Konsep oleh Gama et al.)
6. Kebocoran data / fitur Magic. Kami berlatih dari informasi yang tidak akan tersedia pada saat prediksi. Biasa terjadi ketika memiliki event / time-series like data. (Referensi contoh: Kebocoran dalam Penambangan Data: Formulasi, Deteksi, dan Penghindaran oleh Kaufman et al.)