Apakah Support Vector Machine peka terhadap korelasi antara atribut?

11

Saya ingin melatih SVM untuk mengklasifikasikan kasus (BENAR / SALAH) berdasarkan 20 atribut. Saya tahu bahwa beberapa atribut tersebut sangat berkorelasi. Karena itu pertanyaan saya adalah: apakah SVM sensitif terhadap korelasi, atau redundansi, di antara fitur-fiturnya? Ada referensi?

pengguna7064
sumber
Dugaan saya tidak, karena menghasilkan pemisahan berdasarkan satu variabel akan membuat variabel berkorelasi lainnya lemah terkait pemisahan lebih lanjut. Mungkin ada beberapa ketidakstabilan terkait variabel mana yang dipilih.
mandata
Apakah Anda berbicara tentang SVM linear, atau kernel RBF, atau ...?
Dougal
Hmmmm, saya tidak tahu ... apakah jawabannya tergantung pada itu?
user7064
Ya, tentu saja. Anda dapat merancang kernel untuk secara eksplisit menangani korelasi, jika Anda mau.
Dougal
1
@ Dougal: Jika ada metode untuk menghilangkan efek korelasi, bukankah itu menyiratkan bahwa standar SVM sensitif terhadap korelasi?
cfh

Jawaban:

12

Kernel linear: Efeknya mirip dengan multikolinieritas dalam regresi linier. Model yang Anda pelajari mungkin tidak stabil terhadap variasi kecil dalam rangkaian pelatihan, karena vektor bobot yang berbeda akan memiliki keluaran yang serupa. Pelatihan menetapkan prediksi, meskipun, akan cukup stabil, dan akan menguji prediksi jika mereka berasal dari distribusi yang sama.

Kernel RBF: Kernel RBF hanya melihat jarak antara titik data. Jadi, bayangkan Anda benar-benar memiliki 11 atribut, tetapi salah satunya diulang 10 kali (kasus yang cukup ekstrim). Kemudian atribut yang diulang akan menyumbang 10 kali lipat jarak dari atribut lainnya, dan model yang dipelajari mungkin akan jauh lebih terpengaruh oleh fitur itu.

Salah satu cara sederhana untuk mengurangi korelasi dengan kernel RBF adalah dengan menggunakan jarak Mahalanobis: , di mana adalah estimasi matriks kovarians sampel. Secara setara, petakan semua vektor Anda ke dan kemudian gunakan kernel RBF biasa, di mana sedemikian rupa sehingga , misalnya dekomposisi Cholesky dari .d(x,y)=(xy)TS1(xy)SxCxCS1=CTCS1

Dougal
sumber
Ini adalah jawaban yang sangat menarik; Saya ingin membaca lebih lanjut tentang cara mengurangi masalah seperti ini. Bisakah Anda menambahkan satu atau dua referensi?
Sycorax berkata Reinstate Monica
Saya tidak tahu yang baik, tapi saya akan mencari-cari, mungkin malam ini.
Dougal
Luar biasa! Kotak masuk saya jika Anda kebetulan menemukan artikel keren. Saya senang bahwa (+1) saya dapat membuat Anda melebihi 3k. (-:
Sycorax mengatakan Reinstate Monica
1
Kebalikan dari matriks kovarians dalam jarak Mahalanobis adalah kuncinya. Jika Anda dapat memperkirakannya dengan andal, pengaruh ini dapat diperhitungkan.
Vladislavs Dovgalecs