SVM untuk klasifikasi masuk akal bagi saya: Saya mengerti bagaimana meminimalkan menghasilkan margin maksimum. Namun, saya tidak mengerti tujuan itu dalam konteks regresi. Berbagai teks (di sini dan di sini ) menggambarkan ini sebagai memaksimalkan "kerataan." Mengapa kita ingin melakukan itu? Apa dalam regresi yang setara dengan konsep "margin"?
Berikut adalah beberapa jawaban yang dicoba, tetapi tidak ada yang benar-benar membantu pemahaman saya.
regression
svm
Yang
sumber
sumber
Jawaban:
Salah satu cara saya berpikir tentang kerataan adalah membuat prediksi saya kurang sensitif terhadap gangguan pada fitur. Artinya, jika saya membangun model bentuk mana vektor fitur x saya telah dinormalisasi, maka nilai yang lebih kecil di θ berarti model saya kurang sensitif terhadap kesalahan dalam pengukuran / guncangan acak / non -Stasionaritas fitur, x . Diberikan dua model ( yaitu dua kemungkinan nilai θ ) yang menjelaskan data dengan baik, saya lebih suka yang 'lebih datar'.
Anda juga dapat menganggap Ridge Regression sebagai peforming hal yang sama tanpa trik kernel atau formulasi regresi 'tabung' SVM.
sunting : Menanggapi komentar @ Yang, beberapa penjelasan lebih lanjut:
sumber
shabbychef memberikan penjelasan yang sangat jelas dari perspektif kompleksitas model. Saya akan mencoba memahami masalah ini dari sudut pandang lain jika itu dapat membantu siapa saja.
Siapa pun dapat dengan mudah memperluas case satu dimensi ke case N-dimensional karena persamaan jarak akan selalu menjadi jarak Euclidean .
Selain itu, kami mungkin memiliki ulasan tentang masalah optimisasi dalam SVR untuk perbandingan [1].
Terima kasih.
[1] Smola, A., dan B. Schölkopf. Tutorial tentang mendukung vektor regresi. Statistik dan Komputasi, Vol. 14, No. 3, Agustus 2004, hlm. 199–222.
sumber
sumber