Saat menggunakan mesin dukungan vektor, apakah ada pedoman untuk memilih kernel linear vs kernel nonlinier, seperti RBF? Saya pernah mendengar bahwa kernel non-linear cenderung tidak berkinerja baik setelah jumlah fitur besar. Apakah ada referensi tentang masalah ini?
machine-learning
classification
svm
references
kernel-trick
pengguna3269
sumber
sumber
Jawaban:
Biasanya, keputusannya adalah apakah akan menggunakan kernel linear atau RBF (alias Gaussian). Ada dua faktor utama yang perlu dipertimbangkan:
Telah ditunjukkan bahwa kernel linear adalah versi RBF yang merosot , karenanya kernel linear tidak pernah lebih akurat daripada kernel RBF yang disetel dengan benar. Mengutip abstrak dari makalah yang saya tautkan:
Aturan dasar praktis secara singkat dibahas dalam panduan praktis NTU untuk mendukung klasifikasi vektor (Lampiran C).
Kesimpulan Anda kurang lebih benar tetapi Anda memiliki argumen mundur. Dalam praktiknya, kernel linear cenderung berkinerja sangat baik ketika jumlah fitur besar (misalnya tidak perlu memetakan ke ruang fitur dimensi yang lebih tinggi). Contoh khas dari ini adalah klasifikasi dokumen, dengan ribuan dimensi dalam ruang input.
Dalam kasus-kasus itu, kernel nonlinier belum tentu secara signifikan lebih akurat daripada kernel linier. Ini pada dasarnya berarti kernel nonlinier kehilangan daya tarik mereka: mereka membutuhkan sumber daya yang jauh lebih banyak untuk melatih dengan sedikit atau tidak ada keuntungan dalam kinerja prediksi, jadi mengapa repot-repot.
TL; DR
Selalu coba linier terlebih dahulu karena cara ini lebih cepat untuk melatih (DAN tes). Jika akurasinya mencukupi, tepuk diri Anda di belakang untuk pekerjaan yang dilakukan dengan baik dan beralih ke masalah berikutnya. Jika tidak, coba kernel nonlinier.
sumber
Andrew Ng memberikan penjelasan praktis yang bagus dalam video ini mulai 14:46, meskipun seluruh video layak ditonton.
Poin-Poin Utama
sumber