Banyak penulis makalah yang saya baca menegaskan bahwa SVM adalah teknik yang unggul untuk menghadapi masalah regresi / klasifikasi mereka, menyadari bahwa mereka tidak bisa mendapatkan hasil yang sama melalui NNs. Seringkali perbandingan menyatakan itu
SVM, bukannya NN,
- Memiliki teori pendirian yang kuat
- Mencapai global optimal karena pemrograman kuadratik
- Tidak memiliki masalah untuk memilih jumlah parameter yang tepat
- Tidak terlalu rentan overfitting
- Membutuhkan lebih sedikit memori untuk menyimpan model prediksi
- Menghasilkan hasil yang lebih mudah dibaca dan interpretasi geometris
Apakah ini pemikiran serius yang diterima secara luas? Jangan mengutip Teorema Makan Siang Tanpa-Bebas atau pernyataan serupa, pertanyaan saya adalah tentang penggunaan praktis dari teknik-teknik itu.
Di sisi lain, masalah abstrak macam apa yang Anda pasti akan hadapi dengan NN?
machine-learning
svm
neural-networks
stackovergio
sumber
sumber
Jawaban:
Ini adalah masalah pertukaran. SVMs yang di sekarang, NNS dulu di . Anda akan menemukan semakin banyak makalah yang mengklaim Random Forests, Probabilistic Graphic Models, atau metode Nonparametric Bayesian . Seseorang harus menerbitkan model peramalan dalam Annals of Improbable Research tentang model apa yang akan dianggap sebagai tren.
Setelah mengatakan bahwa untuk banyak masalah yang sulit diawasi yang terkenal model tunggal berkinerja terbaik adalah beberapa jenis NN, beberapa jenis SVMs atau masalah metode penurunan gradien stokastik spesifik diimplementasikan menggunakan metode pemrosesan sinyal.
Pro NN:
Pro dari SVM:
Hyperparameter lebih sedikit. Secara umum SVM membutuhkan lebih sedikit pencarian jaringan untuk mendapatkan model yang cukup akurat. SVM dengan kernel RBF biasanya berkinerja cukup baik.
Dijamin global optimal.
Kekurangan NN dan SVM:
sumber
Jawaban atas pertanyaan Anda adalah dalam pengalaman saya "tidak", SVM tidak pasti unggul, dan yang berfungsi paling baik tergantung pada sifat dataset yang ada dan pada keterampilan relatif operator dengan setiap set alat. Secara umum SVM bagus karena algoritma pelatihannya efisien, dan memiliki parameter regularisasi, yang memaksa Anda untuk berpikir tentang regularisasi dan pemasangan yang berlebihan. Namun, ada dataset di mana MLP memberikan kinerja yang jauh lebih baik daripada SVM (karena mereka diizinkan untuk memutuskan representasi internal mereka sendiri, daripada memiliki itu ditentukan sebelumnya oleh fungsi kernel). Implementasi yang baik dari MLP (misalnya NETLAB) dan regularisasi atau penghentian awal atau pemilihan arsitektur (atau lebih baik lagi ketiganya) seringkali dapat memberikan hasil yang sangat baik dan dapat direproduksi (setidaknya dalam hal kinerja).
Pemilihan model adalah masalah utama dengan SVM, memilih kernel dan mengoptimalkan kernel dan parameter regularisasi sering dapat menyebabkan over-fitting yang parah jika Anda terlalu mengoptimalkan kriteria pemilihan model. Walaupun teori yang menyematkan SVM adalah kenyamanan, sebagian besar hanya berlaku untuk kernel tetap, jadi segera setelah Anda mencoba mengoptimalkan parameter kernel, itu tidak berlaku lagi (misalnya masalah optimasi yang harus dipecahkan dalam menyetel kernel. umumnya non-cembung dan mungkin memiliki minimum lokal).
sumber
Saya hanya akan mencoba menjelaskan pendapat saya yang tampaknya dibagikan oleh sebagian besar teman saya. Saya memiliki kekhawatiran berikut tentang NN yang bukan tentang SVM sama sekali:
Itu tidak berarti bahwa Anda tidak boleh menggunakan NN, Anda hanya harus menggunakannya dengan hati-hati. Misalnya, NN Konvolusional bisa sangat baik untuk pemrosesan gambar, NN Deep lainnya terbukti bagus untuk masalah lain juga.
Semoga ini bisa membantu.
sumber
Saya menggunakan jaringan saraf untuk sebagian besar masalah. Intinya adalah bahwa itu dalam banyak kasus lebih banyak tentang pengalaman pengguna daripada tentang model. Berikut adalah beberapa alasan mengapa saya suka NNs.
Saya akan membahas poin Anda yang lain selangkah demi selangkah.
Saya akan mengatakan, NN sama kuatnya dalam hal itu: karena Anda melatih mereka dalam kerangka kerja probabilistik. Itu memungkinkan penggunaan prior dan perawatan Bayesian (misalnya dengan teknik atau pendekatan variasional) menjadi mungkin.
Untuk satu set hiperparameter. Namun, pencarian hps yang baik adalah non-cembung, dan Anda tidak akan tahu apakah Anda juga menemukan global optimal.
Dengan SVM, Anda harus memilih parameter hiper juga.
Anda perlu menyimpan vektor dukungan. SVM pada umumnya tidak akan lebih murah untuk menyimpan MLP, tergantung pada kasusnya.
Lapisan atas MLP adalah regresi logistik dalam kasus klasifikasi. Dengan demikian, ada interpretasi geometris (memisahkan bidang hiper) dan interpretasi probabilistik juga.
sumber
Dalam beberapa hal, dua kategori luas dari teknik pembelajaran mesin ini saling berkaitan. Meskipun tidak sempurna, dua makalah yang saya temukan bermanfaat dalam menunjukkan kesamaan dalam teknik ini di bawah ini
dan
sumber