Perbedaan antara ep-SVR dan nu-SVR (dan kuadrat terkecil SVR)

Saya mencoba mencari tahu SVR mana yang cocok untuk data seperti itu.

Saya tahu 4 jenis SVR:

• epsilon
• nu
• kuadrat terkecil dan
• linier.

Saya mengerti linear SVR kurang lebih seperti laso dengan L1 Reg, Tapi apa perbedaan antara 3 teknik yang tersisa?

Dalam -SVR, parameter digunakan untuk menentukan proporsi jumlah vektor dukungan yang ingin Anda simpan dalam solusi Anda sehubungan dengan jumlah total sampel dalam dataset. Dalam -SVR parameter dimasukkan ke dalam formulasi masalah optimisasi dan diperkirakan secara otomatis (optimal) untuk Anda.ν ν $\nu$$\nu$$\nu$$\epsilon$

Namun, dalam -SVR Anda tidak memiliki kontrol pada berapa banyak vektor data dari dataset menjadi vektor pendukung, bisa beberapa, bisa banyak. Meskipun demikian, Anda akan memiliki kontrol total dari berapa banyak kesalahan yang Anda akan memungkinkan untuk memiliki model Anda, dan segala sesuatu di luar ditentukan akan dikenakan sanksi sebanding dengan , yang merupakan parameter regularisasi.ϵ $\epsilon$$\epsilon$$C$

Tergantung dari apa yang saya inginkan, saya memilih di antara keduanya. Jika saya benar-benar putus asa untuk solusi kecil (vektor dukungan lebih sedikit) saya memilih -SVR dan berharap untuk mendapatkan model yang layak. Tetapi jika saya benar-benar ingin mengendalikan jumlah kesalahan dalam model saya dan mencari kinerja terbaik, saya memilih -SVR dan berharap bahwa modelnya tidak terlalu rumit (banyak vektor dukungan).$\nu$$\epsilon$

Perbedaan antara -SVR dan -SVR adalah bagaimana masalah pelatihan parametrized. Keduanya menggunakan jenis kehilangan engsel dalam fungsi biaya. The parameter dalam -SVM dapat digunakan untuk mengontrol jumlah vektor dukungan dalam model yang dihasilkan. Dengan parameter yang sesuai, masalah yang sama persis terpecahkan. ¹ν ν $\epsilon$$\nu$$\nu$$\nu$

Kuadrat terkecil SVR berbeda dari dua lainnya dengan menggunakan residu kuadrat dalam fungsi biaya daripada kerugian engsel.

¹ : C.-C. Chang dan C.-J. Lin Pelatihan - mendukung vektor regresi: Teori dan algoritma$\nu$ . Neural Computation, 14 (8): 1959-1977, 2002.

Saya suka jawaban Pablo dan Marc. Satu poin tambahan:

Dalam makalah yang dikutip oleh Marc ada tertulis (bagian 4)

"Motivasi -SVR adalah bahwa mungkin tidak mudah untuk menentukan parameter . Oleh karena itu, di sini kami tertarik pada kisaran yang mungkin dari . Seperti yang diharapkan, hasil menunjukkan bahwa terkait dengan nilai target .$\nu$$\epsilon$$\epsilon$$\epsilon$$y$

[...]

Karena rentang efektif dari dipengaruhi oleh nilai target , cara untuk mengatasi kesulitan ini untuk -SVM adalah dengan menskalakan nilai target sebelum melatih data. Misalnya, jika semua nilai target diskalakan ke , maka rentang efektif dari adalah , sama dengan . Maka mungkin lebih mudah untuk memilih . "$\epsilon$$y$$\epsilon$$[-1,+1]$$\epsilon$$[0, 1]$$\nu$$\epsilon$

Itu membuat saya berpikir bahwa seharusnya lebih mudah untuk mengukur variabel target Anda dan menggunakan -SVR, daripada mencoba memutuskan apakah akan menggunakan atau SVR.$\epsilon$$\epsilon -$$\nu -$

Bagaimana menurut anda?