Mendukung mesin vektor dan regresi

26

Sudah ada diskusi yang sangat baik tentang bagaimana mesin vektor menangani klasifikasi, tapi saya sangat bingung tentang bagaimana mesin vektor mendukung generalisasi untuk regresi.

Adakah yang mau memberi tahu saya?

Zach
sumber

Jawaban:

17

Pada dasarnya mereka menggeneralisasi dengan cara yang sama. Pendekatan berbasis kernel untuk regresi adalah untuk mengubah fitur, sebut saja ke beberapa ruang vektor, kemudian lakukan regresi linier dalam ruang vektor tersebut. Untuk menghindari 'kutukan dimensi', regresi linier dalam ruang yang ditransformasikan agak berbeda dari kuadrat terkecil biasa. Hasilnya adalah bahwa regresi dalam ruang yang ditransformasikan dapat dinyatakan sebagai , di mana adalah pengamatan dari set pelatihan, adalah transformasi yang diterapkan pada data, dan titik adalah produk titik. Dengan demikian regresi linier 'didukung' oleh beberapa vektor pelatihan (lebih disukai sejumlah kecil). x(x)=sayawsayaϕ(xsaya)ϕ(x)xsayaϕ()

Semua detail matematis disembunyikan dalam regresi aneh yang dilakukan dalam ruang yang ditransformasikan ('tabung epsilon-sensitif' atau apa pun) dan pilihan transformasi, . Untuk seorang praktisi, ada juga pertanyaan tentang beberapa parameter gratis (biasanya dalam definisi dan regresi), serta fitur , yang mana pengetahuan domain biasanya membantu.ϕϕ

shabbychef
sumber
Dari sudut pandang intuisi, apakah ini hampir seperti klasifikasi kelas tunggal, di mana garis "batas" kelas akhirnya berjalan melalui titik-titik alih-alih di antara titik-titik dua kelas?
Wayne
@Wayne, itu pemahaman saya, ya. Saya tidak 100%.
Zach
5

Untuk gambaran umum SVM: Bagaimana cara kerja Mesin Vector Support (SVM) bekerja?

Mengenai dukungan vektor regresi (SVR), saya menemukan slide ini dari http://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( mirror ) sangat jelas:

masukkan deskripsi gambar di sini

masukkan deskripsi gambar di sinimasukkan deskripsi gambar di sini

masukkan deskripsi gambar di sini

masukkan deskripsi gambar di sini

masukkan deskripsi gambar di sini

masukkan deskripsi gambar di sini

masukkan deskripsi gambar di sini

masukkan deskripsi gambar di sini

Dokumentasi Matlab juga memiliki penjelasan yang layak dan juga membahas algoritma penyelesaian optimasi: https://www.mathworks.com/help/stats/understanding-support-vector-machine-regress.html ( mirror ).

Sejauh ini jawaban ini telah menyajikan apa yang disebut regresi SVM epsilon-sensitif (ε-SVM). Terdapat varian SVM yang lebih baru untuk klasifikasi regresi: Least square support vector machine .

Selain itu, SVR dapat diperluas untuk multi-output alias multi-target, misalnya lihat {1}.


Referensi:

Franck Dernoncourt
sumber