Bagaimana cara menafsirkan bobot fitur SVM?

Saya mencoba menafsirkan bobot variabel yang diberikan dengan memasang SVM linear.

(Saya menggunakan scikit-learn ):

from sklearn import svm

svm = svm.SVC(kernel='linear')

svm.fit(features, labels)
svm.coef_

Saya tidak dapat menemukan apa pun dalam dokumentasi yang secara khusus menyatakan bagaimana bobot ini dihitung atau ditafsirkan.

Apakah tanda bobot itu ada hubungannya dengan kelas?

Untuk kernel umum sulit untuk menafsirkan bobot SVM, namun untuk SVM linear sebenarnya ada interpretasi yang berguna:

1) Ingatlah bahwa dalam SVM linear, hasilnya adalah hyperplane yang memisahkan kelas-kelas sebaik mungkin. Bobot mewakili hyperplane ini, dengan memberi Anda koordinat vektor yang ortogonal ke hyperplane - ini adalah koefisien yang diberikan oleh svm.coef_. Sebut saja vektor ini w.

2) Apa yang dapat kita lakukan dengan vektor ini? Arahnya memberi kita kelas prediksi, jadi jika Anda mengambil produk titik dari titik mana pun dengan vektor, Anda dapat mengetahui di sisi mana itu: jika produk titik itu positif, itu milik kelas positif, jika negatif termasuk dalam kelas negatif.

3) Akhirnya, Anda bahkan dapat mempelajari sesuatu tentang pentingnya setiap fitur. Ini adalah interpretasi saya sendiri, jadi yakinkan diri Anda terlebih dahulu. Katakanlah svm hanya akan menemukan satu fitur yang berguna untuk memisahkan data, maka hyperplane akan menjadi ortogonal terhadap sumbu itu. Jadi, Anda dapat mengatakan bahwa ukuran absolut dari koefisien relatif terhadap yang lain memberikan indikasi betapa pentingnya fitur tersebut untuk pemisahan. Sebagai contoh jika hanya koordinat pertama yang digunakan untuk pemisahan, w akan berbentuk (x, 0) di mana x adalah beberapa angka bukan nol dan kemudian | x |> 0.

The Dokumentasi cukup lengkap: untuk kasus multiclass, SVC yang didasarkan pada perpustakaan libsvm menggunakan pengaturan satu-vs-satu. Dalam kasus kernel linear, n_classes * (n_classes - 1) / 2masing-masing model biner linier dipasang untuk setiap pasangan kelas yang memungkinkan. Karenanya bentuk agregat dari semua parameter primal yang disatukan adalah [n_classes * (n_classes - 1) / 2, n_features](+ [n_classes * (n_classes - 1) / 2memotong dalam intercept_atribut).

Untuk masalah linear biner, merencanakan hyperplane pemisah dari coef_atribut dilakukan dalam contoh ini .

Jika Anda ingin detail tentang arti dari parameter yang dipasang, terutama untuk kasus kernel nonlinier, lihat formulasi matematika dan referensi yang disebutkan dalam dokumentasi.

Saya mencoba menafsirkan bobot variabel yang diberikan dengan memasang SVM linear.

Cara yang baik untuk memahami bagaimana bobot dihitung dan bagaimana menafsirkannya dalam kasus SVM linier adalah dengan melakukan perhitungan dengan tangan pada contoh yang sangat sederhana.

Contoh

Pertimbangkan dataset berikut yang dapat dipisahkan secara linear

import numpy as np
X = np.array([[3,4],[1,4],[2,3],[6,-1],[7,-1],[5,-3]] )
y = np.array([-1,-1, -1, 1, 1 , 1 ])

Memecahkan masalah SVM dengan inspeksi

$x_2 = x_1 - 3$$w^T x + b = 0$

$$w = [1,-1] \ \ b = -3$$

$\frac{2}{||w||}$$\frac{2}{\sqrt{2}} = \sqrt{2}$$4 \sqrt{2}$

$c$

$$cx_1 - cx_2 - 3c = 0$$ $$w = [c,-c] \ \ b = -3c$$

Memasukkan kembali ke persamaan untuk lebar yang kita dapatkan

$$\begin{aligned} \frac{2}{||w||} & = 4 \sqrt{2} \\ \frac{2}{\sqrt{2}c} & = 4 \sqrt{2} \\ c = \frac{1}{4} \end{aligned}$$

$$w = [\frac{1}{4},-\frac{1}{4}] \ \ b = -\frac{3}{4}$$

---

(Saya menggunakan scikit-belajar)

Jadi saya, inilah beberapa kode untuk memeriksa perhitungan manual kami

from sklearn.svm import SVC
clf = SVC(C = 1e5, kernel = 'linear')
clf.fit(X, y) 
print('w = ',clf.coef_)
print('b = ',clf.intercept_)
print('Indices of support vectors = ', clf.support_)
print('Support vectors = ', clf.support_vectors_)
print('Number of support vectors for each class = ', clf.n_support_)
print('Coefficients of the support vector in the decision function = ', np.abs(clf.dual_coef_))

• w = [[0.25 -0.25]] b = [-0.75]
• Indeks vektor dukungan = [2 3]
• Vektor pendukung = [[2. 3.] [6. -1.]]
• Jumlah vektor dukungan untuk setiap kelas = [1 1]
• Koefisien vektor dukungan dalam fungsi keputusan = [[0,0625 0,0625]]

---

Apakah tanda bobot itu ada hubungannya dengan kelas?

Tidak juga, tanda bobotnya ada hubungannya dengan persamaan bidang batas.

 

Sumber

https://ai6034.mit.edu/wiki/images/SVM_and_Boosting.pdf

Periksa makalah ini pada pemilihan fitur . Penulis menggunakan kuadrat bobot (atribut) yang ditetapkan oleh kernel linear SVM sebagai metrik peringkat untuk memutuskan relevansi atribut tertentu. Ini adalah salah satu cara yang sangat dikutip untuk memilih gen dari data microarray.

Makalah yang bagus oleh Guyon dan Elisseeff (2003). Pengantar pemilihan variabel dan fitur. Jurnal penelitian pembelajaran mesin, 1157-1182 mengatakan: "Membangun dan memilih himpunan bagian dari fitur yang berguna untuk membangun prediktor yang baik kontras dengan masalah menemukan atau memberi peringkat semua variabel yang berpotensi relevan. Memilih variabel yang paling relevan biasanya suboptimal untuk membangun sebuah prediktor, terutama jika variabelnya berlebihan. Sebaliknya, sebagian dari variabel yang berguna dapat mengecualikan banyak variabel yang berlebihan, tetapi relevan. "

Oleh karena itu saya merekomendasikan kehati-hatian ketika menafsirkan bobot model linier secara umum (termasuk regresi logistik, regresi linier dan kernel linear SVM). Bobot SVM mungkin memberikan kompensasi jika data input tidak dinormalisasi. Bobot SVM untuk fitur tertentu juga tergantung pada fitur lainnya, terutama jika fitur tersebut berkorelasi. Untuk menentukan pentingnya fitur individual, metode pemeringkatan fitur adalah pilihan yang lebih baik.