Pilihan bobot kelas SVM secara apriori

Saya ingat melihat / membaca di suatu tempat bahwa untuk multiclass SVM dengan data tidak seimbang, ada cara untuk menentukan bobot kelas dari data pelatihan (daripada validasi X). Adakah yang tahu apa metodenya atau dari kertas mana?

Terima kasih

machine-learning svm unbalanced-classes tomas
sumber

Apakah Anda menemukan solusi yang baik untuk multiclass svm?

Vam

Jawaban:

Untuk SVM yang meminimalkan fungsi objektif

\frac{1}{2} | | w | |^{2} + C_{1} \sum_{ξ_{i} : y_{i} = - 1}^{l} ξ_{i} + C_{2} \sum_{ξ_{i} : y_{i} = 1}^{l} ξ_{i}

$\frac{1}{2}||w||^2 + C_1 \sum_{\xi_i: y_i=-1}^{l}\xi_i + C_2 \sum_{\xi_i: y_i=1}^{l}\xi_i$ Anda dapat memilih konstanta

C_{1}

$C_1$ dan

C_{2}

$C_2$ berbanding terbalik dengan ukuran kelas. Itu kalau kamu punya

l_{1}

$l_1$ sampel pelatihan di kelas 1 dan

l_{2}

$l_2$ - di kelas 2, ambil

C_{1}

$C_1$ dan

C_{2}

$C_2$ seperti yang

C_{1} / C_{2}

$C_1/C_2$ =

l_{2} / l_{1}

$l_2/l_1$ . Anda mungkin perlu sedikit menyesuaikannya nanti dalam percobaan, tetapi ini adalah aturan praktis yang bagus.

Jika Anda menggunakan paket LIBSVM, Anda dapat menentukan $C_1$ dan $C_2$ menggunakan flag '' -w-1 '' dan "-w1".

PS Saya baru saja memperhatikan bahwa Anda bertanya tentang masalah multiclass. Yah, mungkin Anda masih menemukan jawaban ini berguna.

Leo
sumber