libsvm “mencapai jumlah maksimum iterasi” peringatan dan validasi silang

Saya menggunakan libsvm dalam mode C-SVC dengan kernel polinomial derajat 2 dan saya diminta untuk melatih beberapa SVM. Setiap set pelatihan memiliki 10 fitur dan 5000 vektor. Selama pelatihan, saya mendapatkan peringatan ini untuk sebagian besar SVM yang saya latih:

WARNING: reaching max number of iterations
optimization finished, #iter = 10000000

Bisakah seseorang menjelaskan apa arti peringatan ini dan, mungkin, bagaimana menghindarinya?

Saya juga ingin menerapkan validasi silang untuk model saya untuk menentukan pilihan terbaik untuk gamma dan C (regularisasi). Rencana saya adalah hanya mencoba setiap kombinasi dari 10 nilai ini: 0,00001, 0,0001, 0,001, 0,01, 0,1, 1, 10, 100, 1000, 10000 untuk kedua parameter dan lihat kombinasi mana yang menghasilkan akurasi terbaik selama cross-validation. Apa ini cukup? Haruskah saya menggunakan lebih banyak nilai dalam interval ini, atau haruskah saya memilih interval yang lebih luas?

machine-learning cross-validation svm regularization libsvm Mihai Todor
sumber

Coba mode NU_SVC itu harus menyelesaikan masalah Anda.

Hosein Bitaraf

Jawaban:

$w$ $b$ $w$ $w$

Ada banyak alasan mengapa ini bisa terjadi, saya sarankan Anda untuk melakukan hal berikut:

Normalisasikan data Anda.
Pastikan kelas Anda lebih atau kurang seimbang (memiliki ukuran yang sama). Jika tidak, gunakan parameter -w untuk menetapkan bobot yang berbeda.
$C$ $\gamma$ $γ \cdot {kamu}^{'} \cdot v + {coeff}_{0}^{gelar}$ $\gamma \cdot u' \cdot v + \text{coeff}_0^{\text{ degree}}$

$C$ $C$

Perhatikan bahwa LIBSVM distributif untuk Windows harus mengandung skrip Python bernama grid.py, yang dapat melakukan pemilihan parameter untuk Anda (berdasarkan validasi silang dan rentang pencarian yang ditentukan). Itu juga dapat menghasilkan plot kontur untuk akurasi SVM. Alat ini mungkin sangat membantu.

Pertanyaan berikut tentang StackOverflow dan pertanyaan terkaitnya mungkin juga membantu: libsvm Shrinking Heuristics

Leo
sumber

Terima kasih untuk penjelasan rinci. Ini jelas membersihkan misteri. Saya mengajukan pertanyaan yang hampir sama pada SO (tautan yang Anda berikan), tetapi jawaban yang saya terima di sana sebagian besar berfokus pada heuristik yang menyusut.

Mihai Todor