Apa yang terjadi ketika kita melatih SVM linier pada data yang dapat dipisahkan secara non-linear?

Apa yang terjadi ketika kita melatih mesin vektor dukungan dasar (kernel linear dan tidak ada margin lunak) pada data yang dapat dipisahkan secara non-linear? Masalah optimisasi tidak layak, jadi apa yang dihasilkan oleh algoritma minimisasi?

Saya pikir dukungan dasar mesin vektor berarti SVM hard-margin. Jadi, mari kita tinjau:

Apa itu Hard-Margin SVM

Singkatnya, kami ingin menemukan hyperplane dengan margin terbesar yang dapat memisahkan semua pengamatan dengan benar di ruang sampel pelatihan kami.

Masalah optimisasi dalam SVM hard-margin

Dengan definisi di atas, apa masalah optimasi yang perlu kita selesaikan?

1. Hyperplane margin terbesar: Kami ingin max(margin)
2. Mampu memisahkan semua pengamatan dengan benar: Kita perlu mengoptimalkan margindan juga memenuhi batasan: Tidak ada kesalahan dalam sampel

Apa yang terjadi ketika kita melatih SVM linier pada data yang dapat dipisahkan secara non-linear?

Kembali ke pertanyaan Anda, karena Anda menyebutkan kumpulan data pelatihan tidak dapat dipisahkan secara linear, dengan menggunakan SVM hard-margin tanpa transformasi fitur, tidak mungkin menemukan hyperplane yang memenuhi "Tidak ada kesalahan dalam sampel" .

Biasanya, kami menyelesaikan masalah optimasi SVM dengan Quadratic Programming, karena dapat melakukan tugas-tugas optimasi dengan kendala. Jika Anda menggunakan Gradient Descent atau algoritme pengoptimalan lain yang tanpa memenuhi batasan SVM hard-margin, Anda tetap harus mendapatkan hasilnya, tetapi itu bukan hyperplane SVM hard-margin.

Omong-omong, dengan data yang dapat dipisahkan secara non-linear, biasanya kita memilih

• transformasi fitur hard-margin SVM +
• gunakan soft-margin SVM secara langsung (Secara praktis, SVM soft-margin biasanya mendapatkan hasil yang baik)