Mengapa diinginkan memiliki keterpisahan linear dalam SVM?

8

masukkan deskripsi gambar di sini

Merujuk pada gambar di atas, jelas sebuah lingkaran dapat memisahkan dua kelas (gambar kiri). Lalu mengapa perlu begitu banyak rasa sakit untuk memetakannya ke suatu fungsi agar terpisah secara linear (gambar kanan)?

Adakah yang bisa dijelaskan? Saya benar-benar tidak dapat menemukan apa pun di web atau youtube tentang alasannya

machine-learning classification svm separation vinita
sumber

Jawaban:

5

Ya, itulah gagasan di balik mesin-mesin vektor dukungan! svm sedang mencari hyperplane yang memisahkan kelas (mengapa namanya), dan yang tentu saja dapat dilakukan paling efektif jika titik-titiknya terpisah secara linear (itu bukan poin yang dalam, ini adalah ringkasan dari ide lengkap). Pada contoh yang Anda tunjukkan, titik terletak pada cincin annular konsentris, yang tidak dapat dipisahkan oleh bidang apa pun, tetapi dengan memperkenalkan variabel RADIUS baru --- jarak dari pusat --- Anda mendapatkan pemisahan linear lengkap.

kjetil b halvorsen
sumber
Maksud Anda mengatakan bahwa keterpisahan linear kelas lebih baik / lebih mudah daripada keterpisahan non-linear?
vinita
1
Kelas dapat dipisahkan secara non-linear dalam jumlah cara yang tak terbatas, jadi ya, pemisahan linear jelas lebih mudah ditangani! Dan, itu adalah ide lengkap di balik SVM, sehingga mereka bekerja lebih baik untuk data yang sesuai dengan asumsi di balik metode ini seharusnya tidak mengejutkan ...
kjetil b halvorsen
@ kjetilbhalvorsen Saya pikir ide kunci di balik SVM adalah trik kernel untuk menghemat waktu komputasi. Tetapi tidak "menggunakan ekspansi basis polinomial".
Haitao Du
1
@ hdx1101 - Trik kernel membuat banyak hal yang layak, secara komputasi, tetapi itu adalah anugerah besar untuk implementasi, bukan ide di balik metode itu sendiri.
jbowman
2

Mengapa diinginkan memiliki keterpisahan linear dalam SVM?

SVC pada dasarnya adalah teknik linear. Mereka menemukan batas linier yang memisahkan (sebaik mungkin) kelas yang berbeda. Jika tidak ada batas linear alami untuk masalah, pilihannya adalah menggunakan teknik yang berbeda, atau menggunakan SVC dengan fitur yang diubah menjadi ruang di mana memang ada batas linear.

Merujuk pada gambar di atas, jelas sebuah lingkaran dapat memisahkan dua kelas (gambar kiri). Lalu mengapa perlu begitu banyak rasa sakit untuk memetakannya ke suatu fungsi agar terpisah secara linear (gambar kanan)?

Ini adalah contoh klasik. Kelas data dipisahkan oleh lingkaran, tetapi SVC tidak dapat menemukan lingkaran secara langsung. Namun, jika data diubah menggunakan radial fungsi dasar , maka dalam ruang yang dihasilkan, kelas yang dipisahkan oleh batas linear.

Ami Tavory
sumber
0

Tidak langsung menjawab pertanyaan Anda tetapi,

Penting untuk diingat perbedaan antara ekspansi basis dan metode Kernel / SVM .

  • Kami dapat "memperluas data" menggunakan ekspansi basis dengan berbagai cara. Misalnya, ekspansi polinomial, splines, seri Fourier, dll. Ekspansi basis ini tidak ada hubungannya dengan SVM, trik kernel.

  • SVM dengan kernel polinomial menyediakan penggunaan "efek komputasi" cara untuk melakukan ekspansi basis polinomial. Cari trik Kernel untuk detailnya.

Haitao Du
sumber
-1

Anda benar. Ketika bidang mengatakan "terpisah secara linear", artinya data harus "dapat dibedakan": bahwa ada beberapa fungsi pemfilteran yang dapat Anda overlay ke dataset untuk membuat dua atau beberapa pengelompokan yang berbeda (dengan toleransi kesalahan kecil).

Itu saja. Tetapi Anda harus menunjukkan kepada akademisi untuk membersihkan bahasa mereka.

Marcos
sumber