Perbedaan antara SVM dan perceptron

Saya agak bingung dengan perbedaan antara SVM dan perceptron. Biarkan saya mencoba meringkas pengertian saya di sini, dan jangan ragu untuk memperbaiki di mana saya salah dan mengisi apa yang saya lewatkan.

1. Perceptron tidak mencoba mengoptimalkan "jarak" pemisahan. Selama menemukan hyperplane yang memisahkan dua set, itu bagus. SVM di sisi lain mencoba untuk memaksimalkan "vektor dukungan", yaitu jarak antara dua titik sampel berlawanan terdekat.

2. SVM biasanya mencoba menggunakan "fungsi kernel" untuk memproyeksikan titik sampel ke ruang dimensi tinggi untuk membuatnya terpisah secara linear, sementara perceptron mengasumsikan titik sampel terpisah secara linear.

Kedengarannya benar bagi saya. Orang kadang-kadang juga menggunakan kata "Perceptron" untuk merujuk pada algoritma pelatihan bersama dengan classifier. Sebagai contoh, seseorang menjelaskan hal ini kepada saya dalam menjawab pertanyaan ini . Juga, tidak ada yang menghentikan Anda dari menggunakan kernel dengan perceptron, dan ini sering kali merupakan penggolong yang lebih baik. Lihat di sini untuk beberapa slide (pdf) tentang cara menerapkan kernel perceptron.

Perbedaan praktis utama antara perceptron (kernel) dan SVM adalah bahwa perceptron dapat dilatih secara online (yaitu bobotnya dapat diperbarui ketika contoh-contoh baru tiba satu per satu) sedangkan SVM tidak bisa. Lihat pertanyaan ini untuk informasi apakah SVM dapat dilatih secara online. Jadi, meskipun SVM biasanya merupakan pengklasifikasi yang lebih baik, perceptrons masih dapat berguna karena mereka murah dan mudah untuk dilatih ulang dalam situasi di mana data pelatihan baru terus berdatangan.

$$\min \|w\|_2 + C\sum_{i = 1}^{n}(1 - y_i(wx_i + w_0))_+$$ $$\min \sum_{i = 1}^{n}(- y_i(wx_i + w_0))_+$$

Kita dapat melihat bahwa SVM memiliki tujuan yang hampir sama dengan perceptron yang diatur L2.

Karena tujuannya berbeda, kami juga memiliki skema optimisasi yang berbeda untuk kedua algoritma ini, dari , kami melihat bahwa itu adalah alasan utama untuk menggunakan pemrograman kuadratik untuk mengoptimalkan SVM.$\|w\|_2$

Mengapa perceptron memungkinkan pembaruan online? Jika Anda melihat aturan pembaruan gradient descent untuk hilangnya engsel (engsel loss digunakan oleh SVM dan perceptron),

$$w^t = w^{t-1} + \eta\frac{1}{N}\sum_{i = 1}^{N}y^ix^i\mathbb{I}(y^iw^tx^i \leq 0)$$

Karena semua algoritma pembelajaran mesin dapat dilihat sebagai kombinasi dari fungsi kerugian dan algoritma optimisasi.

Perceptron tidak lebih dari kehilangan engsel (fungsi rugi) + penurunan gradien stokastik (optimisasi)

$$w^t = w^{t-1} + y^{y+1}x^{t+1}\mathbb{I}(y^{t+1}w^{t}x^{t+1} \leq 0)$$

Dan SVM dapat dilihat sebagai engsel loss + l2 regularisasi (loss + regularisasi) + pemrograman kuadratik atau algoritma optimasi yang lebih menarik lainnya seperti SMO (optimisasi).

Perceptron adalah generalisasi SVM di mana SVM adalah perceptron dengan stabilitas optimal. Jadi Anda benar ketika Anda mengatakan perceptron tidak mencoba mengoptimalkan jarak pemisahan.