Singkatnya: Memaksimalkan margin secara umum dapat dilihat sebagai mengatur solusi dengan meminimalkan (yang pada dasarnya meminimalkan kompleksitas model) ini dilakukan baik dalam klasifikasi dan regresi. Tetapi dalam kasus klasifikasi minimisasi ini dilakukan dengan syarat bahwa semua contoh diklasifikasikan dengan benar dan dalam kasus regresi dengan syarat bahwa nilai dari semua contoh menyimpang kurang dari akurasi yang diperlukan dari untuk regresi .y ϵ f ( x )wyϵf( x )
Untuk memahami bagaimana Anda beralih dari klasifikasi ke regresi, ada baiknya untuk melihat bagaimana kedua kasus tersebut menerapkan teori SVM yang sama untuk merumuskan masalah sebagai masalah optimisasi cembung. Saya akan mencoba menempatkan keduanya berdampingan.
(Saya akan mengabaikan variabel slack yang memungkinkan kesalahan klasifikasi dan penyimpangan di atas akurasi )ϵ
Klasifikasi
Dalam hal ini tujuannya adalah untuk menemukan fungsi mana untuk contoh positif dan untuk contoh negatif. Dalam kondisi ini kami ingin memaksimalkan margin (jarak antara 2 bar merah) yang tidak lebih dari meminimalkan turunan dari .f ( x ) ≥ 1 f ( x ) ≤ - 1 f ′ = wf( x ) = w x + bf( x ) ≥ 1f( x ) ≤ - 1f′= w
Intuisi di balik memaksimalkan margin adalah bahwa ini akan memberi kita solusi unik untuk masalah menemukan (yaitu kita membuang misalnya garis biru) dan juga bahwa solusi ini adalah yang paling umum dalam kondisi ini, yaitu bertindak sebagai regularisasi . Ini dapat dilihat sebagai, di sekitar batas keputusan (di mana garis merah dan hitam bersilangan) ketidakpastian klasifikasi adalah yang terbesar dan memilih nilai terendah untuk di wilayah ini akan menghasilkan solusi yang paling umum.f ( x )f( x )f( x )
Poin data pada 2 bilah merah adalah vektor dukungan dalam kasus ini, mereka sesuai dengan pengganda Lagrange yang tidak nol dari bagian persamaan kondisi ketidaksetaraan danf ( x ) ≤ - 1f( x ) ≥ 1f( x ) ≤ - 1
Regresi
Dalam hal ini tujuannya adalah untuk menemukan fungsi (garis merah) dengan ketentuan bahwa berada dalam akurasi yang diperlukan dari nilai nilai (bilah hitam) dari setiap titik data, yaitu mana adalah jarak antara garis merah dan abu-abu. Dalam kondisi ini kami sekali lagi ingin meminimalkan , lagi untuk alasan regularisasi dan untuk mendapatkan solusi unik sebagai hasil dari masalah optimasi cembung. Orang dapat melihat bagaimana meminimalkan hasil dalam kasus yang lebih umum sebagai nilai ekstrim darif ( x ) ϵ y ( x ) | y ( x ) - f ( x ) | ≤f( x ) = w x + bf( x )ϵy(x)|y(x)−f(x)|≤ϵepsilonf′(x)=www=0 berarti tidak ada hubungan fungsional sama sekali yang merupakan hasil paling umum yang dapat diperoleh dari data.
Poin data pada 2 bilah merah adalah vektor dukungan dalam kasus ini, mereka sesuai dengan pengganda Lagrange yang tidak nol dari bagian persamaan kondisi ketidaksetaraan .|y−f(x)|≤ϵ
Kesimpulan
Kedua kasus menghasilkan masalah berikut:
min12w2
Dengan syarat bahwa:
- Semua contoh diklasifikasikan dengan benar (Klasifikasi)
- Nilai dari semua contoh menyimpang kurang dari dari . (Regresi)ϵ f ( x )yϵf(x)