Dalam SVM, kernel Gaussian didefinisikan sebagai: mana x, y \ in \ mathbb {R ^ n} . Saya tidak tahu persamaan eksplisit \ phi . Saya ingin mengetahuinya.
Saya juga ingin tahu apakah
di mana . Sekarang, saya pikir itu tidak sama, karena menggunakan kernel menangani situasi di mana linear tidak bekerja. Saya tahu memproyeksikan x ke ruang tanpa batas. Jadi jika masih tetap linier, berapa pun dimensinya, svm tetap tidak bisa membuat klasifikasi yang baik.
machine-learning
svm
kernel-trick
Vivian
sumber
sumber
Jawaban:
Anda dapat memperoleh persamaan eksplisitϕ untuk kernel Gaussian melalui perluasan seri Penjahit ex . Untuk kesederhanaan notasi, asumsikan x∈R1 :
Ini juga dibahas secara lebih rinci dalam slide-slide ini oleh Chih-Jen Lin dari NTU (slide 11 khusus). Perhatikan bahwa dalam slide digunakan sebagai parameter kernel.γ=12σ2
Persamaan dalam OP hanya berlaku untuk kernel linier.
sumber
Untuk setiap kernel psd valid , terdapat peta fitur sehingga . Ruang dan embedding sebenarnya tidak harus unik, tetapi ada pasangan unik yang penting dikenal sebagai kernel mereproduksi ruang Hilbert (RKHS).k:X×X→R φ:X→H k(x,y)=⟨φ(x),φ(y)⟩H H φ (H,φ)
RKHS didiskusikan oleh: Steinwart, Hush and Scovel, Deskripsi yang Eksplisit tentang Ruang Hilbert Kernel yang Direproduksi dari Gaussian RBF Kernels , Transaksi IEEE pada Teori Informasi 2006 ( doi , free citeseer pdf ).
Agak rumit, tetapi intinya adalah: define sebagaien:C→C
Misalkan menjadi urutan yang berkisar pada semua -tupel bilangan bulat negatif; jika , mungkin , , , dan seterusnya. Nyatakan komponen th tuple ke- oleh .n:N0→Nd0 d d=3 n(0)=(0,0,0) n(1)=(0,0,1) n(2)=(0,1,1) j i nij
Kemudian th komponen adalah . Jadi memetakan vektor dalam ke vektor kompleks dimensi tak terbatas.i φ(x) ∏dj=1enij(xj) φ Rd
Yang menarik dari hal ini adalah bahwa kita harus mendefinisikan norma untuk vektor kompleks dimensi tak terbatas ini dengan cara yang khusus; lihat kertas untuk detailnya.
Steinwart et al. juga memberikan yang lebih mudah (untuk pemikiran saya) menanamkan ke , ruang Hilbert fungsi persegi-integrable dari : Perhatikan bahwa itu sendiri merupakan fungsi dari untuk . Ini pada dasarnya adalah kepadatan Gaussian dimensional dengan rerata dan kovarians ; hanya konstanta normalisasi yang berbeda. Demikian saat kita ambilL2(Rd) Rd→R
Ini bukan satu-satunya embeddings yang berfungsi.
Lain didasarkan pada transformasi Fourier, yang makalah terkenal Rahimi dan Recht ( Fitur Acak untuk Mesin Kernel Skala Besar , NIPS 2007) mendekati efek yang besar.
Anda juga dapat melakukannya menggunakan seri Taylor: secara efektif versi tak terbatas dari Cotter, Keshet, dan Srebro, Perkiraan Eksplisit dari Kernel Gaussian , arXiv: 1109.4603 .
sumber
Tampaknya bagi saya bahwa persamaan kedua Anda hanya akan benar jika adalah pemetaan linear (dan karenanya adalah kernel linier). Karena kernel Gaussian adalah non-linear, persamaan tidak akan berlaku (kecuali mungkin dalam batas sebagai menjadi nol).ϕ K σ
sumber