Bukti kedekatan fungsi kernel di bawah produk pointwise

13

Bagaimana saya bisa membuktikan bahwa produk dua fungsi kernel adalah fungsi kernel?

Gigili
sumber

Jawaban:

18

Menurut produk point-wise, saya berasumsi maksud Anda bahwa jika keduanya merupakan fungsi kernel yang valid, maka produk merekak1(x,y),k2(x,y)

khal(x,y)=k1(x,y)k2(x,y)

juga merupakan fungsi kernel yang valid.

Membuktikan properti ini agak mudah ketika kita menggunakan teorema Mercer. Karena adalah kernel yang valid, kami tahu (melalui Mercer) bahwa mereka harus mengakui representasi produk dalam. Biarkan menunjukkan vektor fitur dan menyatakan sama untuk . a k 1 b k 2k1,k2Sebuahk1bk2

k1(x,y)=Sebuah(x)TSebuah(y),Sebuah(z)=[Sebuah1(z),Sebuah2(z),...SebuahM.(z)]k2(x,y)=b(x)Tb(y),b(z)=[b1(z),b2(z),...bN(z)]

Jadi adalah fungsi yang menghasilkan vektor -dim, dan menghasilkan vektor -dim.Sebuahb NM.bN

Selanjutnya, kita cukup menulis produk dalam bentuk dan , dan melakukan beberapa pengelompokan ulang.bSebuahb

khal(x,y)=k1(x,y)k2(x,y)=(m=1M.Sebuahm(x)Sebuahm(y))(n=1Nbn(x)bn(y))=m=1M.n=1N[Sebuahm(x)bn(x)][Sebuahm(y)bn(y)]=m=1M.n=1Ncmn(x)cmn(y)=c(x)Tc(y)

di mana adalah vektor dimensi, st .M N c m n ( z ) = a m ( z ) b n ( z )c(z)M.Ncmn(z)=Sebuahm(z)bn(z)

Sekarang, karena kita dapat menulis sebagai produk dalam menggunakan peta fitur , kita tahu adalah kernel yang valid (melalui teorema Mercer). Hanya itu yang ada untuk itu.c k pkhal(x,y)ckhal

Mike Hughes
sumber
Bagaimana Anda tahu bahwa fitur ruang Hilbert adalah dimensi-terbatas? Tidak bisakah itu bahkan tidak dapat dipisahkan?
Andrei Kh
Menurut paragraf pertama Anda, kami hanya tahu kernel keberadaan representasi produk dalam. Tetapi dalam kesimpulan Anda, Anda menggunakan bahwa keberadaan representasi produk dalam menyiratkan bahwa adalah kernel. Mengapa itu valid? kkhal
Viktor Glombik
0

Asumsikan dan adalah matriks kernel dari dua kernel ini dan , masing-masing, dan mereka adalah PSD. Kami mendefinisikan dan ingin membuktikannya juga merupakan kernel. Ini setara untuk membuktikan matriks kernelnya yang sesuai adalah PSD.K1K2k1(x,y)k2(x,y)k(x,y)=k1(x,y)k2(x,y)K=K1K2

  1. K3=K1K2 adalah PSD (Produk kronecker dari dua PSD adalah PSD).
  2. K adalah submatrix utama dari , dan karena itu adalah PSD ( utama PSD adalah PSD).K3
ceyao zhang
sumber