Apakah matriks kernel RBF cenderung tidak terkondisi?

Saya menggunakan fungsi kernel RBF untuk mengimplementasikan satu algoritma pembelajaran mesin berbasis kernel (KLPP), yang menghasilkan matriks kernel terbukti sangat tidak terkondisi. Jumlah kondisi norma-L2 datang $K$

K (i, j) = \exp (\frac{- (x_{i} - x_{j})^{2}}{σ_{m}^{2}})

$K(i,j)= \exp\left({\frac{-(x_{i}-x_{j})^2}{ \sigma_{m}^2}}\right)$

10^{17} - 10^{64}

$10^{17}-10^{64}$

Apakah ada cara untuk membuatnya terkondisi dengan baik? Saya kira parameter perlu dicari, tetapi saya tidak tahu persis bagaimana. $\sigma$

Terima kasih!

linear-algebra machine-learning interpolation support-vector-machines ZeyuHu
sumber

baik, jika Anda membuat lebih kecil Anda meningkatkan nomor kondisi.

σ_{m}

$\sigma_m$

user189035

Jawaban:

Mengurangi lebar kernel biasanya akan mengurangi nomor kondisi. $\sigma_m$

Namun, matriks kernel dapat menjadi singular, atau dekat dengan singular, untuk setiap fungsi basis atau distribusi titik, asalkan fungsi basis tumpang tindih. Alasannya sebenarnya cukup sederhana:

Matriks kernel adalah singular ketika determinannya adalah nol. $K$ $\det(K)$
Mengganti dua titik dan di interpolasi Anda sama dengan bertukar dua baris dalam , dengan asumsi titik uji coba Anda tetap konstan. $x_i$ $x_j$ $K$
Menukar dua baris dalam matriks akan mengubah tanda penentu.

Sekarang bayangkan mengambil dua titik dan dan perlahan-lahan memutarnya sehingga mereka berpindah tempat. Saat melakukan ini, penentu akan beralih tanda, menjadi nol di beberapa titik di antaranya. Pada titik ini, menurut definisi , singular. $x_i$ $x_j$ $K$ $K$

Pedro
sumber

Bukankah matriks K simetris - bertukar dua poin menukar baris dan kolom?

denis

@Denis Itu hanya terjadi jika node dan titik percobaan Anda sama dan Anda memindahkan keduanya. Inilah sebabnya, dalam peluru kedua, saya menulis "mengasumsikan poin uji coba Anda tetap konstan."

Pedro

matriks kernel dari Gaussians (pertanyaan OP) positif setengah-setengah?

denis

@Denis: Sekali lagi, ini adalah pertanyaan tentang bagaimana Anda mendefinisikan masalah interpolasi RBF Anda. Pertimbangkan kasus yang paling umum di mana Anda memiliki RBFs berpusat pada titik-titik , , dan Anda ingin meminimalkan interpolasi di poin , . Contoh poster mengasumsikan dan . Jika pada awalnya kita mengatur dan , dan kemudian hanya memindahkan , kita dapat secara sepele menghasilkan singular .

N

$N$

x_{i}

$x_i$

i = 1 \dots N

$i=1\dots N$

M

$M$

ξ_{j}

$\xi_j$

j = 1 \dots M

$j=1\dots M$

M = N

$M=N$

ξ_{j} = x_{i}

$\xi_j=x_i$

M \leftarrow N

$M\leftarrow N$

ξ_{j} \leftarrow x_{i}

$\xi_j \leftarrow x_i$

x_{i}

$x_i$

K

$K$

Pedro

Beberapa saran:

Pilih jarak rata-rata | acak - terdekat . (Perkiraan murah untuk titik terdistribusi secara seragam di dalam unit cube di , adalah 0,5 / .) Kami ingin menjadi besar untuk dekat , kecil untuk kebisingan latar belakang; plot itu untuk beberapa acak . $\sigma \sim$ $x$ $x_i$ $N$ $\mathbb{R}^d, d\ 2 .. 5$ $N^{1/d}$
$\phi( |x - x_i| )$ $x_i$ $x$ $x$
Alihkan dari 0, , atau lebih; yaitu, mengatur. $K$ $K \to K + \lambda I$ $\lambda \sim 10^{-6}$
Lihatlah bobot dari pemecahan . Jika beberapa masih besar (terlepas dari nomor kondisi), itu akan cenderung untuk mengkonfirmasi Boyd (di bawah) bahwa Gaussian RBF pada dasarnya lemah. $(K + \lambda I) w = f$

(Salah satu alternatif untuk RBF adalah pembobotan jarak-terbalik, IDW. Ini memiliki keunggulan penskalaan otomatis, sama untuk jarak terdekat 1 2 3 seperti untuk 100 200 300 Juga saya menemukan pilihan pengguna eksplisit , nomor tetangga dekat untuk dipertimbangkan, lebih jelas daripada pencarian kotak pada .) $\dots$ $\dots$ $Nnear$ $\sigma, \lambda$

John P. Boyd, Kesia-siaan dari Fast Gauss Transform untuk menjumlahkan seri fungsi dasar radial Gaussian , kata

interpolant RGB Gaussian tidak dikondisikan untuk sebagian besar seri dalam arti bahwa interpolant adalah perbedaan kecil dari istilah dengan koefisien eksponensial besar.

Semoga ini membantu; tolong bagikan pengalaman Anda.

denis
sumber