Cara menghitung kernel Gaussian secara efektif di numpy [ditutup]

Saya memiliki array numpy dengan kolom m dan n baris, kolom menjadi dimensi dan baris datapoints.

Sekarang saya perlu menghitung nilai kernel untuk setiap kombinasi titik data.

Untuk kernel linear bisa saya lakukan$K(\mathbf{x}_i,\mathbf{x}_j) = \langle \mathbf{x}_i,\mathbf{x}_j \rangle$dot(X,X.T)

Bagaimana saya bisa menghitung secara efektif semua nilai untuk Gaussian Kernel $K(\mathbf{x}_i,\mathbf{x}_j) = \exp{-\frac{\|\mathbf{x}_i-\mathbf{x}_j\|_2^2}{s^2}}$ dengan nilai s ?

Saya pikir masalah utama adalah untuk mendapatkan jarak berpasangan secara efisien. Setelah Anda memiliki sisanya adalah elemen bijaksana.

Untuk melakukan ini, Anda mungkin ingin menggunakan Scipy. Fungsi scipy.spatial.distance.pdistmelakukan apa yang Anda butuhkan, dan scipy.spatial.distance.squareformmungkin akan memudahkan hidup Anda.

Jadi jika Anda ingin matriks kernel yang Anda lakukan

from scipy.spatial.distance import pdist, squareform
  # this is an NxD matrix, where N is number of items and D its dimensionalites
X = loaddata() 
pairwise_dists = squareform(pdist(X, 'euclidean'))
K = scip.exp(-pairwise_dists ** 2 / s ** 2)

Dokumentasi dapat ditemukan di sini . 

Sebagai tambahan kecil untuk jawaban bayerj, pdistfungsi scipy dapat secara langsung menghitung norma euclidean kuadrat dengan menyebutnya sebagai pdist(X, 'sqeuclidean'). Kode lengkap kemudian dapat ditulis lebih efisien sebagai

from scipy.spatial.distance import pdist, squareform
  # this is an NxD matrix, where N is number of items and D its dimensionalites
X = loaddata() 
pairwise_sq_dists = squareform(pdist(X, 'sqeuclidean'))
K = scip.exp(-pairwise_sq_dists / s**2)

Anda juga dapat menulis formulir persegi dengan tangan:

import numpy as np
def vectorized_RBF_kernel(X, sigma):
    # % This is equivalent to computing the kernel on every pair of examples
    X2 = np.sum(np.multiply(X, X), 1) # sum colums of the matrix
    K0 = X2 + X2.T - 2 * X * X.T
    K = np.power(np.exp(-1.0 / sigma**2), K0)
    return K

PS tapi ini bekerja 30% lebih lambat

def my_kernel(X,Y):
    K = np.zeros((X.shape[0],Y.shape[0]))
    for i,x in enumerate(X):
        for j,y in enumerate(Y):
            K[i,j] = np.exp(-1*np.linalg.norm(x-y)**2)
    return K

clf=SVR(kernel=my_kernel)

yang sama dengan

clf=SVR(kernel="rbf",gamma=1)

Anda dapat secara efektif menghitung RBF dari catatan kode di atas bahwa nilai gamma adalah 1, karena itu adalah konstanta yang Anda minta juga konstan yang sama.

Saya pikir ini akan membantu:

def GaussianKernel(v1, v2, sigma):
    return exp(-norm(v1-v2, 2)**2/(2.*sigma**2))