Bagaimana Anda membandingkan dua Proses Gaussian?

Divergensi Kullback-Leibler adalah metrik untuk membandingkan dua fungsi kepadatan probabilitas, tetapi metrik apa yang digunakan untuk membandingkan dua GP dan ? $X$ $Y$

gaussian-process metric pushkar
sumber

d (X, Y) = E [sup_{t} | X (t) - Y (t) |]

$d(X,Y)=\mathbb{E}\left[ \sup_t |X(t)-Y(t)| \right]$

@ Zen: Jika Anda punya waktu, saya tertarik untuk mengetahui lebih banyak tentang metrik jarak ini.

Neil G

Hai, Neil. Saya tidak tahu banyak tentang itu. Tolong, lihat jawaban saya di bawah.

Zen

Jawaban:

Mengomentari bahwa distribusi proses Gaussian $\mathcal{X}\to\mathbb{R}$ adalah perpanjangan Gaussian multivarian untuk mungkin tak terbatas $\mathcal{X}$ . Dengan demikian, Anda dapat menggunakan perbedaan KL antara distribusi probabilitas GP dengan mengintegrasikan lebih dari $\mathbb{R}^\mathcal{X}$ :

D_{K L} (P | Q) = \int_{R^{X}} \log \frac{d P}{d Q} d P .

$D_{KL}(P|Q)=\int_{\mathbb{R}^\mathcal{X}} \log \frac{dP}{dQ} dP\,.$

Anda dapat menggunakan metode MC untuk memperkirakan secara numerik jumlah ini melalui didiskritisasi $\mathcal{X}$ dengan proses pengambilan sampel berulang kali sesuai dengan distribusi GP mereka. Saya tidak tahu apakah kecepatan konvergensi cukup baik ...

Perhatikan bahwa jika $\mathcal{X}$ terbatas dengan $|\mathcal{X}|=n$ , maka Anda kembali ke divergensi KL biasa untuk distribusi normal multivariat:

D_{K L} (G P (μ_{1}, K_{1}), G P (μ_{2}, K_{2})) = \frac{1}{2} (t r (K_{2}^{- 1} K_{1}) + (μ_{2} - μ_{1})^{⊤} K_{2}^{- 1} (μ_{2} - μ_{1}) - n + \log \frac{| K_{2} |}{| K_{1} |})

$D_{KL}\big(\mathcal{GP}(\mu_1,K_1), \mathcal{GP}(\mu_2,K_2)\big) = \frac 1 2 \Big(tr(K_2^{-1}K_1) + (\mu_2\!-\!\mu_1)^\top K_2^{-1}(\mu_2\!-\!\mu_1)-n+\log\frac{|K_2|}{|K_1|}\Big)$

Emile
sumber

Bagaimana saya bisa menghitung dua cara (mu1 dan mu2) yang Anda sebutkan. Atau saya harus mengambil mereka sama dengan nol seperti biasa untuk proses gaussian?

Marat Zakirov

Ingat bahwa jika adalah Proses Gaussian dengan fungsi rata-rata dan fungsi kovarian , maka, untuk setiap , vektor acak memiliki distribusi normal multivariat dengan vektor rata-rata $X:T\times \Omega\to\mathbb{R}$ $m$ $K$ $t_1,\dots,t_k\in T$ $(X(t_1),\dots,X(t_k))$ dan matriks kovarian , di mana kami telah menggunakan singkatan umum $(m(t_1),\dots,m(t_k))$ $\Sigma=(\sigma_{ij})=(K(t_i,t_j))$ . $X(t)=X(t,\,\cdot\,)$

Setiap realisasi adalah fungsi nyata yang domain adalah indeks set . Misalkan . Diberikan dua Proses Gaussian dan , satu jarak yang sama antara dua realisasi $X(\,\cdot\,,\omega)$ $T$ $T=[0,1]$ $X$ $Y$ dan $X(\,\cdot\,,\omega)$ adalah. Oleh karena itu, tampaknya wajar untuk mendefinisikan jarak antara dua proses dan sebagai $Y(\,\cdot\,,\omega)$ $\sup_{t\in[0,1]} |X(t,\omega) - Y(t,\omega)|$ $X$ $Y$ Saya tidak tahu apakah ada ekspresi analitik untuk jarak ini, tapi saya yakin Anda dapat menghitung perkiraan Monte Carlo sebagai berikut. Perbaiki beberapa kisi halus , dan gambar sampel dan dari vektor acak normal

d (X, Y) = E [sup_{t \in [0, 1]} | X (t) - Y (t) |] . (*)

$d(X,Y) = \mathbb{E}\!\left[\sup_{t\in[0,1]} \left| X(t) - Y(t)\right|\right] \, . \qquad (*)$

0 \leq t_{1} < \dots < t_{k} \leq 1

$0\leq t_1<\dots<t_k\leq 1$

(x_{i 1}, \dots, x_{i k})

$(x_{i1},\dots,x_{ik})$

(y_{i 1}, \dots, y_{i k})

$(y_{i1},\dots,y_{ik})$

dan

, masing-masing, untuk

. Perkiraan

oleh

(X (t_{1}), \dots, X (t_{k}))

$(X(t_1),\dots,X(t_k))$

(Y (t_{1}), \dots, Y (t_{k}))

$(Y(t_1),\dots,Y(t_k))$

i = 1, \dots, N

$i=1,\dots,N$

d (X, Y)

$d(X,Y)$

\frac{1}{N} \sum_{saya = 1}^{N} \underset{1 \leq j \leq k}{maks} | x_{saya j} - y_{saya j} | .

$\frac{1}{N} \sum_{i=1}^N \max_{1\leq j\leq k} |x_{ij}-y_{ij}| \, .$

Zen
sumber

Bagaimana Anda mengambil sampel dari setiap vektor? Jika Anda hanya mencicipi sarana di masing-masing dokter, Anda tidak memperhitungkan variansnya. Kalau tidak, Anda harus menyusun teknik pengambilan sampel yang konsisten.

pushkar

Ini adalah sumber yang bagus: gaussianprocess.org/gpml/chapters

Zen

Anda juga dapat membaca semua jawaban untuk pertanyaan ini: stats.stackexchange.com/questions/30652/…

Zen

d (X, X) \neq 0

$d(X,X) \neq 0$

d (G_{1}, G_{2}) = E_{X \sim G_{1}, Y \sim G_{2}} [sup_{t} | X (t) - Y (t) |]

$d(G_1,G_2)=\mathbb{E}_{X\sim G_1, Y\sim G_2}[\sup_t |X(t)-Y(t)|]$

E_{X \sim G, Y \sim G} sup_{t} | X (t) - Y (t) | > 0

$\mathbb{E}_{X\sim G, Y\sim G} \sup_t |X(t)-Y(t)| > 0$

G

$G$

d (X, X) \neq 0

$d(X,X)\neq 0$

(*)

$(*)$