Kebingungan terkait dengan distribusi prediksi proses gaussian

8

Saya memiliki kebingungan ini terkait dengan distribusi prediktif proses gaussian. Saya sedang membaca makalah ini

masukkan deskripsi gambar di sini

Saya tidak mengerti bagaimana integrasi memberikan hasil itu. Apa itu P (u * | x *, u). Juga mengapa kovarians dari distribusi posterior adalah $\sigma^2(\sigma^2I+K)^{-1}K$

regression normal-distribution gaussian-process pengguna34790
sumber

+1, saya memiliki masalah yang hampir sama. Setelah mencari di web, saya menemukan sesuatu yang lebih membingungkan. Lihat catatan kuliah ini oleh Rasmussen, videolectures.net/site/normal_dl/tag=12546/… . Perhatikan halaman 15.

alpukat

4

$P(u*|x*,u) ~ N(u(x*)$ , ), langsung dari definisi . $\sigma^2$ $u*$

Perhatikan bahwa integrasi dua pdf Gaussian dinormalisasi. Hal ini dapat ditunjukkan dari fakta bahwa

\int_{- \infty}^{\infty} P (u^{*} | x^{*}, u) d u^{*} = \int_{- \infty}^{\infty} \int_{u} P (u^{*} | x^{*}, u) P (u | s) d u d u^{*} = \int_{u} P (u | s) \int_{- \infty}^{\infty} P (u^{*} | x^{*}, u) d u^{*} d u = \int_{u} P (u | s) \int_{- \infty}^{\infty} N (u^{*} - u (x *); 0, σ^{2}) d u^{*} d u = \int_{u} P (u | s) d u \int_{- \infty}^{\infty} N (u^{*}; 0, σ^{2}) d u^{*} = 1

$\int_{-\infty}^{\infty}P(u^*|x^*, u)du^* =\int_{-\infty}^{\infty}\int_{u}P(u^*|x^*, u)P(u|s)dudu^* =\int_{u}P(u|s)\int_{-\infty}^{\infty}P(u^*|x^*, u)du^*du =\int_{u}P(u|s)\int_{-\infty}^{\infty}N(u^*-u(x*); 0, \sigma^2)du^*du =\int_{u}P(u|s)du\int_{-\infty}^{\infty}N(u^*; 0, \sigma^2)du^* =1$

Dengan normalisasi keluar dari jalan,

$\int_{u}P(u^*|x^*, u)P(u|s)du$ diintegrasikan oleh tips berikut:

Ganti 2 pdf normal ke dalam persamaan dan hilangkan ketentuan yang tidak bergantung pada , seperti yang telah kami tampilkan normalisasi. $u$
Menggunakan menyelesaikan kuadrat persegi untuk mengintegrasikan eksponensial multivarian, yaitu, membangun pdf normal multivarian dengan istilah eksponensial yang tersisa. Lihat video youTube ini .
Akhirnya Anda dibiarkan dengan eksponensial dalam hal , dapat diamati bahwa ini lagi faktor yang jauh dari pdf normal. Sekali lagi, bukti normalisasi memberi kita keyakinan bahwa bentuk akhir memang pdf normal. Pdf sama dengan yang diberikan dalam posting asli. $u^*$

Ruohan Wang
sumber

1

Ini harus menjadi jawaban yang diterima karena sebenarnya menjawab pertanyaan.

Michael

2

Derivasi terperinci dari persamaan untuk distribusi bersyarat dari proses Gaussian dapat ditemukan dalam bab 2 dan lampiran A dari buku [Rasmussen2005].

Lihatlah (Persamaan 2.23, 2.24) dan di atas, yang didasarkan pada identitas Gaussian (A.6) dan properti matriks (A.11).

[Rasmussen2005] CE Rasmussen dan C. Williams. Proses Gaussian untuk Pembelajaran Mesin . MIT Press, 2005.

Emile
sumber

Saya memiliki masalah yang sama dengan OP, dan saya harus mengatakan, saya tidak menemukan derivasi terperinci dalam buku GPML. Dan saya semakin bingung setelah saya membaca catatan kuliah ketika saya memposting di komentar di atas. Dalam catatan itu, posterior diberikan oleh Rasmussen berbeda dari yang ada dalam persamaan OP . Saya melakukan derivasi sendiri, dan saya setuju bahwa posterior sama dengan persamaan , saya bahkan berpikir catatan kuliah Rasmussen mungkin salah pada saat ini. Jika saya melewatkan sesuatu atau melakukan kesalahan, tolong perbaiki saya. Dan saya berharap Anda bisa menguraikan derivasi.

p (u | S)

$p(u|S)$

(5)

$(5)$

p (u | S)

$p(u|S)$

(5)

$(5)$

alpukat

Ini tidak menjawab pertanyaan.

Nathan Explosion

@ avocado Saya menyadari ini terlambat beberapa tahun, tetapi jika ini masih dapat membantu Anda (atau siapa pun yang datang), harap dicatat bahwa persis sama to , serta . Jadi, posterior sama dengan persamaan OP (5) dan seperti yang diberikan dalam catatan kuliah Rasmussen, mereka hanya diekspresikan secara berbeda.

K - K (K + σ^{2} I)^{- 1} K

$K - K(K + \sigma^2 I)^{-1}K$

σ^{2} (K + σ^{2} I)^{- 1} K

$\sigma^2 (K + \sigma^2 I)^{-1} K$

σ^{2} I - σ^{2} I (K + σ^{2} I)^{- 1} σ^{2} I

$\sigma^2 I - \sigma^2 I (K + \sigma^2 I)^{-1} \sigma^2 I$

duckmayr

Kebingungan terkait dengan distribusi prediksi proses gaussian

Jawaban: