Mencoba memahami Proses Gaussian

Saya membaca buku GPML dan dalam Bab 2 (halaman 15) , buku ini menceritakan cara melakukan regresi menggunakan Proses Gaussian (GP), tetapi saya mengalami kesulitan mencari cara kerjanya.

Dalam inferensi Bayesian untuk model parametrik, pertama-tama kita memilih prior pada parameter model $\theta$ , itu adalah $p(\theta)$ ; kedua, diberikan data pelatihan $D$ , kami menghitung kemungkinannya $p(D|\theta)$ ; dan akhirnya kami memiliki posterior $\theta$ sebagai $p(\theta|D)$ , yang akan digunakan dalam distribusi prediktif

p (y^{*} | x^{*}, D) = \int p (y^{*} | x^{*}, θ) p (θ | D) d θ

$p(y^*|x^*,D)=\int p(y^*|x^*,\theta)p(\theta|D)d\theta$ , dan di atas adalah apa yang kita lakukan dalam inferensi Bayesian untuk model parametrik, kan?

Nah, seperti yang dikatakan dalam buku ini, GP adalah non-parametrik, dan sejauh yang saya mengerti, setelah menentukan fungsi rata - rata $m(x)$ dan fungsi kovarians $k(x,x')$ , kami memiliki fungsi GP over $f$ ,

f \sim G P (m, k)

$f \sim GP(m,k)$ , dan ini adalah prioritas dari

f

$f$ . Sekarang saya memiliki satu set data pelatihan bebas kebisingan

D = {(x_{1}, f_{1}), . . ., (x_{n}, f_{n})}

$D=\{(x_1,f_1),...,(x_n,f_n)\}$ ， Saya pikir saya harus menghitung kemungkinannya

p (D | f)

$p(D|f)$ dan kemudian posterior

p (f | D)

$p(f|D)$ , dan akhirnya gunakan posterior untuk membuat prediksi.

NAMUN, bukan itu yang dilakukan buku! Maksud saya, setelah menentukan sebelumnya $p(f)$ , itu tidak menghitung kemungkinan dan posterior, tetapi langsung saja ke prediksi prediktif.

Pertanyaan:

1) Mengapa tidak menghitung kemungkinan dan posterior? Hanya karena GP non-parametrik, jadi kami tidak melakukannya?

2) Seperti yang dilakukan dalam buku ini (halaman 15 ~ 16), ia memperoleh distribusi prediktif melalui distribusi gabungan dari kumpulan data pelatihan $\textbf f$ dan menguji kumpulan data $\textbf f^*$ , yang disebut sebagai joint prior . Baiklah, ini membingungkan saya, mengapa menggabungkan mereka bersama?

3) Saya melihat beberapa artikel menelepon $f$ yang laten variabel, mengapa?

machine-learning gaussian-process alpukat
sumber

Secara pribadi, saya tidak berpikir regresi GP milik inferensi Bayesian, karena tidak mengikuti langkah-langkah dalam pendekatan Bayesian. Distribusi prediktif yang disebut dalam GP diperoleh dengan menggabungkan data pelatihan dan tes sebelumnya , dan kemudian mengkondisikan pada data pelatihan, itu tidak memanfaatkan kemungkinan atau posterior.

alpukat

Jawaban:

dan di atas adalah apa yang kita lakukan dalam inferensi Bayesian untuk model parametrik, kan?

Buku ini menggunakan rata-rata model Bayesian, yang sama untuk model parametrik atau metode Bayesian lainnya, mengingat Anda memiliki posterior di atas parameter Anda.

Sekarang saya memiliki satu set data pelatihan bebas kebisingan

Tidak perlu 'bebas noise'. Lihat halaman selanjutnya.

NAMUN, bukan itu yang dilakukan buku! Maksud saya, setelah menentukan p (f) sebelumnya, itu tidak menghitung kemungkinan dan posterior, tetapi langsung saja ke prediksi prediktif.

Lihat ini: https://people.cs.umass.edu/~wallach/talks/gp_intro.pdf

Saya percaya, di halaman 17 kita memiliki kemungkinan sebelumnya, dan kemudian. Saya percaya jika Anda menulis derivasi, dan menemukan posterior, dan kemudian rata-rata di atas posterior untuk prediksi (seperti dalam tampilan bobot-ruang) itu akan menghasilkan persamaan yang sama seperti pada halaman 19 untuk mean dan kovarians.

Daniel
sumber

Terima kasih atas balasan Anda, tetapi saya telah melihat bahwa banyak buku tidak menyebutkan Bayesian sama sekali, mereka hanya menghitung distribusi bersyarat

p (f^{*} | f)

$p(f^*|f)$ , dan katakan ini posterior, apa-apaan?

alpukat

Menemukan kondisional pada dasarnya menggunakan rumus Bayes. Menulis hal-hal dalam formulasi Bayesian konvensional sedikit rumit untuk dokter; mereka hanya merujuk pada menemukan kondisi dan ....

Daniel

AFAIK, kondisional dihitung dengan cara ini,

p (x | y) = p (x, y) / p (y)

$p(x|y)=p(x,y)/p(y)$ , tapi formula Bayes adalah

p (x | y) = p (y | x) p (x) / p (y)

$p(x|y)=p(y|x)p(x)/p(y)$ . Saya tidak melihat mengapa mencari kondisional menggunakan rumus Bayes, bisakah Anda lebih spesifik?

alpukat

Dan seperti yang Anda katakan dalam komentar, "menulis hal-hal dalam formulasi Bayesian konvensional adalah rumit untuk dokter", dengan formulasi Bayesian konvensional , maksud Anda, pertama menghitung posterior

p (f | D)

$p(f|D)$ , kemudian hitung distribusi prediktif

p (f^{*} | D) = \int p (f^{*} | f) p (f | D) d f

$p(f^*|D)=\int p(f^*|f)p(f|D)df$ .

alpukat