Pemodelan Bayesian menggunakan multivariat normal dengan kovariat

Misalkan Anda memiliki variabel penjelas ${\bf{X}} = \left(X(s_{1}),\ldots,X(s_{n})\right)$ mana $s$ mewakili koordinat yang diberikan. Anda juga memiliki variabel respons ${\bf{Y}} = \left(Y(s_{1}),\ldots,Y(s_{n})\right)$ . Sekarang, kita dapat menggabungkan kedua variabel sebagai:

W (s) = (\begin{array}{ccc} X (s) \\ Y (s) \end{array}) \sim N (μ (s), T)

${\bf{W}}({\bf{s}}) = \left( \begin{array}{ccc}X(s) \\ Y(s) \end{array} \right) \sim N(\boldsymbol{\mu}(s), T)$

Dalam hal ini, kita cukup memilih dan adalah matriks kovarians yang menggambarkan hubungan antara dan . Ini hanya menggambarkan nilai dan pada . Karena kami memiliki lebih banyak poin dari lokasi lain untuk dan , kami dapat menggambarkan lebih banyak nilai dengan cara berikut: $\boldsymbol{\mu}(s) = \left( \mu_{1} \; \; \mu_{2}\right)^{T}$ $T$ $X$ $Y$ $X$ $Y$ $s$ $X$ $Y$ ${\bf{W}}(s)$

(\begin{array}{ccc} X \\ Y \end{array}) = N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), T \otimes H (ϕ))

$\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) = N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right)$

Anda akan melihat bahwa kami menyusun kembali komponen dan untuk mendapatkan semua dalam kolom dan setelah itu, menggabungkan semua bersama-sama. Setiap komponen adalah fungsi korelasi dan adalah seperti di atas. Alasan kita memiliki kovarians adalah karena kita menganggap itu adalah mungkin untuk memisahkan matriks kovarians sebagai . $\bf{X}$ $\bf{Y}$ $X(s_i)$ $Y(s_i)$ $H(\phi)_{ij}$ $\rho(s_i, s_j)$ $T$ $T\otimes H(\phi)$ $C(s, s')=\rho(s, s') T$

Pertanyaan 1: Ketika saya menghitung kondisional , apa yang sebenarnya saya lakukan adalah menghasilkan seperangkat nilai berdasarkan , benar? Saya sudah memiliki jadi saya akan lebih tertarik untuk memprediksi titik baru . Dalam hal ini, saya harus memiliki matriks didefinisikan sebagai ${\bf{Y}}\mid{\bf{X}}$ $\bf{Y}$ $\bf{X}$ $\bf{Y}$ $y(s_{0})$ $H^{*}(\phi)$

H^{*} (ϕ) = (\begin{array}{ccc} H (ϕ) & h \\ h & ρ (0, ϕ) \end{array})

$H^{*}(\phi) = \left(\begin{array}{ccc}H(\phi) & \boldsymbol{h} \\ \boldsymbol{h}& \rho(0,\phi) \end{array}\right)$

di mana adalah vektor . Oleh karena itu, kita dapat membuat vektor (tanpa penataan ulang): $\boldsymbol{h}(\phi)$ $\rho(s_{0} - s_{j};\phi)$

W^{*} = {(W (s_{1}), \dots, W (s_{n}), W (s_{0}))}^{T} \sim N (\begin{array}{ccc} 1_{n + 1} \otimes (\begin{array}{ccc} μ_{1} \\ μ_{2} \end{array}) \end{array}, H (ϕ)^{*} \otimes T)

${\bf{W^{*}}} = \left({\bf{W}}(s_{1}), \ldots, {\bf{W}}(s_{n}), {\bf{W}}(s_{0})\right)^{T} \sim N\left(\begin{array}{ccc}\boldsymbol{1}_{n+1} \otimes \left( \begin{array}{ccc} \mu_{1} \\ \mu_{2} \end{array} \right)\end{array}, H(\phi)^{*}\otimes T\right)$

Dan sekarang saya hanya mengatur ulang untuk mendapatkan distribusi gabungan dan dapatkan bersyarat . $\left(\begin{array}{ccc} {\bf{X}} \\ x(s_0) \\{\bf{Y}} \\ y(s_0)\end{array} \right)$ $p(y(s_0)\mid x_0, {\bf{X}}, {\bf{Y}})$

Apakah ini benar?

Pertanyaan 2: Untuk memprediksi, makalah yang saya baca menunjukkan bahwa saya harus menggunakan distribusi bersyarat ini dan mendapatkan posterior distribusi , tetapi saya tidak yakin bagaimana cara mendapatkan distribusi posterior untuk parameter. Mungkin saya bisa menggunakan distribusi yang saya pikir persis sama dengan dan kemudian cukup gunakan teorema Bayes untuk mendapatkan $p(y(s_0)\mid x_0, {\bf{X}}, {\bf{Y}})$ $p(\mu, T, \phi\mid x(s_0), {\bf{Y}}, {\bf{X}})$ $\left(\begin{array}{ccc}{\bf{X}} \\ x(s_0)\\ {\bf{Y}}\end{array}\right)$ $p({\bf{X}}, x(s_0), {\bf{Y}}\mid\mu, T, \phi)$ $p(\mu, T, \phi\mid {\bf{X}}, x(s_0), {\bf{Y}}) \propto p({\bf{X}}, x(s_0), {\bf{Y}}\mid\mu, T, \phi)p(\mu, T, \phi)$

Pertanyaan 3: Di akhir sub-bab, penulis mengatakan ini:

Untuk prediksi, kami tidak memiliki . Ini tidak menciptakan masalah baru karena dapat diperlakukan sebagai variabel laten dan dimasukkan ke dalam Ini hanya menghasilkan penarikan tambahan dalam setiap iterasi Gibbs dan merupakan tambahan sepele untuk tugas komputasi. ${\bf{X}}(s_0)$ $\bf{x}'$

Apa arti paragraf itu?

Ngomong-ngomong, prosedur ini dapat ditemukan di makalah ini (halaman 8), tetapi seperti yang Anda lihat, saya perlu sedikit lebih detail.

Terima kasih!

probability bayesian conditional-probability gibbs Robert Smith
sumber

Dipilih untuk melakukan migrasi per permintaan OP .

Saya akan mengatakan benar untuk kedua jawaban Anda untuk pertanyaan 1 dan 2. Pertanyaan 3 berarti bahwa tidak teramati diperlakukan sebagai parameter tambahan, di atas , menggunakan bersyarat penuh seperti sebelumnya pada .

X (s_{0})

$X(s_0)$

μ, T, ϕ

$\mu,T,\phi$

p (x (s_{0}) ∣ X,, Y, μ, T, ϕ)

$p(x(s_0)\mid{\bf{X}}, , {\bf{Y}},\mu, T, \phi)$

X (s_{0})

$X(s_0)$

Xi'an

Pertanyaan 1: Diberikan model probabilitas gabungan Anda yang distribusi bersyarat dari diberikan juga Normal, dengan mean dan matriks varians-kovarians

(\begin{array}{ccc} X \\ Y \end{array}) \sim N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), [\begin{matrix} Σ_{11} & Σ_{12} \\ Σ_{21} & Σ_{22} \end{matrix}]) = N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), T \otimes H (ϕ))

$\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) \sim N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), \begin{bmatrix} \boldsymbol\Sigma_{11} & \boldsymbol\Sigma_{12} \\ \boldsymbol\Sigma_{21} & \boldsymbol\Sigma_{22} \end{bmatrix} \right)=N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right)$

Y

$\bf{Y}$

X

$\bf{X}$

μ_{2} + Σ_{21} Σ_{11}^{- 1} (X - μ_{1})

$\boldsymbol\mu_2 + \boldsymbol\Sigma_{21} \boldsymbol\Sigma_{11}^{-1} \left( \mathbf{X} - \boldsymbol\mu_1\right)$

Σ_{22} - Σ_{21} Σ_{11}^{- 1} Σ_{21} .

$\boldsymbol\Sigma_{22} - \boldsymbol\Sigma_{21} \boldsymbol\Sigma_{11}^{-1} \boldsymbol\Sigma_{21}.$ (Rumus-rumus itu disalin secara verbatim dari halaman Wikipedia pada normals multivariat .) Hal yang sama berlaku untuk karena adalah vektor Normal lainnya.

p (y (s_{0}) ∣ x (s_{0}), X, Y)

$p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}})$

(y (s_{0}), x (s_{0}), X, Y)

$(y(s_0), x(s_0), {\bf{X}}, {\bf{Y}})$

Pertanyaan 2: Prediktif didefinisikan sebagai yaitu, dengan mengintegrasikan parameter menggunakan distribusi posterior dari posterior tersebut, diberikan data saat ini . Jadi ada sedikit lebih banyak jawaban penuh. Jelas, jika Anda hanya perlu mensimulasikan dari prediksi, gagasan Anda untuk mensimulasikan bersama dari dan kemudian dari valid. $p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}})$

p (y (s_{0}) | x (s_{0}), X, Y) = \int p (y (s_{0}) | x (s_{0}), X, Y, μ, T, ϕ) p (μ, T, ϕ | x (s_{0}), X, Y) d μ d T d ϕ,

$p(y(s_0) | x(s_0), {\bf{X}}, {\bf{Y}})=\int p(y(s_0)| x(s_0), {\bf{X}}, {\bf{Y}},\mu,T,\phi)\,p(\mu,T,\phi| x(s_0), {\bf{X}}, {\bf{Y}})\,\text{d}\mu\,\text{d} T\,\text{d}\phi\,,$

(X, Y, x (s_{0}))

$({\bf{X}}, {\bf{Y}},x(s_0))$

p (μ, T, ϕ ∣ X, x (s_{0}), Y)

$p(\mu, T, \phi\mid {\bf{X}}, x(s_0), {\bf{Y}})$

p (y (s_{0}) ∣ x (s_{0}), X, Y, μ, T, ϕ)

$p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}},\mu,T,\phi)$

Pertanyaan 3: Jika tidak diamati, pasangan dapat diprediksi dari prediksi lain $x(s_0)$ $(x(s_0),y(s_0))$

p (x (s_{0}), y (s_{0}) ∣ X, Y) = \int p (x (s_{0}), y (s_{0}) ∣ X, Y, μ, T, ϕ) p (μ, T, ϕ ∣ X, Y) d μ d T d ϕ .

$p(x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}})=\int p(x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}},\mu,T,\phi)\,p(\mu,T,\phi\mid {\bf{X}}, {\bf{Y}})\,\text{d}\mu\,\text{d} T\,\text{d}\phi\,.$

Ketika mensimulasikan dari prediksi ini, karena tidak tersedia dalam bentuk yang dapat dikelola, sampler Gibbs dapat dijalankan yang disimulasikan secara iteratif

$\mu\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),T,\phi$
$T\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),\mu,\phi$
$\phi\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),T,\mu$
$x(s_0)\mid {\bf{X}}, {\bf{Y}},y(s_0),\phi,T,\mu$
$y(s_0)\mid {\bf{X}}, {\bf{Y}},x(s_0),\phi,T,\mu$

atau jika tidak, gabungkan langkah 4 dan 5 menjadi satu langkah

$x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}},\phi,T,\mu$

Xi'an
sumber

Pemodelan Bayesian menggunakan multivariat normal dengan kovariat

Jawaban: