Bagaimana cara saya menyelesaikan kotak dengan kemungkinan normal dan normal sebelumnya?

Bagaimana saya menyelesaikan kuadrat dari titik saya tinggalkan, dan apakah ini benar sejauh ini?

Saya memiliki sebelumnya normal untuk dari bentuk , untuk mendapatkan:$\beta$$p(\beta|\sigma^2)\sim \mathcal{N}(0,\sigma^2V)$

$p(\beta|\sigma^2)=(2\pi\sigma^2V)^\frac{p}{2}\exp[-\frac{1}{2\sigma^2}\beta^T\beta]$

di mana adalah .$\beta^T\beta$$\sum\limits_{i=1}^p \beta_i^2$

Kemungkinan saya memiliki distribusi normal untuk titik data y dari formulir$p(y|\beta,\sigma^2)\sim\mathcal{N}(B\beta,\sigma^2I)$

$p(y|\beta,\sigma^2)=(2\pi \sigma^2V)^\frac{n}{2}\exp[-\frac{1}{2\sigma^2}({\bf y}-{\bf B}{\bf \beta})^T({\bf y}-{\bf B}{\bf \beta})]$

(Perhatikan bahwa juga merupakan matriks / vektor, \ bf tidak berfungsi.)$\beta$

Untuk mendapatkan posterior saya untuk saya menggabungkan di atas, hanya mengambil bagian eksponensial, dan kemudian diperluas untuk mendapatkan:$\beta$

$\exp[-\frac{1}{2\sigma^2}({\bf y}^T{\bf y}-{\bf y}^T{\bf B}\beta-\beta{\bf B}^T{\bf y}-\beta^T{\bf B}^T{\bf B}\beta)]\exp[-\frac{1}{2\sigma^2}({\bf \beta}^T{\bf B})]$ .

Saya menjatuhkan istilah , karena bukan merupakan fungsi dari .$({\bf y}^T{\bf y})$$\beta$

Dimasukkan ke dalam satu ekspresi tanpa eksponensial:

$-\frac{1}{2\sigma^2}(-{\bf y}^T{\bf B}\beta-\beta{\bf B}^T{\bf y}-\beta^T{\bf B}^T{\bf B}\beta+{\bf \beta}^T{\bf B})$ .

Saya tahu saya perlu menggabungkan istilah yang sama dan masuk ke dalam bentuk distribusi normal multivariat, yang saya tuju, tetapi saya tidak yakin bagaimana melakukan ini? Saya mungkin harus menambahkan istilah ekstra ke ekspresi untuk mendapatkannya ke bentuk yang benar?

Catatan: Ini bukan pekerjaan rumah, ini sebuah proyek, tetapi pengetahuan kerja Bayesian saya tidak bagus sama sekali dan oleh karena itu saya perlu memahami pekerjaannya. Saya bermaksud untuk mengintegrasikan dan kemudian setelah masuk ke dalam bentuk multivarian.$\beta$$\sigma^2$

Saya akan mulai dari awal, karena posting asli memiliki beberapa kesalahan ketik matematika seperti tanda-tanda yang salah, menjatuhkan matriks , dll.$V$

Anda telah menentukan sebelumnya dan kemungkinan: .$p(\beta)=\mathcal{N}( 0, \sigma^2 V )$$p(y | \beta ) = \mathcal{N}( B\beta, \sigma^2I )$

Kita dapat menulis masing-masing ini sebagai ekspresi dari istilah di dalam yang bergantung pada , mengelompokkan semua istilah yang tidak terkait dengan ke dalam konstanta tunggal:$\exp$$\beta$$\beta$

$\log p( \beta ) + \mbox{const} = -\frac{1}{2\sigma^2} \beta^T V^{-1} \beta$

$\log p( y | \beta ) + \mbox{const} = -\frac{1}{2\sigma^2}( \beta^T B^TB \beta - 2y^T B \beta ) \quad$ (perhatikan bahwa selalu)$y^TB\beta = \beta^T B^T y$

Menambahkan ini di ruang log dan mengumpulkan istilah seperti menghasilkan log posterior tidak normal

$\log p( \beta | y ) + \mbox{const} = -\frac{1}{2\sigma^2}( \beta^T(V^{-1} + B^TB)\beta - 2y^T B \beta )\quad$ (1)

... di sini, kami telah menggunakan identitas standar untuk vektor dan matriks ukuran yang sesuai.$x^TAx + x^TCx = x^T(A+C)x$$x$$A,C$

OK, tujuan kami sekarang adalah untuk "menyelesaikan" alun-alun. Kami ingin ekspresi formulir di bawah ini, yang akan menunjukkan bahwa posterior untuk adalah Gaussian.$\beta$

$\log p( \beta | y ) + \mbox{const} = (\beta - \mu_p)^T \Lambda_p (\beta - \mu_p ) = \beta^T \Lambda_p \beta -2\mu_p^T \Lambda_p \beta + \mu_p^T \Lambda_p \mu_p$

di mana parameter menentukan rata-rata posterior dan matriks kovarian terbalik. $\mu_p, \Lambda_p$

Nah, dengan pemeriksaan eqn. (1) sangat mirip formulir ini jika kita atur

$\Lambda_p = V^{-1} + B^TB \quad$ dan $\quad \mu_p = \Lambda_p^{-1}B^Ty$

Secara rinci, kami dapat menunjukkan bahwa substitusi ini menciptakan setiap istilah yang diperlukan dari (1):

istilah kuadrat:$\beta^T \Lambda_p \beta = \beta^T( V^{-1} + B^TB)\beta$

istilah linear:$\mu_p^T \Lambda_p \beta = ( \Lambda_p^{-1}B^Ty )^T \Lambda_p \beta = y^T B \Lambda_p^{-1} \Lambda_p \beta = y^T B \beta$

.... di sini kami menggunakan fakta dan karena simetri ( simetris, maka begitu adalah kebalikannya).$(AB)^T = B^T A^T$$(\Lambda_p^{-1})^T =\Lambda_p^{-1}$$\Lambda_p$

Namun, ini memberi kita istilah ekstra sial . Untuk menghindari ini, kami cukup mengurangi istilah ini dari hasil akhir kami. Dengan demikian, kita dapat langsung mengganti menjadi (1) untuk mendapatkan$\mu_p^T \Lambda_p \mu_p$$\mu_p, \Lambda_p$

$\log p( \beta | y ) + \mbox{const} = -\frac{1}{2\sigma^2}[ (\beta-\mu_p)^T\Lambda_p(\beta-\mu_p) - \mu_p\Lambda_p\mu_p ]$

karena istilah terakhir itu konstan sehubungan dengan , kita bisa menghancurkannya ke konstanta normalisasi besar di sisi kiri dan kami telah mencapai tujuan kami.$\beta$