Posterior normal multivarian

Ini adalah pertanyaan yang sangat sederhana tetapi saya tidak dapat menemukan derivasi di mana pun di internet atau dalam buku. Saya ingin melihat derivasi bagaimana seseorang Bayesian memperbarui distribusi normal multivariat. Sebagai contoh: bayangkan itu

\begin{array}{rcl} P (x | μ, Σ) & = & N (μ, Σ) \\ P (μ) & = & N (μ_{0}, Σ_{0}) . \end{array}

$\begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf \Sigma}) \\ \mathbb{P}({\bf \mu}) &= & N({\bf \mu_0}, {\bf \Sigma_0})\,. \end{array}$

Setelah mengamati serangkaian ${\bf x_1 ... x_n}$ , saya ingin menghitung $\mathbb{P}({\bf \mu | x_1 ... x_n})$ . Saya tahu bahwa jawabannya adalah $\mathbb{P}({\bf \mu | x_1 ... x_n}) = N({\bf \mu_n}, {\bf \Sigma_n})$ mana

\begin{array}{rcl} μ_{n} & = & Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + \frac{1}{n} Σ {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} μ_{0} \\ Σ_{n} & = & Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} \frac{1}{n} Σ \end{array}

$\begin{array}{rcl} \bf \mu_n &=& \displaystyle\Sigma_0 \left(\Sigma_0 + \frac{1}{n}\Sigma\right)^{-1}\left(\frac{1}{n}\sum_{i=1}^{n}{\bf x_i}\right) + \frac{1}{n}\Sigma\left(\Sigma_0+\frac{1}{n}\Sigma\right)^{-1}\mu_0 \\ \bf \Sigma_n & =&\displaystyle \Sigma_0\left(\Sigma_0 + \frac{1}{n}\Sigma\right)^{-1}\frac{1}{n}\Sigma \end{array}$

Saya mencari derivasi dari hasil ini dengan semua aljabar matriks menengah.

Bantuan apa pun sangat kami hargai.

bayesian normal-distribution matrix posterior linear-algebra Alex
sumber

Itu juga dipecahkan dalam buku kami Bayesian Core , Chap. 3, Bagian 3.2, halaman 54-57 dengan apa yang kami pikir adalah aljabar matriks terperinci!

Xi'an

OP mengatakan itu bukan masalah pekerjaan rumah dan bahkan menjelaskan mengapa dia menanyakannya dan bagaimana dia ingin menggunakan jawabannya. Mengapa tidak mempostingnya untuk orang lain? Saya mengerti mengapa kami tidak ingin memberikan layanan penyelesaian masalah pekerjaan rumah tetapi ini agak terlalu jauh.

Michael R. Chernick

@Alex: Maaf, tautan salah, maksud saya Bayesian Core . Perhatikan bahwa kami juga memposting solusi untuk semua masalah di arXiv . Jadi memposting solusi lengkap di sini tidak ada salahnya!

Xi'an

Saya telah menghapus bagian dari komentar yang berjumlah pertukaran pribadi antara individu dengan pengaturan untuk berbagi jawaban pribadi untuk pertanyaan. Hal semacam itu menyalahgunakan situs ini, yang adalah semua tentang publik pertanyaan dan publik jawaban.

whuber

Sama seperti FYI, derivasi dalam Klasifikasi Pola oleh Duda, Hart dan Bangau. Namun, saya kesulitan mengikuti beberapa langkah mereka yang hanya penting bagi saya. Jika ini hanya pekerjaan rumah, cukup tuliskan apa yang mereka miliki.

Alex

Jawaban:

Dengan distribusi pada vektor acak kami:

$\mathbf x_i | \mathbf \mu \sim N(\mu , \mathbf \Sigma)$

$\mathbf \mu \sim N(\mathbf \mu_0, \mathbf \Sigma_0)$

Menurut aturan Bayes, distribusi posterior terlihat seperti:

$p(\mu| \{\mathbf x_i\}) \propto p(\mu) \prod_{i=1}^N p(\mathbf x_i | \mu)$

Begitu:

$\ln p(\mu| \{\mathbf x_i\}) = -\frac{1}{2}\sum_{i=1}^N(\mathbf x_i - \mu)'\mathbf \Sigma^{-1}(\mathbf x_i - \mu) -\frac{1}{2}(\mu - \mu_0)'\mathbf \Sigma_0^{-1}(\mu - \mu_0) + const$

$= -\frac{1}{2} N \mu' \mathbf \Sigma^{-1} \mu + \sum_{i=1}^N \mu' \mathbf \Sigma^{-1} \mathbf x_i -\frac{1}{2} \mu' \mathbf \Sigma_0^{-1} \mu + \mu' \mathbf \Sigma_0^{-1} \mu_0 + const$

$= -\frac{1}{2} \mu' (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1}) \mu + \mu' (\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i) + const$

$= -\frac{1}{2}(\mu - (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i))' (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1}) (\mu - (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i)) + const$

Yang merupakan kepadatan log seorang Gaussian:

$\mu| \{\mathbf x_i\} \sim N((N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i), (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1})$

Menggunakan identitas Woodbury pada ekspresi kami untuk matriks kovarians:

$(N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1} = \mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mathbf \Sigma_0$

Yang menyediakan matriks kovarians dalam bentuk OP yang diinginkan. Menggunakan ungkapan ini (dan simetrinya) lebih jauh dalam ungkapan untuk mean yang kita miliki:

$\mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mathbf \Sigma_0 \mathbf \Sigma_0^{-1} \mu_0 + \frac{1}{N} \mathbf \Sigma_0(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \mathbf \Sigma \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i$

$= \mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mu_0 + \mathbf \Sigma_0(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \sum_{i=1}^N (\frac{1}{N} \mathbf x_i)$

Yang merupakan bentuk yang dibutuhkan oleh OP untuk mean.

dugaan
sumber