MCMC dan augmentasi data

Saya telah melihat pertanyaan augmentasi data MCMC; bentuk umum dari pertanyaan adalah sebagai berikut:

Misalkan data yang dikumpulkan pada suatu proses menyarankan dan prior untuk parameter rate disarankan sebagai . Data dicatat dan disajikan dalam bentuk yang khas (yaitu jumlah kemunculan dari setiap nilai untuk dari hingga ), namun, data yang dikumpulkan tidak membeda-bedakan dalam kasus di mana (yaitu semua kejadian di mana dan dikelompokkan ke dalam satu kategori). $X_{i} \sim \text{Pois}(\lambda)$ $\lambda \sim \text{Exp}(\lambda_{0})$ $X_{i}$ $0$ $n$ $X_{i} \leq 1$ $X_{i} = 0$ $X_{i} = 1$

Mengingat data, kemungkinan dan yang dijelaskan sebelumnya di atas, pertanyaannya adalah:

Bentuk posterior , $\lambda$
Jumlah kemunculan di mana . $X_{i} = 0$

Saya tidak begitu yakin bagaimana menjawab pertanyaan ini, tetapi saya sadar bahwa Gibbs Sampling dapat digunakan dalam augmentasi data. Adakah yang punya informasi tentang bagaimana ini bisa dilakukan?

EDIT:

Saya harus menentukan bahwa itu terutama bagian kedua (jumlah kejadian di mana ) yang saya tidak yakin. Untuk bagian pertama (bentuk posterior ), mengingat kemungkinan dan saran sebelumnya, saya beralasan (walaupun saya senang dikoreksi): $X_{i} = 0$ $\lambda$

Diberikan:

π (λ | \vec{x}) \propto p (\vec{x} | λ) \times p (λ)

$\pi(\lambda|\vec{x}) \propto p(\vec{x}|\lambda) \times p(\lambda)$

Jadi, untuk model yang diberikan di atas:

π (λ | \vec{x}) = \frac{λ^{\sum_{i = 1}^{n} x_{i}}}{\sum_{i = 1}^{n} x_{i}!} e^{- n λ} \times λ_{0} e^{- λ λ_{0}}

$\pi(\lambda|\vec{x}) = \frac{\lambda^{\sum_{i=1}^{n}x_{i}}}{\sum_{i=1}^{n}x_{i}!}e^{-n\lambda} \times \lambda_{0}e^{-\lambda \lambda_{0}}$

Menyederhanakan hasil:

π (λ | \vec{x}) = \frac{λ^{\sum_{i = 1}^{n} x_{i}}}{\sum_{i = 1}^{n} x_{i}!} e^{- λ (n + λ_{0})} λ_{0}

$\pi(\lambda|\vec{x}) = \frac{\lambda^{\sum_{i=1}^{n}x_{i}}}{\sum_{i=1}^{n}x_{i}!}e^{-\lambda(n+\lambda_{0})}\lambda_{0}$

yang sebanding dengan (dan karenanya bentuk posterior diberikan oleh):

π (λ | \vec{x}) \propto λ^{\sum_{i = 1}^{n} x_{i}} e^{- λ (n + λ_{0})} λ_{0}

$\pi(\lambda|\vec{x}) \propto \lambda^{\sum_{i=1}^{n}x_{i}}e^{-\lambda(n+\lambda_{0})}\lambda_{0}$

self-study mcmc monte-carlo data-augmentation pengguna9171
sumber

Jawaban Anda tidak menjelaskan fakta bahwa pengamatan yang sama dengan nol dan satu digabungkan bersama: apa yang Anda hitung adalah posterior untuk data Poisson lengkap, , bukan untuk data yang dikumpulkan atau digabungkan , . $(X_1,\ldots,X_n)$ $(X_1^*,\ldots,X^*_n)$

Jika kita mengambil konvensi bahwa kasus ketika pengamatan sesuai dengan atau dan pengamatan hingga , kepadatan vektor yang diamati adalah (setelah beberapa aljabar dan factorisation) mana adalah jumlah dari kali sama dengan satu. Istilah terakhir antara kurung di atas adalah probabilitas untuk mendapatkan 0 atau 1 dalam undian Poisson. $X_i^*=1$ $X_i=1$ $X_i=0$ $X_i^*=k>1$ $X_i=k$ $(X_1^*,\ldots,X^*_n)$

π (λ | x_{1}^{*}, \dots, x_{n}^{*}) \propto λ^{\sum_{i = 1}^{n} x_{i}^{*} I (x_{i}^{*} > 1)} \exp {- λ (λ_{0} + n)} \times {1 + λ}^{n_{1}}

$\pi(\lambda|x_1^*,\ldots,x^*_n) \propto \lambda^{\sum_{i=1}^n x_i^*\mathbb{I}(x_i^*>1)} \exp\{-\lambda(\lambda_0+n)\} \times \{1+\lambda\}^{n_1}$

n_{1}

$n_1$

x_{i}^{*}

$x_i^*$

Jadi ini posterior Anda yang sebenarnya / diamati. Dari sana, Anda dapat menerapkan sampler Gibbs dengan

Menghasilkan "pengamatan yang hilang" yang diberikan dan pengamatan, yaitu mensimulasikan , yang diberikan oleh $\lambda$ $p(x_i|\lambda,x_i^*=1)$ $P (x_{i} = 0 | λ, x_{i}^{*} = 1) = 1 - P (x_{i} = 1 | λ, x_{i}^{*} = 1) = \frac{1}{1 + λ} .$ $\mathbb{P}(x_i=0|\lambda,x_i^*=1)=1-\mathbb{P}(x_i=1|\lambda,x_i^*=1)=\dfrac{1}{1+\lambda}\,.$
Menghasilkan diberi "data lengkap", yang berjumlah seperti yang telah Anda hitung. $\lambda$ $λ | x_{1}, \dots, x_{n} \sim G (\sum_{i} x_{i} + 1, n + λ_{0})$ $\lambda|x_1,\ldots,x_n \sim \mathcal{G}(\sum_i x_i + 1,n+\lambda_0)$

(Jika Anda ingin lebih detail, Contoh 9.7, hal.346, dalam buku Metode Statistik Monte Carlo dengan George Casella persis mencakup pengaturan ini.)

Xi'an
sumber

(2) Algoritma MCMC dapat mulai dengan nilai arbitrer karena rantai Markov berulang, ini adalah ide inti di balik metode rantai Markov Monte Carlo. Perhatikan bahwa adalah parameter dari sebelumnya: ia dipilih apriori dan tidak berubah setelah data diamati.

λ_{0}

$\lambda_0$

Xi'an

(3) Ketika mengambil sampel dari distribusi Gamma pada langkah 2 sampler Gibbs, perhatikan bahwa saya mengkondisikan data lengkap, yang dihasilkan pada langkah 1 sampler Gibbs. Karena itu saya "tahu" setiap nilai , bahkan nilai . Cobalah memahami perbedaan antara dan , ini adalah ide mendasar di balik prinsip augmentasi data.

x_{i}

$x_i$

x_{i}^{*} = 1

$x_i^*=1$

x_{i}

$x_i$

x_{i}^{*}

$x_i^*$

Xi'an

(1) Bagian sesuai dengan pengamatan yang dikelompokkan.

[{λ + 1} \exp (- λ)]^{n_{1}}

$[\{\lambda+1\}\exp(-\lambda)]^{n_1}$

Xi'an

(2) Ini adalah probabilitas bersyarat (silakan coba lakukan matematika sendiri):

P (x_{i} = 0 | λ, x_{i}^{*} = 1) = P (x_{i} = 0, x_{i}^{*} = 1 | λ) / P (x_{i}^{*} = 1 | λ) = P (x_{i} = 0 | λ) / P (x_{i}^{*} = 1 | λ)

$\mathbb{P}(x_i=0|\lambda,x^∗_i=1)=\mathbb{P}(x_i=0,x^∗_i=1|\lambda)/\mathbb{P}(x^∗_i=1|\lambda)=\mathbb{P}(x_i=0|\lambda)/\mathbb{P}(x^∗_i=1|\lambda)$

Xi'an

(3) Pengambilan sampel Gibbs dilakukan oleh conditional. Jadi pada langkah 2, kita mengkondisikan pada kita disimulasikan pada langkah 1 (dan pada langkah 1 pada kita disimulasikan pada langkah 2). Ini berarti mereka diketahui (meskipun mereka akan berubah pada iterasi berikutnya) dan demikian pula jumlahnya. Anda pasti perlu membaca beberapa pengantar Gibbs jika poin mendasar ini tetap tidak jelas bagi Anda ...

x_{i}

$x_i$

λ

$\lambda$ $x_i$

Xi'an

MCMC dan augmentasi data

Jawaban: