Pertanyaan tentang cara menggunakan EM untuk memperkirakan parameter model ini

Saya mencoba memahami EM dan mencoba menyimpulkan parameter model ini menggunakan teknik ini, tetapi saya mengalami kesulitan memahami bagaimana memulainya:

Jadi, saya memiliki model regresi linier tertimbang sebagai berikut di mana saya memiliki pengamatan dan pengamatan yang sesuai . Model hubungan antara dan adalah model regresi linier tertimbang dan asumsi distribusi adalah sebagai berikut: $X = (x_i, x_2....x_n)$ $Y = (y_1, y_2....y_n)$ $X$ $Y$

y_{i} \sim N (β^{T} x_{i}, \frac{σ^{2}}{w_{i}})

$y_i \sim \mathcal{N}(\beta^Tx_i, \frac{\sigma^2}{w_i})$

β \sim N (0, Σ_{β})

$\beta \sim \mathcal{N}(0, \Sigma_\beta)$

w_{i} \sim G (a, b)

$w_i \sim \mathcal{G}(a, b)$

Di sini $\beta$ adalah parameter regresi dan model memungkinkan untuk varians yang tidak sama dengan memiliki variabel respon untuk memiliki bobot individu pada varians. Tujuan saya adalah menemukan hubungan linear yang paling mungkin diberikan oleh parameter $\beta$ .

Jadi, saya sekarang dapat menulis log-posterior sebagai berikut:

\log P (Y, β, w | X) = \sum_{i = 1}^{n} (\log P (y_{i} | x_{i}, β, w_{i}) + \log P (w_{i})) + l o g P (β)

$\log P(Y, \beta, w|X) = \sum_{i=1}^n \big(\log P(y_i|x_i, \beta, w_i) + \log P(w_i)\big) + log P(\beta)$

Sekarang, saya telah mencoba untuk memahami EM dan tidak yakin bahwa pemahaman saya belum lengkap tetapi seperti yang saya mengerti, untuk mulai memperkirakan parameter, saya mulai dengan mengambil ekspektasi dari distribusi log-posterior $\log P(Y, \beta, w|X)$ sehubungan dengan parameter laten / tersembunyi yang dalam kasus saya adalah $\beta$ dan $w$ . Jadi nilai yang diharapkan ini diperlukan akan:

\int \int P (β, w | X) * \log P (Y, β, w | X) d w d β

$\int\int P(\beta, w | X) * \log P(Y, \beta, w | X) dw \;d\beta$

Namun, saya tidak tahu bagaimana melanjutkan dari sini untuk menghitung harapan ini. Sangat menghargai saran apa pun tentang langkah selanjutnya. Saya tidak mencari seseorang untuk mendapatkan saya semua hal yang diperlukan tetapi hanya dorongan ke arah yang benar pada apa yang harus saya cari untuk diselesaikan pada langkah selanjutnya.

bayesian expectation-maximization Luca
sumber

Anda yakin EM seperti dalam Ekspektasi-Maksimalisasi berlaku untuk masalah Anda?

Xi'an

Aku pikir begitu. Saya mencoba memahami makalah dan mereka menggunakan EM untuk menyelesaikan masalah regresi linear bayesian tertimbang ini.

Luca

Variabel laten tidak boleh dan . Jika Anda tertarik pada , variabel laten mungkin adalah . Dalam hal ini Anda harus menemukan fungsi log-likelihood dari langkah-E dan mengoptimalkannya dalam pada langkah-M.

β

$\beta$

w_{i}

$w_i$

β

$\beta$

w_{i}

$w_i$

Q (β | β_{0})

$Q(\beta|\beta_0)$

β

$\beta$

Xi'an

Terima kasih atas komentar Anda. Jika saya dapat mencoba dan mengklarifikasi, makalah tersebut menyebutkan bahwa kami tertarik untuk memaksimalkan kemungkinan log tidak lengkap tetapi kami bekerja dengan kemungkinan data lengkap yang diberikan oleh: , yang bagi saya tampak seperti distribusi posterior dalam pengaturan ini. Jadi, saya berasumsi sedang diperlakukan sebagai bvariabel tersembunyi dalam pengaturan ini.

\log p (Y | X)

$\log p(Y|X)$

\log P (y, w, β | X)

$\log P(y, w, \beta|X)$

β

$\beta$

Luca

Berapa banyak yang sudah Anda ketahui tentang algoritma EM? Buku atau kertas mana yang telah Anda pelajari tentang hal itu? Mulai dari awal di forum seperti ini terdengar seperti ide yang buruk.

Xi'an

Jawaban:

Biarkan saya mengingat dasar-dasar algoritma EM terlebih dahulu. Ketika mencari estimasi kemungkinan maksimum dari kemungkinan bentuk algoritma tersebut melanjutkan dengan memaksimalkan secara berulang (M) yang diharapkan (E) kemungkinan log-likelihood lengkap, yang menghasilkan pemaksimalan (dalam ) pada iterasi fungsi Algoritma karena itu harus dimulai dengan mengidentifikasi variabel laten dan distribusi kondisionalnya.

\int f (x, z | β) d z,

$\int f(x,z|\beta)\text{d}z,$

β

$\beta$

t

$t$

Q (β | β_{i}) = \int \log f (x, z | β) f (z | x, β_{t}) d z

$Q(\beta|\beta_i)=\int \log f(x,z|\beta) f(z|x,\beta_t)\text{d}z$

z

$z$

Dalam kasus Anda tampaknya variabel laten adalah dibuat dari sementara parameter yang menarik adalah . Jika Anda memproses dan sebagai variabel laten, tidak ada parameter yang tersisa untuk dioptimalkan. Namun, ini juga berarti bahwa sebelum tidak digunakan. $\varpi$ $w_i$ $\beta$ $\beta$ $\varpi$ $\beta$

Jika kita melihat lebih tepat pada kasus , distribusi kondisionalnya diberikan oleh yang memenuhi syarat sebagai distribusi. $w_i$

f (w_{i} | x_{i}, y_{i}, β) \propto \sqrt{w_{i}} \exp {- w_{i} (y_{i} - β^{T} x_{i})^{2} / 2 σ^{2}} \times w_{i}^{a - 1} \exp {- b w_{i}}

$f(w_i|x_i,y_i,\beta)\propto\sqrt{w_i}\exp\left\{-w_i(y_i-\beta^Tx_i)^2/2\sigma^2\right\}\times w_i^{a-1}\exp\{-bw_i\}$

G (a + 1 / 2, b + (y_{i} - β^{T} x_{i})^{2} / 2 σ^{2})

$\mathcal{G}\left(a+1/2,b+(y_i-\beta^Tx_i)^2/2\sigma^2\right)$

Kemungkinan log yang selesai adalah bagian yang bergantung pada disederhanakan sebagai dan fungsi sebanding dengan Memaksimalkan fungsi ini dalam jumlah ke regresi linier tertimbang, dengan bobot

\sum_{i} \frac{1}{2} {\log (w_{i}) - w_{i} (y_{i} - β^{T} x_{i})^{2} / σ^{2}}

$\sum_i \frac{1}{2}\left\{\log(w_i)- w_i(y_i-\beta^Tx_i)^2/\sigma^2\right\}$

β

$\beta$

- \sum_{i} w_{i} (y_{i} - β^{T} x_{i})^{2} / 2 σ^{2}

$-\sum_iw_i(y_i-\beta^Tx_i)^2/2\sigma^2$

- Q (β | β_{t})

$-Q(\beta|\beta_t)$

\begin{aligned} E [\sum_{i} w_{i} (y_{i} - β^{T} x_{i})^{2} | X, Y, β_{t}] & = \sum_{i} E [w_{i} | X, Y, β_{t}] (y_{i} - β^{T} x_{i})^{2} \\ = \sum_{i} \frac{a + 1 / 2}{b + (y_{i} - β_{t}^{T} x_{i})^{2} / 2 σ^{2}} (y_{i} - β^{T} x_{i})^{2} \end{aligned}

$\begin{align*}\mathbb{E}\left[\sum_iw_i(y_i-\beta^Tx_i)^2\Big|X,Y,\beta_t\right]&=\sum_i\mathbb{E}[w_i|X,Y,\beta_t](y_i-\beta^Tx_i)^2\\&=\sum_i\frac{a+1/2}{b+(y_i-\beta_t^Tx_i)^2/2\sigma^2}(y_i-\beta^Tx_i)^2\end{align*}$

β

$\beta$

\frac{a + 1 / 2}{b + (y_{i} - β_{t}^{T} x_{i})^{2} / 2 σ^{2}}

$\frac{a+1/2}{b+(y_i-\beta_t^Tx_i)^2/2\sigma^2}$

Xi'an
sumber

Terima kasih untuk ini dan saya akan melalui ini dengan keras. Namun, pekerjaan ini yang saya lihat tidak memperlakukan sebagai variabel tersembunyi juga. Mereka menyebutkan bahwa mereka mengambil ekspektasi dengan bentuk perkiraan posterior mendekati sebagai . Jadi bagian ini membuat saya benar-benar bingung ...

β

$\beta$

Q (β, w)

$Q(\beta, w)$

Q (w) Q (β)

$Q(w)Q(\beta)$

Luca

Jika Anda memperlakukan dan sebagai variabel laten, tidak ada parameter yang tersisa ...

β

$\beta$

w

$w$

Xi'an

Mungkin yang mereka miliki adalah estimasi MAP dan bukan estimasi ML. Jika saya mencoba dan memformulasi ulang ini sebagai perkiraan MAP, saya menduga distribusi akan ikut berperan?

β

$\beta$

Luca

Satu hal yang sangat cepat ... Saya tidak yakin apakah Anda melihat ini tetapi ketika Anda memiliki persamaan untuk kemungkinan log-lengkap, apakah istilah pertama bukan ? Juga, saya menebak istilah yang Anda tampilkan adalah kemungkinan log sebanding dengan konstanta. Saya selalu bingung dengan ini ketika barang digulung menjadi konstanta.

l o g (\sqrt{w_{i}})

$log(\sqrt{w_i})$

Luca

koreksi yang dilakukan: Saya menempatkan di depan seluruh ekspresi.

1 / 2

$1/2$

Xi'an