Bantuan dalam Maksimalisasi Ekspektasi dari kertas: bagaimana memasukkan distribusi sebelumnya?

9

Pertanyaannya didasarkan pada makalah berjudul: Rekonstruksi gambar dalam tomografi optik difus menggunakan model transport-difusi radiatif digabungkan

Tautan unduhan

Penulis menerapkan EM algoritma dengan sparsity regularisasi vektor yang tidak diketahui untuk memperkirakan pixel dari suatu gambar. Model ini diberikan oleh $l_1$ $\mu$

\begin{matrix} (1) & y = A μ + e \end{matrix}

$y=A\mu + e \tag{1}$ Estimasi diberikan dalam Persamaan (8) sebagai

\begin{matrix} (2) & \hat{μ} = \arg m a x \ln p (y | μ) + γ \ln p (μ) \end{matrix}

$\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2}$

Dalam kasus saya, saya telah mempertimbangkan sebagai filter dengan panjang dan adalah vektor yang mewakili filter. Begitu, $\mu$ $L$ $\mathbf{\mu}$ $L \times 1$

Model dapat ditulis ulang sebagai

\begin{matrix} (3) & y (n) = μ^{T} a (n) + v (n) \end{matrix}

$y(n) = \mathbf{\mu^T}a(n) + v(n) \tag{3}$

Pertanyaan: Perumusan masalah: (n oleh 1) adalah input yang tidak teramati dan adalah mean nol dengan varians tidak diketahui noise tambahan. Solusi MLE akan didasarkan pada Ekspektasi Maksimalisasi (EM). ${\mu(n)}$ $\{e(n)\}$ $\sigma^2_e$

Dalam makalah Eq (19) adalah fungsi - log-likelihood lengkap tetapi untuk kasus saya, saya tidak mengerti bagaimana saya bisa memasukkan distribusi dalam ekspresi log-likelihood lengkap. $A$ $A, \mu$

Apa yang akan menjadi log-likelihood lengkap menggunakan EM dari termasuk distribusi sebelumnya? $y$

self-study bayesian maximum-likelihood expectation-maximization moving-average SKM
sumber

Apakah Anda benar-benar menginginkan kemungkinan log atau sebaliknya Anda menginginkan log-posterior? Hanya yang terakhir akan menyertakan Laplacian prior. Yang pertama hanya dapat diperoleh dengan mengambil log dari kemungkinan, yang tampaknya Anda sudah menulis

Ada dua ekspresi yang saya inginkan - (1) Satu yang akan digunakan untuk menemukan Matriks Informasi Fisher dan (2) lainnya adalah pdf dari kumpulan data lengkap yang mencakup variabel tersembunyi dan pengamatan yang merupakan gabungan kepadatan probabilitas dari data yang diamati sebagai fungsi dari parameter . Pdf yang saya tulis berlaku untuk model MA untuk estimasi buta . Tetapi, bagaimana perbedaannya untuk batasan sparsity = Laplacian sebelumnya sehingga Matriks Informasi Fisher dari turunan parsial dari kemungkinan log dapat ditemukan.

Z

$Z$

θ

$\theta$

θ

$\theta$

SKM

@ Xi'an: Saya tidak mengerti bagaimana memasukkan 3 pdf yang termasuk sebelumnya dalam perumusan kemungkinan log. Saya dapat bekerja di luar maksimalisasi yang mengambil turunan parsial dan menyamakan dengan nol. Bisakah Anda memberikan jawaban dengan ekspresi kemungkinan secara tertulis. Ini akan sangat membantu

SKM

3

Jika kita menganggap target sebagai representasi pada basis EM adalah untuk sembarang , karena dekomposisi atau yang bekerja untuk nilai arbitrer dari (karena tidak ada pada lhs ) dan karenanya juga berfungsi untuk setiap harapan dalam :

\arg max_{θ} L (θ | x) π (θ) = \arg max_{θ} \log L (θ | x) + \log π (θ)

$\arg\max_\theta L(\theta|x)\pi(\theta) = \arg\max_\theta \log L(\theta|x) + \log \pi(\theta)$

\log L (θ | x) = E [\log L (θ | x, Z) | x, θ ⁰] - E [\log q (Z | x, θ) | x, θ ⁰]

$\log L(\theta|x) = \mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]-\mathbb{E}[\log q(Z|x,\theta)|x,\theta⁰]$

θ ⁰

$\theta⁰$

q (z | x, θ) = f (x, z | θ) / g (x | θ)

$q(z|x,\theta)=f(x,z|\theta) \big/ g(x|\theta)$

g (x | θ) = f (x, z | θ) / q (z | x, θ)

$g(x|\theta) = f(x,z|\theta) \big/ q(z|x,\theta)$

z

$z$

Z

$Z$

\log g (x | θ) = \log f (x, z | θ) - \log q (z | x, θ) = E [\log f (x, Z | θ) - \log q (Z | x, θ) | x]

$\log g(x|\theta) = \log f(x,z|\theta) - \log q(z|x,\theta) = \mathbb{E}[\log f(x,Z|\theta) - \log q(Z|x,\theta)|x]$ untuk setiap distribusi bersyarat diberikan , misalnya . Karenanya jika kita memaksimalkan dalam dengan solusi kita memiliki sementara oleh argumen standar EM. Karenanya,

Z

$Z$

X = x

$X=x$

q (z | x, θ ⁰)

$q(z|x,\theta⁰)$

θ

$\theta$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

θ^{1}

$\theta^1$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [\log q (Z | x, θ ⁰) | x, θ ⁰] \geq E [\log q (Z | x, θ^{1}) | x, θ ⁰]

$\mathbb{E}[\log q(Z|x,\theta⁰)|x,\theta⁰]\ge\mathbb{E}[\log q(Z|x,\theta^1)|x,\theta⁰]$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$ dan menggunakan sebagai langkah E target mengarah ke peningkatan posterior di setiap M langkah, yang berarti bahwa algoritma EM yang dimodifikasi menyatu ke MAP lokal.

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

Xi'an
sumber

Terimakasih atas balasan anda. Apakah mewakili pdf dari ? Bisakah Anda menjelaskan mengapa ada 2 ekspektasi dengan dikurangkan dalam Persamaan yang disebutkan di baris kedua?

q ()

$q()$

Z

$Z$

E [l o g q (.)]

$E[log q(.)]$

SKM

Saya menambahkan beberapa penjelasan, tetapi Anda harus memeriksa derivasi algoritma EM di buku teks karena ini adalah materi standar.

Xi'an

1

Saya tidak berpikir menunjukkan peningkatan monoton log-posterior (atau log kemungkinan untuk MLE) cukup untuk menunjukkan konvergensi ke titik stasioner dari estimasi MAP (atau MLE). Misalnya, peningkatannya bisa menjadi kecil secara sewenang-wenang. Dalam makalah terkenal oleh Wu 1983 , kondisi yang cukup untuk konvergen ke titik stasioner EM adalah diferensiabilitas dalam kedua argumen fungsi batas bawah.

Jim.Z
sumber

Bantuan dalam Maksimalisasi Ekspektasi dari kertas: bagaimana memasukkan distribusi sebelumnya?

Jawaban: