Gradien log-kemungkinan Gaussian multivariat

Saya mencoba mencari perkiraan MAP untuk model berdasarkan gradient descent. Sebelumnya saya adalah multivariat Gaussian dengan matriks kovarian yang dikenal.

Pada tingkat konseptual, saya pikir saya tahu bagaimana melakukan ini, tetapi saya berharap bantuan dengan detailnya. Secara khusus, jika ada cara yang lebih mudah untuk mendekati masalah, maka itu akan sangat berguna.

Inilah yang saya pikir perlu saya lakukan:

• Untuk setiap dimensi, temukan distribusi bersyarat, mengingat posisi saya saat ini di dimensi lain.
• Ini memberi saya Gaussian univariat lokal di setiap dimensi, dengan mean dan standar deviasi yang benar.
• Saya pikir gradien seharusnya hanya menjadi vektor turunan untuk masing-masing distribusi univariat ini.

Pertanyaan saya memiliki dua bagian:

1. Apakah ini pendekatan terbaik untuk diambil, atau ada cara yang lebih mudah?
2. Dengan asumsi saya harus menempuh rute ini, apa cara terbaik untuk menemukan distribusi bersyarat ini?

Bagaimana dengan optimasi?

Mari kita lihat apakah saya mengerti Anda dengan benar. Anda punya model$p(y|x, \theta)$ dikondisikan pada beberapa pengamatan $x$ dan seperangkat parameter $\theta$ dan sebelumnya $p(\theta)$ mengarah ke kemungkinan gabungan $\mathcal{L} = p(y|x, \theta)p(\theta)$. Parameter didistribusikan menurut normal multivariat yang dikenal, yaitu$\theta \sim \mathcal{N}(\mu, \Sigma)$. Anda ingin menemukan solusi MAP untuk masalah ini, yaitu

$$\text{argmax}_{\theta} \mathcal{L}.$$ Kasus khusus dari masalah ini dipelajari dengan baik di komunitas jaringan saraf, yang dikenal sebagai pembusukan berat badan. Dalam hal itu,$\mu=\mathbf{0}$ dan $\Sigma = \mathbf{I}\sigma^2$.

Seperti yang sudah Anda catat, triknya adalah itu $\text{argmax}_{\theta} \mathcal{L} = \text{argmax}_{\theta} \log \mathcal{L}$. Ketika Anda mengambil log dari kepadatan Gaussian, banyak istilah jelek (eksponensial) menghilang dan Anda akan berakhir dengan sth seperti$\log p(\theta) = {1 \over 2}(\theta - \mu)^T\Sigma^{-1}(\theta - \mu) + \text{const}$. Jika Anda membedakannya, identitas matriks Sam Roweis akan berguna dan membiarkan Anda tiba

$${1 \over 2}{\partial (\theta - \mu)^T\Sigma^{-1}(\theta - \mu) \over \partial \theta} = \Sigma^{-1}(\theta - \mu).$$

(Harap verifikasi, ini dilakukan dengan cepat dan di kepala saya.) Bersama dengan turunan dari model Anda, Anda dapat menggunakan pengoptimal di luar rak untuk sampai pada solusi MAP.

Pembaruan : Komentar yang dimasukkan oleh David J. Harris. Formula seharusnya benar sekarang.

Jika kemungkinannya bukan Gaussian, tidak mungkin untuk mengatakan jika ada hasil analitik. Juga, peluru kedua kemudian salah secara umum. Karena Gaussian sebelum dan kemungkinan umum tidak membuat untuk distribusi gaussian bersyarat pada komponen vektor.

Salah satu cara untuk mendapatkan MAP adalah dengan melakukan analisis Bayesian penuh, misalnya menggunakan MCMC dan menggunakan sampel dari posterior untuk memperkirakannya. [Dalam hal ini Anda akan memiliki informasi yang lebih baik daripada hanya menggunakan MAP.] Karena tidak tertarik - mengapa tidak turun rute ini?

Pendekatan lain bisa dilakukan (saya tidak melihat ini dilakukan secara umum sehingga seseorang tolong perbaiki saya jika itu gila):

$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$

$l(\theta|x) = l(x|\theta) + l(\theta) - l(x)$

$\frac{dl(\theta|x)}{d\theta} = \frac{dl(x|\theta)}{d\theta} + \frac{dl(\theta)}{d\theta} = 0$

Kemudian pecahkan untuk $\theta$ (mungkin secara numerik).