Contoh estimasi maksimum a posteriori

Saya telah membaca tentang estimasi kemungkinan maksimum dan estimasi posteriori maksimum dan sejauh ini saya telah bertemu contoh konkret hanya dengan estimasi kemungkinan maksimum. Saya telah menemukan beberapa contoh abstrak estimasi posteriori maksimum, tetapi belum ada yang konkret dengan angka di atasnya: S

Ini bisa sangat luar biasa, hanya bekerja dengan variabel dan fungsi abstrak, dan agar tidak tenggelam dalam abstrak ini, menyenangkan untuk menghubungkan hal-hal dengan dunia nyata dari waktu ke waktu. Tapi tentu saja, ini hanya pengamatan saya (dan beberapa orang lain) :)

Oleh karena itu, bisakah ada yang memberi saya contoh sederhana, tapi konkret estimasi Maximum A Posteriori dengan angka di atasnya? Itu akan membantu banyak :)

Terima kasih!

Saya awalnya memposting pertanyaan ini di MSE, tetapi tidak bisa mendapatkan jawaban di sana:

/math/449386/example-of-maximum-a-posteriori-estimation

Saya telah mengikuti instruksi yang diberikan di sini pada postingan silang:

http://meta.math.stackexchange.com/questions/5028/how-do-i-move-a-post-to-another-forum-like-cv-stats

Contoh 1

Kasus khas adalah penandaan dalam konteks pemrosesan bahasa alami. Lihat di sini untuk penjelasan terperinci. Idenya pada dasarnya adalah untuk dapat menentukan kategori leksikal dari sebuah kata dalam kalimat (apakah itu kata benda, kata sifat, ...). Ide dasarnya adalah bahwa Anda memiliki model bahasa Anda yang terdiri atas model markov tersembunyi ( HMM ). Dalam model ini, status tersembunyi sesuai dengan kategori leksikal, dan status yang diamati dengan kata-kata yang sebenarnya.

Model grafis masing-masing memiliki bentuk,

di mana adalah urutan kata-kata dalam kalimat, dan x = ( x 1 , . . . , x N ) adalah urutan tag.$\mathbf{y} = (y1,...,y_{N})$$\mathbf{x} = (x1,...,x_{N})$

Setelah dilatih, tujuannya adalah untuk menemukan urutan kategori leksikal yang sesuai dengan kalimat input yang diberikan. Ini dirumuskan sebagai menemukan urutan tag yang paling kompatibel / paling mungkin dihasilkan oleh model bahasa, yaitu

$$f(y) = \mathbf{argmax}_{\mathbf{x} \in Y}p(\mathbf{x})p(\mathbf{y}|\mathbf{x})$$

Contoh ke-2

Sebenarnya, contoh yang lebih baik adalah regresi. Bukan hanya karena lebih mudah dipahami, tetapi juga karena membuat perbedaan antara kemungkinan maksimum (ML) dan maksimum a posteriori (MAP) jelas.

$t$

$$y(\mathbf{x};\mathbf{w}) = \sum_{i}w_{i}\phi_{i}(\mathbf{x})$$ $\phi(\mathbf{x})$$\mathbf{w}$

$$t = y(\mathbf{x};\mathbf{w}) + \epsilon$$

$p(t|\mathbf{w}) = \mathcal{N}(t|y(\mathbf{x};\mathbf{w}))$

$$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2}$$

yang menghasilkan solusi kesalahan kuadrat terkecil yang terkenal. Sekarang, ML sentitive terhadap noise, dan dalam kondisi tertentu tidak stabil. MAP memungkinkan Anda untuk mengambil solusi yang lebih baik dengan memberi batasan pada bobot. Sebagai contoh, kasus tipikal adalah regresi ridge, di mana Anda menuntut bobot untuk memiliki norma sekecil mungkin,

$$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2} + \lambda \sum_{k}w_{k}^{2}$$

$\mathcal{N}(\mathbf{w}|\mathbf{0},\lambda^{-1}\mathbf{I})$

$$\mathbf{w} = \mathbf{argmin}_{w}p(\mathbf{w};\lambda)p(t|\mathbf{w};\phi)$$

Perhatikan bahwa dalam MAP bobot bukan parameter seperti dalam ML, tetapi variabel acak. Namun demikian, baik ML dan MAP adalah penaksir titik (mereka mengembalikan set bobot optimal, bukan distribusi bobot optimal).