Apakah ada konjugat sebelum distribusi Laplace?

13

Apakah ada konjugat sebelum distribusi Laplace ? Jika tidak, adakah ungkapan bentuk tertutup yang diketahui yang mendekati posterior untuk parameter distribusi Laplace?

Saya sudah googled cukup banyak dengan tidak berhasil sehingga dugaan saya saat ini adalah "tidak" pada pertanyaan di atas ...

Rasmus Bååth
sumber
1
Google "campuran rata-rata varians polson dan scott normal" - ini akan memberi Anda beberapa perkiraan bayaran menggunakan MAP melalui algoritma em.
probabilityislogic

Jawaban:

12

Mari kita lihat mereka satu per satu terlebih dahulu (mengambil yang lain seperti yang diberikan).

Dari tautan (dengan modifikasi mengikuti konvensi menggunakan simbol Yunani untuk parameter):

f(x|μ,τ)=12τexp(|xμ|τ)

- parameter skala :

L(τ)τk1eSτ

untuk nilai-nilai tertentu dan S . Itulah kemungkinan bentuk gamma terbalik.kS

Jadi parameter skala memiliki prior konjugat - dengan inspeksi, konjugat prior adalah gamma terbalik.

- parameter lokasi

Ini, memang, lebih rumit, karena tidak menyederhanakan menjadi sesuatu yang nyaman dalam μ ; Saya tidak berpikir ada cara untuk 'mengumpulkan persyaratan' (well dengan cara semacam itu ada, tapi kita tidak perlu toh).i|xiμ|μ

Prior yang seragam hanya akan memotong posterior, yang tidak terlalu buruk untuk digunakan jika itu tampak masuk akal sebagai prior.

Satu kemungkinan menarik yang kadang-kadang berguna adalah agak mudah untuk memasukkan Laplace prior (satu dengan skala yang sama dengan data) dengan menggunakan pengamatan semu. Seseorang mungkin juga memperkirakan beberapa lainnya (lebih ketat) sebelum melalui beberapa pengamatan semu)

exp(j|μθj|/ϕj)exp(jwj|μθj|)

Ini juga cukup fleksibel sehingga dapat digunakan untuk memperkirakan prior lainnya.

(Lebih umum lagi, seseorang dapat bekerja pada skala log dan menggunakan log-cekung kontinu, sepotong-linear sebelum dan posterior juga akan berbentuk itu; ini akan termasuk Laplace asimetris sebagai kasus khusus)

Contoh

Hanya untuk menunjukkan bahwa itu cukup mudah untuk ditangani - di bawah ini adalah sebelum (abu-abu bertitik), kemungkinan (putus-putus, hitam) dan posterior (padat, merah) untuk parameter lokasi untuk Laplace tertimbang (... ini dengan skala yang diketahui ).

enter image description here

Pendekatan Laplace tertimbang akan bekerja dengan baik di MCMC, saya pikir.

-

Saya ingin tahu apakah mode posterior yang dihasilkan adalah median tertimbang?

- sebenarnya (untuk menjawab pertanyaan saya sendiri), sepertinya jawaban untuk itu adalah 'ya'. Itu membuatnya agak menyenangkan untuk dikerjakan.

-

Bersama sebelumnya

f(μ,τ)=f(μ|τ)f(τ)μ|ττττ

Tidak diragukan lagi sesuatu yang lebih umum untuk persekutuan sebelumnya sangat mungkin, tetapi saya tidak berpikir saya akan mengejar kasus persendian lebih jauh dari itu di sini.

-

Saya belum pernah melihat atau mendengar tentang pendekatan sebelumnya yang berbobot-laplace ini, tetapi agak mudah untuk membuatnya sehingga mungkin sudah dilakukan. (Referensi dipersilahkan, jika ada yang tahu.)

Jika tidak ada yang tahu referensi sama sekali, mungkin saya harus menulis sesuatu, tetapi itu akan mengejutkan.

Glen_b -Reinstate Monica
sumber
Wow, great answer. I sure don't know any references to anything similar. If you find something, or write something up, please let me know!
Rasmus Bååth
1
One possible way to get at the location parameter is to use the normal variance mixture representation of laplace. This is a conditionally conjugate prior though...
probabilityislogic
@probabilityislogic that's interesting. In earlier edits, I put in a line pointing out that the Laplace was an exponential scale mixture of normals because I wondered if there might be something could be done with that, but as I edited the answer further it no longer fit anywhere and I took it out again. From your helpful comment it sounds like it can be used in that way; that's likely to be handy.
Glen_b -Reinstate Monica