Punya konjugat sebelumnya: Properti dalam atau kecelakaan matematika?

Beberapa distribusi memiliki prior konjugat dan beberapa tidak. Apakah perbedaan ini hanya kecelakaan? Artinya, Anda melakukan perhitungan, dan itu berhasil dengan satu atau lain cara, tetapi tidak benar-benar memberi tahu Anda sesuatu yang penting tentang distribusi kecuali untuk fakta itu sendiri?

Atau apakah ada atau tidak adanya konjugat sebelum mencerminkan beberapa properti yang lebih dalam dari suatu distribusi? Apakah distribusi dengan prior konjugat berbagi beberapa properti menarik atau properti lain yang tidak dimiliki distribusi lain yang menyebabkan distribusi tersebut, dan bukan yang lain, memiliki konjugat sebelumnya?

bayesian mathematical-statistics conjugate-prior andrewH
sumber

Yah Anda harus tahu bahwa setiap distribusi yang dapat ditulis sebagai anggota keluarga eksponensial reguler harus memiliki konjugat sebelumnya.

Apakah kita tahu ada kelas distribusi menarik yang telah terbukti tidak memiliki konjugasi prior? Saya tahu sangat sedikit distribusi dengan 3 atau lebih parameter yang telah mengetahui CP, tetapi saya tidak yakin apakah kita tahu ini tidak ada, atau hanya tahu bahwa kita belum menemukannya.

andrewH

Menarik. Ini bisa dilihat sebagai properti operator yang mengangkut sebelum ke posterior, dalam keluarga parametrik yang sama. Lebih menarik mungkin, itu bisa dilihat sebagai properti penutupan triplet (distribusi sebelumnya, distribusi sampling, operator pembaruan Bayes).

JohnRos

@ JohnRos. Saya suka cara Anda berpikir.

andrewH

Mengenai pernyataan pembukaan Anda, hati-hati dengan kasus sepele dari prior yang menempatkan semua massa dalam nilai tunggal dari ruang parameter (tidak benar-benar berguna untuk melakukan inferensi, ya?). Teorema Bayes menunjukkan bahwa ini adalah prior konjugasi untuk setiap model. Tentu saja, mereka mewakili pengetahuan sebelumnya tentang seseorang dengan "ide-ide tetap".

Zen

Jawaban:

Itu bukan kebetulan. Di sini Anda akan menemukan ulasan singkat yang sangat bagus tentang prior konjugasi. Secara konkret, disebutkan bahwa jika ada satu set statistik yang memadai dari dimensi tetap untuk fungsi kemungkinan yang diberikan, maka Anda dapat membangun konjugat sebelum untuk itu. Memiliki seperangkat statistik yang cukup berarti bahwa Anda dapat memfaktorkan kemungkinan dalam bentuk yang memungkinkan Anda memperkirakan parameter dengan cara yang efisien secara komputasi.

Selain itu, memiliki prior konjugasi tidak hanya nyaman secara komputasi. Ini juga memberikan perataan dan memungkinkan untuk bekerja dengan sampel yang sangat sedikit atau tanpa sampel sebelumnya, yang diperlukan untuk masalah seperti pengambilan keputusan, dalam kasus di mana Anda memiliki sedikit bukti.

jpmuc
sumber

Saya sangat baru dalam statistik Bayesian, tetapi bagi saya kelihatannya semua distribusi ini (dan jika tidak semuanya maka paling tidak yang berguna) membagikan properti yang digambarkan oleh beberapa metrik terbatas tentang pengamatan yang mendefinisikannya . Yaitu, untuk distribusi normal, Anda tidak perlu tahu setiap detail tentang setiap pengamatan, hanya jumlah dan jumlah totalnya.

Dengan kata lain, dengan asumsi Anda sudah mengetahui kelas / keluarga distribusi, maka distribusi tersebut memiliki entropi informasi yang lebih rendah daripada pengamatan yang menghasilkannya.

Apakah ini tampak sepele, atau apakah itu jenis yang Anda cari?

Fabio Beltramini
sumber

Properti apa yang "dalam" adalah masalah yang sangat subyektif! jadi jawabannya tergantung pada konsep "dalam" Anda. Tetapi, jika memiliki prior konjugat adalah properti "dalam", dalam arti tertentu, maka pengertian itu adalah matematika dan bukan statistik. Satu-satunya alasan bahwa (beberapa) ahli statistik tertarik pada prior konjugat adalah karena mereka menyederhanakan beberapa perhitungan. Tapi itu kurang penting untuk setiap hari yang berlalu!

 EDIT

$h$ $[0,1]$ $f(p;\alpha,\beta)$ $h(p)f(p;\alpha,\beta)$

E {E (θ ∣ X = x)} = a x + b

$\DeclareMathOperator{\E}{\mathbb{E}} \E \left\{ \E (\theta \mid X=x)\right\} = ax+b$

a, b

$a,b$

$\text{prior}\times\text{likelihood}$ interpretasi data sebelumnya ke parameter dalam keluarga konjugat (biasa) yang terdaftar.

Jadi, meringkas, famili konjugat yang biasa dalam keluarga eksponensial dapat dibenarkan sebagai prior yang mengarah ke metode linear, atau sebagai prior yang mewakili data sebelumnya. Semoga jawaban yang diperluas ini membantu!

kjetil b halvorsen
sumber

Ini benar-benar komentar, bukan jawaban, @kjetil. Itu harus dijabarkan menjadi jawaban atau dikonversi menjadi komentar.

gung - Reinstate Monica

@gung Saya enggan mengubah jawaban ini menjadi komentar karena tampaknya dapat ditafsirkan sebagai jawaban: ini menegaskan bahwa keberadaan sebelumnya konjugat tidak begitu penting selain menyederhanakan perhitungan. (Saya percaya mungkin ada alasan untuk sengketa keabsahan pernyataan bahwa, tetapi menjadi salah adalah tidak sama dengan tidak menjawab!)

whuber

@whuber: apa alasan Anda selain kesederhanaan komputasi? Saya akan mencoba untuk memperluas pada anserv ...

kjetil b halvorsen

Karena perumusan matematika eksplisit dari suatu hubungan adalah sesuatu yang dapat dianalisis dan dipahami, sedangkan hasil komputasi belaka hanya itu - sebuah hasil, biasanya tidak menawarkan wawasan yang dapat digeneralisasikan. Ini seperti perbedaan antara memiliki peta negara yang dapat Anda pelajari dan pelajari, dibandingkan dengan memiliki perangkat GPS khusus suara yang akan memberikan petunjuk arah mengemudi. Keduanya akan membuat Anda dari satu titik ke titik lain, tetapi yang pertama akan memberi tahu Anda lebih banyak tentang ruang yang Anda lalui.

whuber