Posterior sangat berbeda dengan sebelum dan kemungkinan

21

Jika sebelumnya dan kemungkinan sangat berbeda satu sama lain, maka kadang-kadang terjadi situasi di mana posterior mirip dengan keduanya. Lihat misalnya gambar ini, yang menggunakan distribusi normal.

Perilaku Posterior

Meskipun secara matematis ini benar, tampaknya itu tidak sesuai dengan intuisi saya - jika data tidak sesuai dengan keyakinan atau data yang saya pegang teguh, saya tidak akan mengharapkan kisaran harga yang baik dan akan mengharapkan posterior datar lebih dari seluruh jajaran atau mungkin distribusi bimodal di sekitar sebelum dan kemungkinan (saya tidak yakin mana yang lebih masuk akal). Saya tentu tidak akan mengharapkan posterior ketat di sekitar rentang yang tidak cocok dengan keyakinan saya sebelumnya atau data. Saya mengerti bahwa ketika lebih banyak data dikumpulkan, posterior akan bergerak menuju kemungkinan, tetapi dalam situasi ini tampaknya kontra-intuitif.

Pertanyaan saya adalah: bagaimana pemahaman saya tentang situasi ini cacat (atau cacat). Apakah posterior fungsi 'benar' untuk situasi ini. Dan jika tidak, bagaimana lagi modelnya?

Demi kelengkapan, prior diberikan sebagai dan kemungkinan sebagai .N ( μ = 6.1 , σ = 0.4 )N(μ=1.5,σ=0,4)N(μ=6.1,σ=0,4)

EDIT: Melihat beberapa jawaban yang diberikan, saya merasa belum menjelaskan situasinya dengan baik. Maksud saya adalah analisis Bayesian tampaknya menghasilkan hasil yang tidak intuitif mengingat asumsi dalam model. Harapan saya adalah bahwa posterior entah bagaimana akan 'bertanggung jawab' untuk keputusan pemodelan yang mungkin buruk, yang ketika dipikirkan pasti bukan itu masalahnya. Saya akan memperluas ini dalam jawaban saya.

Rónán Daly
sumber
2
Itu berarti bahwa Anda tidak dapat menganggap normal posterior. Jika Anda menganggap posterior itu normal, maka ini memang benar.
PascalVKooten
Saya tidak membuat asumsi pada posterior, hanya yang sebelumnya dan kemungkinan. Dan bagaimanapun, bentuk distribusi tampaknya tidak relevan di sini - saya bisa menggambar secara manual dan posterior yang sama akan mengikuti.
Rónán Daly
Saya hanya mengatakan bahwa Anda akan membuang kepercayaan Anda pada posterior ini jika Anda tidak menganggap posterior itu normal. Mempertimbangkan data sebelum dan normal yang normal, posterior normal memang akan seperti ini. Mungkin bayangkan data kecil, sesuatu seperti ini mungkin benar-benar terjadi dalam kenyataan.
PascalVKooten
1
Apakah angka ini benar? Tampaknya kemungkinan sebelumnya harus sangat dekat dengan 0 karena tidak pernah tumpang tindih. Saya mengalami kesulitan melihat bagaimana posterior Anda dapat mengintip di sana karena bobot sebelumnya sangat dekat dengan 0 di sana. Apakah saya melewatkan sesuatu? ×
Luca
1
@Luca Anda lupa tentang normalisasi ulang. Produk dari prior dan kemungkinan mendekati nol, ya - tetapi ketika Anda menormalkan kembali sehingga diintegrasikan ke 1 lagi, ini menjadi tidak relevan.
Pat

Jawaban:

5

Ya, situasi ini dapat muncul dan merupakan fitur asumsi pemodelan Anda, khususnya normalitas dalam model sebelum dan pengambilan sampel (kemungkinan). Jika Anda memilih distribusi Cauchy untuk pendahulunya, posterior akan terlihat jauh berbeda.

prior = function(x) dcauchy(x, 1.5, 0.4)
like = function(x) dnorm(x,6.1,.4)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, 0, 8, col="red", axes=F, frame=T)
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

Cauchy sebelum, model pengambilan sampel normal

jaradniemi
sumber
Terima kasih atas jawaban Anda @jaradniemi, apakah Anda pikir sebelumnya Cauchy akan selalu menghindari situasi tertentu yang diberikan dalam pertanyaan?
Rónán Daly
1
Iya nih. Umumnya prior berekor berat memungkinkan data lebih mudah membanjiri sebelumnya.
jaradniemi
2
Jaradniemi, mungkin begitu, tetapi jika Anda mengatakan Anda tidak ingin sebelum Anda mempengaruhi posterior, mengapa Anda memilih yang informatif sebelumnya? Sepertinya Anda menyarankan untuk memilih cauchy karena terlihat informatif, tetapi sebenarnya tidak.
Florian Hartig
1
Jika sebelumnya dan kemungkinan setuju, maka Anda mendapatkan peningkatan akurasi yang diinginkan dari sebelum ke posterior dan dengan demikian sebelumnya informatif. Tetapi memilih prior yang berekor berat memungkinkan untuk dengan mudah membanjiri prior ketika keduanya tidak setuju.
jaradniemi
2

Saya agak tidak setuju dengan jawaban yang diberikan sejauh ini - tidak ada yang aneh dengan situasi ini. Kemungkinannya adalah normal asimptotically, dan normal sebelum tidak jarang sama sekali. Jika Anda menggabungkan keduanya, dengan fakta bahwa sebelum dan kemungkinan tidak memberikan jawaban yang sama, kami memiliki situasi yang kita bicarakan di sini. Saya telah menggambarkan bahwa di bawah ini dengan kode oleh jaradniemi.

Kami menyebutkan dalam 1 bahwa kesimpulan normal dari pengamatan seperti itu adalah bahwa baik a) model secara struktural salah b) data salah c) sebelumnya salah. Tapi pasti ada yang salah, dan Anda juga akan melihat ini jika Anda akan melakukan pemeriksaan posterior-prediktif, yang harus Anda lakukan pula.

1 Hartig, F .; Dyke, J .; Hickler, T .; Higgins, SI; O'Hara, RB; Scheiter, S. & Huth, A. (2012) Menghubungkan model vegetasi dinamis ke data - perspektif terbalik. J. Biogeogr., 39, 2240-2252. http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2699.2012.02745.x/abstract

prior = function(x) dnorm(x,1,.3)
like = function(x) dnorm(x,-1,.3)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, -2, 2, col="red", axes=F, frame=T, ylim = c(0,2))
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

masukkan deskripsi gambar di sini

Florian Hartig
sumber
2

Saya merasa seperti jawaban yang saya cari ketika datang ke pertanyaan ini dirangkum oleh Lesaffre dan Lawson di Bayesian Biostatistics

The presisi posterior adalah jumlah dari sebelumnya dan presisi sampel, yaitu:

1σ2=w0+w1
μσ

Apa yang dirangkum untuk saya ini, dan secara garis besar dijabarkan dalam jawaban lain, adalah bahwa kasus pemodelan prior dengan kemungkinan normal dapat menghasilkan situasi di mana posterior lebih tepat daripada keduanya. Ini berlawanan dengan intuisi, tetapi merupakan konsekuensi khusus dari pemodelan elemen-elemen ini dengan cara ini.

AWP
sumber
Ini menggeneralisasi dalam dimensi yang lebih tinggi dengan matriks Fisher. The Hessian dari log kemungkinan distribusi posterior dekat puncaknya adalah jumlah dari kovariances terbalik sebelumnya dan kemungkinan. Kebalikan dari jumlah ini adalah kovarians posterior. Karena dua matriks positif (semi) pasti (kovarian terbalik) ditambahkan, secara matematis dijamin bahwa ketepatan posterior akan melebihi baik dari distribusi probabilitas sebelum atau kemungkinan probabilitas. Ini adalah hasil universal dalam kerangka kerja Bayesian.
T3am5hark
2

X1X0μN(1.6,0,42)X1N(μ,0,42)X1X10,42+0,42=0,562ϕ(-(6.1-1.6)/0,56)=9.310-16μ

X0N(μ,0,42)X0X0X1|X1-X0|>6.1-1.6

X0X1

Jarle Tufto
sumber
1

Setelah memikirkan hal ini sebentar, kesimpulan saya adalah bahwa dengan asumsi pemodelan yang buruk, posterior dapat menjadi hasil yang sesuai dengan keyakinan sebelumnya atau kemungkinan. Dari ini hasil alami adalah posterior tidak , secara umum, akhir analisis. Jika posterior kira-kira sesuai dengan data atau harus menyebar antara sebelum dan kemungkinan (dalam kasus ini), maka ini harus diperiksa setelah faktanya, mungkin dengan pemeriksaan posterior-prediktif atau sesuatu serupa. Untuk memasukkan ini ke dalam model tampaknya membutuhkan kemampuan untuk menempatkan probabilitas pada pernyataan probabilistik, yang menurut saya tidak mungkin.

Rónán Daly
sumber
ya, saya setuju, lihat jawaban saya yang lebih terperinci
Florian Hartig
0

Saya pikir ini sebenarnya pertanyaan yang sangat menarik. Setelah tidur di atasnya, saya pikir saya punya jawaban. Masalah utamanya adalah sebagai berikut:

  • Anda telah memperlakukan kemungkinan tersebut sebagai pdf gaussian. Tapi itu bukan distribusi probabilitas - kemungkinan! Terlebih lagi, Anda belum memberi label sumbu dengan jelas. Gabungan hal-hal ini telah membingungkan segala sesuatu yang mengikutinya.

μσP(μ|μ,σ)μσP(X|μ,σ)XP(μ|X,σ,μ,σ)μ

μP(X|μ)

P(μ|μ,σ)=exhal(-(μ-μ)22σ2)12πσ2

P(X|μ,σ)=saya=1Nexhal(-(xsaya-μ)22σ2)12πσ2

σ2=σ2/Nσ2NX

Jadi, sebelum dan kemungkinan sama-sama informatif. Mengapa bukan posterior bimodal? Ini karena asumsi pemodelan Anda. Anda telah secara implisit mengasumsikan distribusi normal dalam cara ini diatur (normal sebelumnya, kemungkinan normal), dan yang membatasi posterior untuk memberikan jawaban yang tidak serupa. Itu hanya properti dari distribusi normal, yang telah Anda masukkan ke dalam masalah dengan menggunakannya. Model yang berbeda belum tentu melakukan ini. Saya punya perasaan (meskipun tidak memiliki bukti sekarang) bahwa distribusi cauchy dapat memiliki kemungkinan multimoda, dan karenanya posterior multimoda.

Jadi, kita harus unimodal, dan yang sebelumnya bersifat informatif seperti halnya kemungkinan. Di bawah kendala ini, perkiraan yang paling masuk akal mulai terdengar seperti titik langsung antara kemungkinan dan sebelumnya, karena kami tidak memiliki cara yang masuk akal untuk menentukan mana yang harus dipercaya. Tetapi mengapa posterior semakin ketat?

σμσσσμ

(Cara untuk memvisualisasikannya mungkin dengan membayangkan memperkirakan rata-rata gaussian, dengan varian yang diketahui, menggunakan hanya dua titik sampel. Jika dua titik sampel dipisahkan oleh jauh lebih banyak daripada lebar gaussian (yaitu mereka keluar di ekor), maka itu bukti kuat rata-rata sebenarnya terletak di antara mereka. Menggeser rata-rata hanya sedikit dari posisi ini akan menyebabkan penurunan eksponensial dalam probabilitas satu sampel atau yang lain.)

Singkatnya, situasi yang Anda uraikan agak aneh, dan dengan menggunakan model yang Anda miliki, Anda telah memasukkan beberapa asumsi (misalnya unimodality) ke dalam masalah yang tidak Anda sadari. Tetapi sebaliknya, kesimpulannya benar.

Menepuk
sumber
μσσμ