Mengingat bahwa estimasi posterior dari kemungkinan normal dan gamma terbalik sebelum adalah:
yang setara dengan
karena yang lemah sebelum menghapus dan dari persamaan 1:
Jelas bahwa estimasi posterior adalah fungsi dari ukuran sampel dan jumlah kuadrat dari kemungkinan. Tapi apa artinya ini? Ada derivasi di Wikipedia yang tidak saya ikuti.
Saya punya pertanyaan berikut
- Bisakah saya mencapai persamaan kedua ini tanpa menggunakan aturan Bayes? Saya ingin tahu apakah ada sesuatu yang melekat dalam parameter IG yang terkait dengan mean dan varians independen dari kemungkinan normal.
- Dapatkah saya menggunakan ukuran sampel dan standar deviasi dari penelitian sebelumnya untuk memperkirakan informasi sebelum , dan kemudian memperbarui sebelum dengan data baru? Ini kelihatannya mudah, tetapi saya tidak dapat menemukan contoh melakukannya, atau alasan mengapa ini akan menjadi pendekatan yang sah - selain apa yang dapat dilihat di posterior.
- Apakah ada buku teks probabilitas atau statistik populer yang dapat saya baca untuk penjelasan lebih lanjut?
Jawaban:
Saya pikir lebih tepat untuk berbicara tentang distribusi posterior dari parameter Anda daripada perkiraan posteriornya. Untuk kejelasan notasi, saya akan menjatuhkan prime dalam di bagian selanjutnya.σ′ 2 σ′ 2
Misalkan didistribusikan sebagai , - Saya drop untuk saat ini untuk membuat contoh heuristik - dan didistribusikan sebagai dan independen dari .X N( 0 ,σ2) μ 1 /σ2=σ- 2 Γ ( α , β) X
Pdf dari diberikan adalah Gaussian, yaituX σ- 2
Pdf gabungan dari , diperoleh dengan mengalikan dengan - pdf dari . Ini keluar sebagai( X,σ- 2) f( x ,σ- 2) f( x |σ- 2) g(σ- 2) σ- 2
Kami dapat mengelompokkan istilah yang serupa dan menulis ulang ini sebagai berikut
Distribusi posterior menurut definisi adalah pdf dari diberikan , yang merupakan dengan formula Bayes ' . Untuk menjawab pertanyaan Anda 1. Saya rasa tidak ada cara untuk mengekspresikan dari tanpa menggunakan formula Bayes. Pada saat perhitungan, kami mengenali dalam rumus di atas sesuatu yang tampak seperti fungsi , jadi mengintegrasikan untuk mendapatkan cukup mudah.σ- 2 σ- 2 x f( x ,σ- 2) / f( x ) f(σ- 2| x) f( x ,σ- 2) Γ σ- 2 f( x )
jadi dengan membagi kita dapatkan
Dan di sini dalam rumus terakhir kita mengenali distribusi dengan parameter .Γ ( Α + 1 / 2 , β+x2/ 2 )
Jika Anda memiliki sampel IID , dengan mengintegrasikan semua , Anda akan mendapatkan dan kemudian sebagai produk dari istilah berikut:( (x1,σ- 21) , . . . , (xn,σ- 2n) ) σ- 2saya f(x1, . . . ,xn) f(σ- 21, . . . ,σ- 2n|x1, . . . ,xn)
Yang merupakan produk dari variabel . Dan kita terjebak di sini karena banyaknya . Selain itu, distribusi rata-rata variabel independen tersebut tidak mudah untuk dihitung.Γ σ- 2saya Γ
Namun, jika kita mengasumsikan bahwa semua pengamatan berbagi nilai yang sama dari (yang tampaknya menjadi kasus Anda) yaitu bahwa nilai diambil hanya sekali dari dan semua kemudian digambar dengan nilai , kami memperolehxsaya σ- 2 σ- 2 Γ ( α ,β) xsaya σ- 2
dari mana kami menurunkan distribusi posterior sebagai persamaan Anda 1 dengan menerapkan formula Bayes.σ- 2
Distribusi posterior adalah yang bergantung pada dan , parameter Anda sebelumnya, ukuran sampel dan jumlah kuadrat yang diamati. Mean sebelumnya dari adalah dan variansnya adalah , jadi jika dan nilainya sangat kecil, yang sebelumnya membawa sedikit informasi tentang karena variansnya menjadi besar. Nilai-nilai yang kecil, Anda dapat menjatuhkannya dari persamaan di atas dan Anda berakhir dengan persamaan Anda 3.σ- 2 Γ α β n σ- 2 α / β α /β2 α = β σ- 2
Dalam hal itu distribusi posterior menjadi independen dari yang sebelumnya. Rumus ini mengatakan bahwa kebalikan dari varians memiliki distribusi yang hanya bergantung pada ukuran sampel dan jumlah kuadrat. Anda dapat menunjukkan bahwa untuk variabel Gaussian dari mean yang diketahui, , penaksir varians, memiliki distribusi yang sama, kecuali bahwa itu adalah fungsi dari ukuran sampel dan nilai sebenarnya dari parter . Dalam kasus Bayesian, ini adalah distribusi parameter, dalam kasus yang sering terjadi, ini adalah distribusi estimator.Γ S2 σ2
Mengenai pertanyaan Anda 2. Anda tentu saja dapat menggunakan nilai yang diperoleh dalam percobaan sebelumnya sebagai prior Anda. Karena kami membuat paralel antara interpretasi Bayesian dan sering di atas, kami dapat menguraikan dan mengatakan bahwa itu seperti menghitung varians dari ukuran sampel kecil dan kemudian mengumpulkan lebih banyak poin data: Anda akan memperbarui estimasi varians daripada membuangnya titik data pertama.
Mengenai pertanyaan Anda 3. Saya suka Pengantar Statistik Matematika oleh Hogg, McKean dan Craig, yang biasanya memberikan detail tentang cara menurunkan persamaan ini.
sumber
Untuk pertanyaan 1, persamaan kedua mengikuti dari aturan Bayes seperti yang Anda tunjukkan, dan saya tidak tahu bagaimana cara menghindarinya.
Untuk pertanyaan 2, ya, Anda bisa melakukan ini. Cukup gunakan prior dengan bentuk yang sama dengan persamaan kedua Anda.
Untuk pertanyaan 3, saya akan mencari sesuatu tentang keluarga eksponensial. Mungkin seseorang akan merekomendasikan sumber yang bagus.
sumber