Saat ini saya memperkirakan parameter model yang ditentukan oleh beberapa persamaan diferensial biasa (ODE). Saya mencoba ini dengan pendekatan bayesian dengan memperkirakan distribusi posterior parameter yang diberikan beberapa data menggunakan Markov Chain Monte Carlo (MCMC).
MCMC sampler menghasilkan rantai nilai parameter di mana ia menggunakan probabilitas posterior (tidak dinormalisasi) dari nilai parameter tertentu untuk memutuskan (secara stokastik) apakah akan menambah nilai itu ke rantai atau menambahkan nilai sebelumnya lagi. Tetapi, tampaknya menjadi praktik bahwa probabilitas posterior aktual tidak perlu diselamatkan, melainkan merupakan histogram n-dimensi dari nilai parameter yang dihasilkan dan statistik ringkasan seperti daerah kepadatan tertinggi (HDR) dari parameter distribusi posterior dihitung dari histogram ini. Setidaknya itulah yang saya pikir saya pelajari dari buku tutorial Kruschkes tentang inferensi bayesian .
Pertanyaan saya: Bukankah lebih mudah untuk menyimpan probabilitas posterior dari nilai parameter sampel bersama dengan ini dan memperkirakan distribusi posterior dari nilai-nilai ini dan bukan dari frekuensi nilai parameter dalam rantai MCMC? Masalah fase burn-in tidak akan muncul karena sampler pada awalnya masih akan sampel daerah probabilitas rendah lebih sering daripada yang "layak" dengan probabilitas posterior mereka tetapi tidak akan lagi masalah memberikan nilai probabilitas yang terlalu tinggi untuk ini.
Jawaban:
Ini adalah pertanyaan yang menarik, dengan berbagai masalah:
sumber
Seperti yang Anda perhatikan dengan benar, probabilitas yang kita hadapi tidak dinormalisasi . Pada dasarnya, kami menggunakan MCMC untuk menghitung faktor normalisasi dalam teorema Bayes. Kami tidak dapat menggunakan probabilitas karena mereka tidak dinormalisasi. Prosedur yang Anda sarankan: untuk menyimpan probabilitas yang tidak dinormalkan dan kemudian membaginya dengan jumlah mereka salah.
Izinkan saya menunjukkannya kepada Anda sebagai contoh. Bayangkan Anda menggunakan Monte Carlo untuk menggambar sepuluh nilai dari distribusi Bernoulli yang ditentukan olehp=0.9 , mereka adalah sebagai berikut:
Anda juga memiliki probabilitas yang sesuai:
Dalam hal ini probabilitas dinormalisasi, tetapi membaginya dengan jumlah mereka (bahwa dengan aksioma probabilitas sama dengan kesatuan) tidak boleh mengubah apa pun. Unfortunatelly, menggunakan prosedur Anda itu tidak mengubah hasil untuk:
Mengapa demikian? Jawabannya sederhana, dalam sampel Anda setiap "probabilitas" yang disimpan
f
muncul dengan probabilitasf
, jadi Anda menimbang probabilitasnya sendiri!sumber