Misalkan jumlah yang ingin kita simpulkan adalah distribusi probabilitas. Yang kita tahu adalah bahwa distribusi berasal dari himpunan ditentukan, katakanlah, pada beberapa momennya dan kami memiliki sebelumnya .
Prinsip entropi maksimum (MEP) mengatakan bahwa yang memiliki entropi relatif paling rendah dari (yaitu, ) adalah yang terbaik untuk dipilih. Sedangkan aturan seleksi Bayesian memiliki proses pemilihan posterior mengingat prior yang didukung oleh teorema Bayes.
Pertanyaan saya adalah apakah ada hubungan antara kedua metode inferensi ini (yaitu, apakah kedua metode tersebut berlaku untuk masalah yang sama dan memiliki kesamaan)? Atau apakah dalam inferensi Bayesian pengaturan sama sekali berbeda dari pengaturan yang disebutkan di atas? Atau aku tidak masuk akal ?!
Jawaban:
Ini mungkin datang terlambat, tetapi pertanyaan harus diulang: seperti yang didefinisikan oleh Jaynes , entropi maksimum adalah cara untuk membangun distribusi sebelumnya yang (a) memenuhi kendala yang diberlakukan oleh dan (b) memiliki entropi maksimum, relatif terhadap ukuran referensi dalam kasus berkelanjutan: Dengan demikian, entropi maksimum (Jaynes ') jelas merupakan bagian dari kotak peralatan Bayesian. Dan entropi maksimum sebelum tidak memberikan distribusi sebelumnya yang paling dekat dengan prior sebelumnya, seperti yang disarankan oleh pertanyaan Ashok .E
Bayesian inferensi tentang distribusi adalah masalah yang sama sekali berbeda, ditangani oleh Bayesian non-parametrik (lihat, misalnya, buku terbaru oleh Hjort et al.). Hal ini membutuhkan pengamatan dari , yang tampaknya tidak menjadi latar dari pertanyaan saat ini ...Q Q
sumber