Saya mencari metode yang memungkinkan memperkirakan entropi informasi distribusi ketika satu-satunya cara praktis pengambilan sampel dari distribusi itu adalah metode Monte Carlo.
Masalah saya tidak berbeda dengan model Ising standar yang biasanya digunakan sebagai contoh pengantar untuk pengambilan sampel Metropolis – Hastings. Saya memiliki distribusi probabilitas atas satu set , yaitu saya harus untuk setiap . Unsur-unsur bersifat kombinatorial, seperti negara-negara Ising, dan jumlahnya sangat banyak. Ini berarti bahwa dalam praktiknya saya tidak pernah mendapatkan sampel yang sama dua kali ketika mengambil sampel dari distribusi ini di komputer. tidak dapat dihitung secara langsung (karena tidak mengetahui faktor normalisasi), tetapi rasio mudah untuk dihitung.p ( a ) a ∈ A a ∈ A p ( a ) p ( a 1 ) / p ( a 2 )
Saya ingin memperkirakan entropi informasi dari distribusi ini,
Atau, saya ingin memperkirakan perbedaan entropi antara distribusi ini dan yang diperoleh dengan membatasinya ke subset (dan tentu saja menormalisasi kembali).
sumber
Untuk bagian kedua dari pertanyaan Anda (estimasi entropi perbedaan antara distribusi) Anda mungkin dapat menggunakan identitas di mana ⟨ E ⟩ adalah energi rata-rata, T adalah suhu (itu sebanding dengan θ dalam p ∝ e θ E ), dan S adalah entropi. Untuk detailnya, lihat: Jaynes, E. (1957). Teori Informasi dan Mekanika Statistik. Ulasan Fisik, 106 (4), 620–630. http://doi.org/10.1103/PhysRev.106.620 .
Berikut adalah dua referensi tambahan tentang algoritma untuk menghitung energi gratis:
Lelièvre, T., Rousset, M., & Stoltz, G. (2010). Komputasi Energi Gratis. Imperial College Press. http://doi.org/10.1142/9781848162488
Chipot, C., & Pohorille, A. (2007). Perhitungan Energi Gratis. (C. Chipot & A. Pohorille, Eds.) (Vol. 86). Berlin, Heidelberg: Springer Berlin Heidelberg. http://doi.org/10.1007/978-3-540-38448-9
sumber