Saya membaca tentang entropi dan mengalami kesulitan mengkonseptualisasikan apa artinya dalam kasus berkelanjutan. Halaman wiki menyatakan sebagai berikut:
Distribusi probabilitas peristiwa, ditambah dengan jumlah informasi setiap peristiwa, membentuk variabel acak yang nilainya diharapkan adalah jumlah rata-rata informasi, atau entropi, yang dihasilkan oleh distribusi ini.
Jadi jika saya menghitung entropi yang terkait dengan distribusi probabilitas yang kontinu, apa yang sebenarnya saya katakan? Mereka memberikan contoh tentang membalik koin, jadi kasing, tetapi jika ada cara intuitif untuk menjelaskan melalui contoh seperti itu dalam kasing kontinu, itu akan bagus!
Jika ini membantu, definisi entropi untuk variabel acak kontinu adalah sebagai berikut:
mana P ( x ) adalah fungsi distribusi probabilitas.
Untuk mencoba dan membuat ini lebih konkret, pertimbangkan kasus , kemudian, menurut Wikipedia , entropinya adalah
Dan sekarang kita telah menghitung entropi untuk distribusi kontinu (distribusi Gamma) dan jadi jika saya sekarang mengevaluasi ungkapan itu, , diberikan α dan β , apa yang sebenarnya kuantitas katakan kepada saya?
Jawaban:
Entropi memberi tahu Anda seberapa banyak ketidakpastian dalam sistem. Katakanlah Anda sedang mencari kucing, dan Anda tahu bahwa itu ada di suatu tempat antara rumah Anda dan tetangga, yang berjarak 1,6 km. Anak-anak Anda memberi tahu Anda bahwa kemungkinan kucing berada pada jarak dari rumah Anda digambarkan paling baik oleh distribusi beta f ( x ; 2 , 2 ) . Jadi kucing bisa di mana saja antara 0 dan 1, tetapi lebih cenderung berada di tengah, yaitu x m a x = 1 / 2 .x f(x;2,2) xmax=1/2
Mari kita tancapkan distribusi beta ke persamaan Anda, maka Anda mendapatkan .H=−0.125
Selanjutnya, Anda bertanya kepada istri Anda dan dia memberi tahu Anda bahwa distribusi terbaik untuk menggambarkan pengetahuannya tentang kucing Anda adalah distribusi yang seragam. Jika Anda tancapkan ke persamaan entropi Anda, Anda mendapatkan .H=0
Distribusi seragam dan beta memungkinkan kucing berada di antara 0 dan 1 mil dari rumah Anda, tetapi ada lebih banyak ketidakpastian dalam seragam, karena istri Anda benar-benar tidak tahu di mana kucing itu bersembunyi, sementara anak-anak punya ide , mereka pikir itu lebih kemungkinan berada di suatu tempat di tengah. Itu sebabnya entropi Beta lebih rendah dari Uniform.
Anda dapat mencoba distro lain, mungkin tetangga Anda memberitahu Anda kucing suka berada di dekat salah satu rumah, sehingga distribusi beta-nya dengan . H- nya harus lebih rendah daripada yang seragam lagi, karena Anda mendapat ide tentang di mana mencari kucing. Tebak apakah entropi informasi tetangga Anda lebih tinggi atau lebih rendah daripada anak-anak Anda? Saya akan bertaruh pada anak-anak setiap hari tentang masalah ini.α=β=1/2 H
MEMPERBARUI:
Bagaimana cara kerjanya? Salah satu cara untuk memikirkan ini adalah mulai dengan distribusi yang seragam. Jika Anda setuju bahwa itu adalah yang paling tidak pasti, maka pikirkan untuk mengganggunya. Mari kita lihat kasus diskrit untuk kesederhanaan. Ambil dari satu titik dan tambahkan ke yang lain seperti berikut: p ′ i = p - Δ p p ′ j = p + Δ pΔp
sumber
Saya ingin menambahkan jawaban langsung untuk pertanyaan ini:
sumber