Saya mencari terikat pada entropi dari jumlah dari dua variabel acak diskrit independen X dan Y . Tentu, H ( X + Y ) ≤ H ( X ) + H ( Y ) ( * ) Namun, diterapkan dengan jumlah dari n independen Bernoulli variabel acak Z 1 , ... , Z n , ini memberikan H ( Z 1 +
Dengan kata lain, batas tumbuh secara linier dengan n ketika diterapkan berulang kali. Namun, Z 1 + ⋯ Z n didukung pada serangkaian ukuran n , sehingga entropinya paling banyak adalah log n . Bahkan, dengan teorema limit sentral, aku menduga bahwa H ( Z 1 + ⋯ + Z n ) ≈ ( 1 / 2 ) log
karena pada dasarnya didukung pada set ukuran √ .
Singkatnya, batas dilampaui oleh sedikit dalam situasi ini. Dari membaca dengan teliti posting blog ini , saya mengumpulkan segala macam batasan pada H ( X + Y ) adalah mungkin; apakah ada batasan yang memberikan asimptotik yang tepat (atau, paling tidak, asimptotik yang lebih masuk akal) ketika diterapkan berulang kali pada jumlah variabel acak Bernoulli?
it.information-theory
shannon-entropy
Robinson
sumber
sumber
Jawaban:
sumber
sumber
Mungkin Anda bisa menggunakan Persamaan:
Ini akan terlihat seperti istilah yang Anda sebutkan di komentar, sayangnya saya tidak tahu hasil tentang kardinalitas istilah negatif atau batasan wawasan pada mereka.
sumber