Apakah entropi diferensial selalu kurang dari tak terbatas?

Untuk variabel acak kontinu acak, katakanlah $X$ , apakah entropi diferensialnya selalu kurang dari $\infty$ ? (Tidak apa-apa jika $-\infty$ .) Jika tidak, kondisi apa yang perlu dan cukup untuk kurang dari $\infty$ ?

entropy information-theory maximum-entropy syeh_106
sumber

Apakah Anda mencoba contoh? Seperti, distribusi seragam pada interval panjang

L

$L$ ?

Piotr Migdal

Memang, entropi diferensial dari distribusi seragam (pada interval berhingga apa pun) selalu terbatas, yaitu log (L), karenanya dibatasi. Bahkan, saya dapat mengidentifikasi 2 kelas distribusi kontinu yang entropinya selalu dibatasi - (1) distribusi mana pun yang dukungannya terkandung dalam interval terbatas, dan (2) distribusi apa pun yang momen ke-2nya terbatas. Yang pertama dibatasi oleh distribusi seragam; sedangkan yang terakhir dibatasi oleh distribusi Gaussian.

syeh_106

Bahkan, saya juga dapat membangun distribusi dengan momen ke-2 yang tak terbatas dan masih memiliki entropi yang terbatas. Sebagai contoh, pertimbangkan f (x) = 3 / (x ^ 2), x> 3. Jelas E [X ^ 2] tidak terbatas, tetapi h (X) ~ = -3.1 nats. Namun, saya belum dapat mengkonfirmasi apakah ini benar untuk variabel acak kontinu acak, atau membuat contoh balasan untuk membantahnya. Saya benar-benar menghargai jika seseorang dapat menunjukkan ini.

syeh_106

Terima kasih atas komentar Anda & tautannya, Piotr. Kebetulan, saya juga memeriksa salah satu materi kuliah saya dan menemukan contoh yang sama persis dari variabel acak diskrit dengan dukungan yang tak terhitung jumlahnya. Termotivasi oleh ini, tidak sulit untuk membangun analog kontinu. Jadi jawaban untuk pertanyaan pertama jelas. Saya akan meringkasnya di bawah ini untuk orang lain yang mungkin memiliki pertanyaan yang sama. BTW, saya perlu membuat koreksi dalam komentar ke-2 saya di atas, khususnya, untuk f (x) = 3 / (x ^ 2), h (X) harus positif, yaitu 3,1 nats.

syeh_106

Pertanyaan dan jawaban ini tidak jelas karena tidak menyatakan batas yang harus diterapkan. Jika

adalah RV, maka ia memiliki entropi, titik. Jika itu adalah RV terus menerus "sewenang-wenang", maka (jelas) tidak ada batas atas yang mungkin. Kendala apa yang ingin Anda terapkan pada

? Dari komentar dan jawaban Anda tampaknya Anda mungkin ingin memperbaiki dukungan

atau mungkin tidak? Mungkin Anda ingin membatasi

untuk variabel-variabel tersebut dengan batasan yang diberikan pada saat-saat tertentu? Mungkin Anda ingin

berada dalam keluarga parametrik - atau mungkin tidak? Harap edit pertanyaan ini untuk menjelaskan.

X

$X$

X

$X$

X

$X$

X

$X$

X

$X$

whuber

Jawaban:

Saya memikirkan pertanyaan ini lagi dan berhasil menemukan contoh tandingan, terima kasih juga atas komentar Piotr di atas. Jawaban untuk pertanyaan pertama adalah tidak - entropi diferensial dari variabel acak kontinu (RV) tidak selalu kurang dari . Misalnya, pertimbangkan RV X terus menerus yang pdf-nya adalah $\infty$ untuk.

f (x) = \frac{\log (2)}{x \log (x)^{2}}

$f(x) = \frac{\log(2)}{x \log(x)^2}$

x > 2

$x > 2$

Tidak sulit untuk memverifikasi bahwa entropi diferensialnya tidak terbatas. Tumbuh cukup lambat (sekitar logaritma).

Untuk pertanyaan ke-2, saya tidak mengetahui kondisi yang diperlukan dan cukup sederhana. Namun, satu jawaban parsial adalah sebagai berikut. Kategorikan RV berkelanjutan menjadi salah satu dari 3 Jenis berikut berdasarkan dukungannya, yaitu

Tipe 1: RV kontinu yang dukungannya dibatasi, yaitu terkandung dalam [a, b].
Tipe 2: RV kontinu yang dukungannya dibatasi setengah, yaitu terkandung dalam [a, ) atau ( , a] Tipe 3: RV kontinu yang dukungannya tidak terikat. $\infty$ $-\infty$

Maka kita memiliki yang berikut -

Untuk RV Tipe 1, entropinya selalu kurang dari , tanpa syarat. Untuk RV Tipe 2, entropinya kurang dari , jika rerata ( )nya terbatas. Untuk RV Tipe 3, entropinya kurang dari , jika variansnya ( ) terbatas. $\infty$
$\infty$ $\mu$
$\infty$ $\sigma^2$

Entropi diferensial dari tipe 1 RV adalah kurang dari distribusi yang sesuai seragam, yaitu , Tipe 2 RV, bahwa dari distribusi eksponensial, yaitu , dan RV Tipe 3, yang dari distribusi Gaussian, yaitu $log(b-a)$ $1+log(|\mu-a|)$ . $\frac{1}{2} log(2{\pi}e\sigma^2)$

Perhatikan bahwa untuk Tipe 2 atau 3 RV, kondisi di atas hanya kondisi yang cukup . Misalnya, pertimbangkan RV Tipe 2 dengan untuk. Jelas, rata-rata tidak terbatas, tetapi entropinya adalah 3,1 nats. Atau pertimbangkan RV Tipe 3 dengan

f (x) = \frac{3}{x^{2}}

$f(x) = \frac{3}{x^2}$

x > 3

$x > 3$

untuk

. Variansnya tidak terbatas, tetapi entropinya adalah 2,6 nats. Jadi alangkah baiknya, jika seseorang dapat memberikan jawaban yang lengkap atau lebih elegan untuk bagian ini.

f (x) = \frac{9}{| x |^{3}}

$f(x) = \frac{9}{|x|^3}$

| x | > 3

$|x| > 3$

syeh_106
sumber

⟨ x^{α} ⟩

$\langle x^\alpha \rangle$

α > 0

$\alpha>0$

Terima kasih, Piotr, atas saran tentang kebijakan SE. (Ya, saya jelas baru di sini.) Tentang saat-saat terbatas yang mengarah pada entropi terbatas, apakah Anda akan membagikan bukti Anda? Terima kasih!

syeh_106

@PiotrMigdal Saya berencana untuk meninggalkan jawaban untuk pertanyaan ini dalam keadaan saat ini setelah menambahkan sentuhan terakhir. Termotivasi oleh komentar Piotr di atas, saya mempertimbangkan jika hingga berarti menyebabkan entropi yang terbatas. Saya tidak bisa menyimpulkan ini secara umum. Apa yang saya temukan adalah bahwa memang benar jika dukungan RV setengah terikat. Silakan lihat jawaban yang direvisi di atas. Saya menantikan jawaban yang lebih baik dari seseorang suatu hari nanti.

syeh_106

"Tidak sulit untuk memverifikasi bahwa entropi diferensialnya tidak terbatas." Bisakah Anda menunjukkan cara memverifikasi ini? Tampaknya berlaku untuk integral Riemann, tetapi entropi diferensial berkaitan dengan ukuran Lebesgue. Saya mengalami masalah saat memverifikasi bahwa integral Lebesgue yang sesuai tidak bertemu.

cantorhead

X

$X$

E [X]

$\mathrm{E}[X]$

H (X) = \log (4 π)

$H(X)=\log(4\pi)$