Entropi Diferensial

13

Entropi diferensial dari Gaussian RV adalah . Ini tergantung padaσ, yang merupakan standar deviasi.log2(σ2πe)σ

Jika kita menormalkan variabel acak sehingga memiliki varians unit, tetesan diferensialnya turun. Bagi saya ini kontra-intuitif karena kompleksitas Kolmogorov dari normalisasi konstan harus sangat kecil dibandingkan dengan pengurangan entropi. Seseorang dapat dengan mudah membuat encoder decoder yang membagi / mengalikan dengan konstanta normalisasi untuk memulihkan setiap dataset yang dihasilkan oleh variabel acak ini.

Mungkin pemahaman saya tidak aktif. Bisakah Anda menunjukkan kekurangan saya?

Cagdas Ozgenc
sumber

Jawaban:

17

Saya akan coba ini, meskipun itu sedikit di atas kepala saya, jadi obati dengan taburan garam ...

Anda tidak salah. Saya pikir di mana eksperimen pikiran Anda jatuh adalah bahwa entropi diferensial bukanlah kasus entropi yang membatasi. Saya menduga bahwa karena ini, paralel antara itu dan kompleksitas Kolmogorov hilang.

Katakanlah kita memiliki diskrit variabel acak . Kita dapat menghitung entropi Shannon sebagai berikut dengan menjumlahkan semua nilai yang mungkin nya x i , H ( X ) = - Σ i P ( X = x i ) log ( P ( X = x i ) ) .Xxi

H(X)=iP(X=xi)log(P(X=xi)).

Sejauh ini sangat membosankan. Sekarang katakanlah adalah versi quantised dari variabel acak kontinu - katakanlah, kita memiliki fungsi kerapatan p ( ) yang menghasilkan sampel dari himpunan bilangan real, dan kami mengubahnya menjadi histogram. Kami akan memiliki histogram yang cukup baik sehingga fungsi kerapatan pada dasarnya linear. Dalam hal ini kita akan memiliki sesuatu yang entropi seperti ini, H ( X ) - i p ( X = x i ) δ x log ( p ( X =Xp() manaδxiadalah titik tengah masing-masing. Kami memiliki produk di dalam logaritma itu - mari kita pisahkan itu dan gunakan properti distribusi probabilitas penjumlahan ke 1 untuk memindahkannya ke luar penjumlahan, memberi kita H(X)-log ( δx ) -i p(X=xi)δxlog ( p(X=xi) ) .

H(X)ip(X=xi)δxlog(p(X=xi)δx),
δxadalah lebar tempat sampah histogram kami dan xi
H(X)log(δx)ip(X=xi)δxlog(p(X=xi)).

Jika kita mengambil batas, biarkan δxdx

H(X)=log(dx)xp(X=x)log(p(X=x))dx.

log(dx)

σ

δ

xp(X=x)log(p(X=x)q(X=x))dx
q(X)Xp(X)q(X)
Menepuk
sumber
Terima kasih. Itu sangat menarik. Saya tidak tahu ada semacam trik dalam teori itu.
Cagdas Ozgenc
1
Notasi sebenarnya tidak terlalu bermakna, tetapi kami dapat mengubah beberapa eksposisi Anda menjadi sesuatu yang sedikit lebih tepat. Memang jika kepadatan p ( x )log(dx)p(x)ip(xi)δxlogp(xi)h(X)δx0nh(X)+n
1
log(dx)
@Cagdas - Saya tidak tahu apakah saya akan menyebutnya gimmick. Itu hanya mengukur hal yang berbeda. Dan sebagaimana ditunjukkan kardinal, ia memiliki beberapa kegunaan. Adapun apakah itu akan rusak ketika diterapkan pada distribusi binominal, yah, tergantung bagaimana Anda akan menerapkannya :). Mungkin layak memulai topik baru jika Anda tidak yakin.
Pat
Saya pikir entropi jelas berbeda dari kompleksitas Kolmogorov ketika seseorang menganggap generator bilangan pseudo-acak.
James Bowery