Saya akan coba ini, meskipun itu sedikit di atas kepala saya, jadi obati dengan taburan garam ...
Anda tidak salah. Saya pikir di mana eksperimen pikiran Anda jatuh adalah bahwa entropi diferensial bukanlah kasus entropi yang membatasi. Saya menduga bahwa karena ini, paralel antara itu dan kompleksitas Kolmogorov hilang.
Katakanlah kita memiliki diskrit variabel acak . Kita dapat menghitung entropi Shannon sebagai berikut dengan menjumlahkan semua nilai yang mungkin nya x i ,
H ( X ) = - Σ i P ( X = x i ) log ( P ( X = x i ) ) .Xxsaya
H(X) = - ÂsayaP(X= xsaya) log( P(X= xsaya) ) .
Sejauh ini sangat membosankan. Sekarang katakanlah adalah versi quantised dari variabel acak kontinu - katakanlah, kita memiliki fungsi kerapatan p ( ) yang menghasilkan sampel dari himpunan bilangan real, dan kami mengubahnya menjadi histogram. Kami akan memiliki histogram yang cukup baik sehingga fungsi kerapatan pada dasarnya linear. Dalam hal ini kita akan memiliki sesuatu yang entropi seperti ini,
H ( X ) ≈ - ∑ i p ( X = x i ) δ x log ( p ( X =Xp ( )
manaδxiadalah titik tengah masing-masing. Kami memiliki produk di dalam logaritma itu - mari kita pisahkan itu dan gunakan properti distribusi probabilitas penjumlahan ke 1 untuk memindahkannya ke luar penjumlahan, memberi kita
H(X)≈-log ( δx ) - ∑ i p(X=xi)δxlog ( p(X=xi) ) .
H( X) ≈ - ∑sayap ( X= xsaya) δx log( p(X= xsaya) δx ) ,
δxadalah lebar tempat sampah histogram kami dan
xsayaH( X) ≈ - log( δx ) - Âsayap ( X= xsaya) δx log( p(X= xsaya) ) .
Jika kita mengambil batas, biarkan δx → dx
H( X) = - log( dx ) - ∫xp ( X= x ) log( p(X= x ) ) dx .
catatan( dx )
σ
δ
∫xp ( X= x ) log( p ( X= x )q( X= x )) dx
q( X)Xp ( X)q( X)