Katakanlah kita memiliki fungsi sedemikian rupa sehingga dan adalah distribusi, yaitu, . ∀ x ∈ Z n 2f∑x∈Z n 2 f(x)=1
Entropi Shannon dari didefinisikan sebagai berikut: H ( f ) = - ∑ x ∈ Z n 2 f ( x ) log ( f ( x ) ) .
Biarkan menjadi konstan. Katakanlah kita mendapatkan versi -noisy dari , yaitu, kita mendapatkan fungsi sedemikian rupa sehingga untuk setiap . Apa efek dari kebisingan pada entropi? Yaitu, dapatkah kita mengikat dengan fungsi "wajar" dari dan , seperti: atau bahkan, untuk beberapa konstanta .ϵ f ( x ) ˜ f : Z n 2 → R | ˜ f ( x ) - f ( x ) | < ϵ x ∈ Z n 2 H ( ˜ f ) ϵ H ( f ) ( 1 - ϵ ) H ( f ) < H ( ˜ f ) < ( 1
Sunting: Mencoba untuk merasakan efek kebisingan pada entropi Shannon, aditif "wajar" apa pun yang terikat pada juga akan sangat menarik.