Bisakah informasi timbal balik mendapatkan nilai lebih dari 1

Saya memiliki keraguan yang sangat mendasar. Maaf jika ini mengganggu sedikit. Saya tahu bahwa nilai Mutual Information harus lebih besar dari 0, tetapi haruskah itu kurang dari 1? Apakah dibatasi oleh nilai tertinggi?

Terima kasih, Amit.

information-theory mutual-information Amit
sumber

Jawaban:

Ya, memang memiliki batas atas, tetapi tidak 1.

The informasi timbal balik (dalam bit) adalah 1 ketika dua pihak (statistik) satu saham sedikit informasi. Namun, mereka dapat berbagi data besar yang sewenang-wenang. Khususnya, jika mereka berbagi 2 bit, maka itu adalah 2.

$I(X,Y) \leq \min \left[ H(X), H(Y) \right]$

Piotr Migdal
sumber

Jika dua pihak adalah variabel biner yaitu masing-masing hanya memiliki dua hasil yang mungkin {0,1} , maka entropi maks keluar pada ketika dan . Dengan demikian, informasi timbal balik maksimum untuk dua variabel biner adalah

X, Y

$X,Y$

H (X), H (Y)

$H(X), H(Y)$

1

$1$

P (X) = 0.5

$P(X)=0.5$

P (Y) = 0.5

$P(Y)=0.5$

1

$1$

Akseli Palén