Bagaimana cara menghitung informasi timbal balik?

Saya sedikit bingung. Bisakah seseorang menjelaskan kepada saya bagaimana menghitung informasi timbal balik antara dua istilah berdasarkan matriks dokumen-jangka dengan kemunculan istilah biner sebagai bobot?

\begin{matrix} ^{'} W h y^{'} & ^{'} H Hai w^{'} & ^{'} W h e n^{'} & ^{'} W h e r e^{'} \\ D Hai c kamu m e n t 1 & 1 & 1 & 1 & 1 \\ D Hai c kamu m e n t 2 & 1 & 0 & 1 & 0 \\ D Hai c kamu m e n t 3 & 1 & 1 & 1 & 0 \end{matrix}

$\begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ Document2 & 1 & 0 & 1 & 0 \\ Document3 & 1 & 1 & 1 & 0 \end{matrix}$

saya (X; Y) = \sum_{y \in Y} \sum_{x \in X} hal (x, y) catatan (\frac{hal (x, y)}{hal (x) hal (y)})

$I(X;Y)= \sum_{y \in Y} \sum_{x \in X} p(x,y) \log\left(\frac{p(x,y)}{p(x)p(y)} \right)$

Terima kasih

python information-theory mutual-information numpy pandas pengguna18075
sumber

Apa itu

dan

X

$X$

Y

$Y$

Dilip Sarwate

X dan Y adalah istilah. X bisa jadi "Mengapa" dan Y bisa menjadi "Bagaimana".

user18075

Jawaban:

Bagaimana dengan membentuk tabel probabilitas gabungan yang menyimpan kejadian bersama yang dinormalisasi dalam dokumen. Kemudian Anda bisa mendapatkan entropi gabungan dan entropi marginal menggunakan tabel. Akhirnya,

saya (X, Y) = H (X) + H (Y) - H (X, Y) .

$I(X,Y) = H(X)+H(Y)-H(X,Y).$

Zoran
sumber

Ketika distribusi gabungan dan marjinal telah ditentukan, mengapa perlu untuk menghitung

dan

dan menggunakan rumus yang Anda perlihatkan? Tidak bisakah informasi timbal balik ditentukan secara langsung melalui formula yang diberikan oleh OP karena semua yang diperlukan untuk "mencolokkan", yaitu.

dan

diketahui pada titik ini?

H (X)

$H(X)$

H (Y)

$H(Y)$

H (X, Y)

$H(X,Y)$

p (x, y), p (x)

$p(x,y), p(x)$

p (y)

$p(y)$

Dilip Sarwate

rumus adalah setara kecuali yang terakhir bisa lebih bisa ditafsirkan pada pandangan pertama.

Zoran