Bagaimana log (p (x, y)) menormalkan informasi mutual point-wise?

Saya mencoba memahami bentuk normal dari informasi timbal balik yang bijaksana.

$npmi = \frac{pmi(x,y)}{log(p(x,y))}$

Mengapa probabilitas log joint menormalkan informasi mutual pointwise antara [-1, 1]?

Informasi timbal balik yang bijak adalah:

$pmi = log(\frac{p(x,y)}{p(x)p(y)})$

p (x, y) dibatasi oleh [0, 1] jadi log (p (x, y)) dibatasi oleh (, 0]. Sepertinya log (p (x, y)) entah bagaimana harus menyeimbangkan perubahan dalam pembilangnya, tapi saya tidak mengerti persis bagaimana caranya. Ini juga mengingatkan saya pada entropi , tapi sekali lagi saya tidak mengerti hubungan yang tepat.$h=-log(p(x))$

Dari entri Wikipedia tentang informasi timbal balik yang bijaksana :

Informasi timbal balik yang tajam dapat dinormalisasi antara [-1, + 1] yang menghasilkan -1 (dalam batas) untuk tidak pernah terjadi bersama-sama, 0 untuk kemandirian, dan +1 untuk co-kejadian lengkap.

Mengapa itu terjadi? Nah, definisi untuk informasi timbal balik pointwise adalah

$$pmi \equiv \log \left[ \frac{p(x,y)}{p(x)p(y)} \right] = \log p(x,y) - \log p(x) - \log p(y),$$

sedangkan untuk informasi mutual pointwise yang dinormalisasi adalah:

$$npmi \equiv \frac{pmi}{-\log p(x,y)} = \frac{\log[ p(x) p(y)]}{\log p(x,y)} - 1.$$

Kapan ada:

• tidak ada kejadian bersama, , jadi nmpi adalah -1,$\log p(x,y)\to -\infty$
• kejadian bersama secara acak, , jadi nmpi adalah 0,$\log p(x,y)= \log[p(x) p(y)]$
• selesaikan kejadian bersama, , jadi nmpi adalah 1.$\log p(x,y)= \log p(x) = \log p(y)$

Sementara jawaban Piotr Migdal informatif dalam memberikan contoh-contoh di mana nmpi mencapai tiga nilai ekstrem, itu tidak membuktikannya pada interval . Inilah ketimpangan dan turunannya. as untuk setiap peristiwa . Membagi kedua sisi dengan non-negatif , kita memiliki $[-1,1]$

$$\begin{align} &\log\,p(x,y) \\ \le&\log\,p(x,y))-\log\,p(x)-\log\,p(y) \\ =&\log \frac{p(x,y)}{p(x)p(y)}=:\text{pmi}(x;y) \\ =&\log\, p(y|x)+\log\, p(y|x)-\log\,p(x,y) \\ \le&-\log\,p(x,y) \end{align}$$ $-\log\,p(A)\ge0$$A$$h(x,y):=-\log\,p(x,y)$ $$-1\le\text{nmpi}(x;y):=\frac{\text{mpi(x;y)}}{h(x,y)}\le1.$$