Perolehan informasi, informasi timbal balik, dan tindakan terkait

33

Andrew More mendefinisikan perolehan informasi sebagai:

$IG(Y|X) = H(Y) - H(Y|X)$

di mana adalah entropi bersyarat . Namun, Wikipedia menyebut informasi timbal balik kuantitas di atas . $H(Y|X)$

Wikipedia di sisi lain mendefinisikan perolehan informasi sebagai divergensi Kullback-Leibler (alias divergensi informasi atau entropi relatif) antara dua variabel acak:

$D_{KL}(P||Q) = H(P,Q) - H(P)$

di mana didefinisikan sebagai entropi silang . $H(P,Q)$

Kedua definisi ini tampaknya tidak konsisten satu sama lain.

Saya juga melihat penulis lain berbicara tentang dua konsep terkait tambahan, yaitu entropi diferensial dan perolehan informasi relatif.

Apa definisi atau hubungan yang tepat antara jumlah-jumlah ini? Apakah ada buku teks yang bagus yang mencakup semuanya?

Keuntungan informasi
Informasi timbal balik
Entropi silang
Entropi bersyarat
Entropi diferensial
Perolehan informasi relatif

information-theory Amelio Vazquez-Reina
sumber

2

Untuk lebih menambah kebingungan, perhatikan bahwa notasi yang Anda gunakan untuk cross entropy juga notasi yang sama digunakan untuk entropi bersama. Saya telah menggunakan untuk cross-entropy untuk menghindari membingungkan diri sendiri, tapi itu untuk keuntungan saya dan saya belum pernah melihat notasi itu di tempat lain.

H^{x} (P, Q)

$H^x(P, Q)$

Michael McGowan

24

Saya pikir bahwa menyebut divergensi Kullback-Leibler "perolehan informasi" adalah tidak standar.

Definisi pertama adalah standar.

EDIT: Namun, juga dapat disebut saling informasi. $H(Y)−H(Y|X)$

Perhatikan bahwa saya tidak berpikir Anda akan menemukan disiplin ilmu yang benar-benar memiliki skema penamaan standar, tepat, dan konsisten. Jadi, Anda harus selalu melihat formula, karena umumnya akan memberi Anda ide yang lebih baik.

Buku teks: lihat "Pengantar yang bagus ke berbagai jenis entropi" .

Juga: Cosma Shalizi: Metode dan Teknik Ilmu Sistem Kompleks: Tinjauan, bab 1 (hlm. 33--114) dalam Thomas S. Deisboeck dan J. Yasha Kresh (eds.), Ilmu Sistem Kompleks di Biomedicine http: // arxiv.org/abs/nlin.AO/0307015

Robert M. Gray: Teori Entropi dan Informasi http://ee.stanford.edu/~gray/it.html

David MacKay: Teori Informasi, Inferensi, dan Algoritma Pembelajaran http://www.inference.phy.cam.ac.uk/mackay/itila/book.html

juga, "Apa itu" entropi dan perolehan informasi "?"

serigala
sumber

Terima kasih @ serigala. Saya cenderung menerima jawaban ini. Jika definisi pertama adalah standar, bagaimana Anda mendefinisikan informasi timbal balik?

Amelio Vazquez-Reina

2

Maaf. kuantitas pertama, juga sering disebut saling informasi. Itu adalah kasus penamaan yang tidak konsisten. Seperti yang saya katakan, saya tidak berpikir ada korespondensi konsep dan nama yang konsisten, tidak ambigu, satu-ke-satu. Misalnya, "informasi timbal balik" atau "perolehan informasi" adalah kasus khusus perbedaan KL, sehingga artikel wikipedia tidak terlalu jauh.

I G (Y | X) = H (Y) - H (Y | X)

$IG(Y|X)=H(Y)−H(Y|X)$

wolf.rauch

4

Kullback-Leiber Divergence antara dan sama dengan informasi timbal balik, yang dapat dengan mudah diturunkan: $p(X,Y)$ $P(X)P(Y)$

\begin{aligned} I (X; Y) & = H (Y) - H (Y ∣ X) \\ = - \sum_{y} p (y) \log p (y) + \sum_{x, y} p (x) p (y ∣ x) \log p (y ∣ x) \\ = \sum_{x, y} p (x, y) \log p (y ∣ x) - \sum_{y} (\sum_{x} p (x, y)) \log p (y) \\ = \sum_{x, y} p (x, y) \log p (y ∣ x) - \sum_{x, y} p (x, y) \log p (y) \\ = \sum_{x, y} p (x, y) \log \frac{p (y ∣ x)}{p (y)} \\ = \sum_{x, y} p (x, y) \log \frac{p (y ∣ x) p (x)}{p (y) p (x)} \\ = \sum_{x, y} p (x, y) \log \frac{p (x, y)}{p (y) p (x)} \\ = D_{K L} (P (X, Y) ∣∣ P (X) P (Y)) \end{aligned}

$\begin{align} I(X; Y) &= H(Y) - H(Y \mid X)\\ &= - \sum_y p(y) \log p(y) + \sum_{x,y} p(x) p(y\mid x) \log p(y\mid x)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{y} \left(\sum_{x}p(x,y)\right) \log p(y)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{x,y}p(x, y) \log p(y)\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)}{p(y)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)p(x)}{p(y)p(x)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(x, y)}{p(y)p(x)}\\ &= \mathcal D_{KL} (P(X,Y)\mid\mid P(X)P(Y)) \end{align}$

Catatan: $p(y) = \sum_x p(x,y)$

chris elgoog
sumber

1

Informasi timbal balik dapat didefinisikan menggunakan Kullback-Liebler sebagai

\begin{aligned} I (X; Y) = D_{K L} (p (x, y) | | p (x) p (y)) . \end{aligned}

$\begin{align*} I(X;Y) = D_{KL}(p(x,y)||p(x)p(y)). \end{align*}$

ya
sumber

1

Mengekstraksi informasi timbal balik dari dataset tekstual sebagai fitur untuk melatih model pembelajaran mesin: (tugasnya adalah untuk memprediksi usia, jenis kelamin dan kepribadian blogger)

Krebto
sumber

1

Kedua definisi itu benar, dan konsisten. Saya tidak yakin apa yang Anda temukan tidak jelas karena Anda menunjukkan beberapa poin yang mungkin perlu klarifikasi.

Pertama : adalah semua nama yang berbeda untuk hal yang sama. Dalam konteks yang berbeda, salah satu nama ini mungkin lebih disukai, saya akan menyebutnya di sini Informasi . $MI_{Mutual Information}\equiv$ $IG_{InformationGain}\equiv I_{Information}$

The kedua titik adalah hubungan antara perbedaan Kullback-Leibler - , dan Informasi . Divergensi Kullback-Leibler hanyalah ukuran ketidaksamaan antara dua distribusi. The Informasi dapat didefinisikan dalam hal ini distribusi ketidaksamaan (lihat Yters' respon). Jadi informasi adalah kasus khusus , di mana diterapkan untuk mengukur perbedaan antara distribusi gabungan aktual dari dua variabel (yang menangkap ketergantungan mereka ) dan distribusi gabungan hipotetis dari variabel yang sama, apakah mereka harus menjadi mandiri . Kami menyebutnya kuantitas itu $D_{KL}$ $K_{LD}$ $K_{LD}$ Informasi .

The ketiga titik untuk mengklarifikasi tidak konsisten, meskipun standar notasi yang digunakan, yaitu bahwa adalah baik notasi untuk Joint entropi dan Cross-entropi juga. $\operatorname{H} (X,Y)$

Jadi, misalnya, dalam definisi Informasi : di kedua baris terakhir, adalah entropi bersama . Ini mungkin tampak tidak konsisten dengan definisi di halaman Informasi gain : tetapi Anda tidak gagal untuk mengutip klarifikasi penting - digunakan di sana sebagai salib

\begin{aligned} I (X; Y) & \equiv H (X) - H (X | Y) \\ \equiv H (Y) - H (Y | X) \\ \equiv H (X) + H (Y) - H (X, Y) \\ \equiv H (X, Y) - H (X | Y) - H (Y | X) \end{aligned}

$\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X|Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y|X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X|Y)-\mathrm {H} (Y|X)\end{aligned}$

H (X, Y)

$\operatorname{H}(X,Y)$

D K L (P | | Q) = H (P, Q) - H (P)

$DKL(P||Q)=H(P,Q)−H(P)$

H (P, Q)

$\operatorname{H}(P,Q)$ -entropy (seperti halnya juga di halaman lintas entropi ).

Joint -entropy dan Cross -entropy TIDAK sama.

Lihat ini dan ini di mana notasi ambigu ini dibahas dan notasi unik untuk lintas-entropi ditawarkan - $H_q(p)$

Saya berharap notasi ini diterima dan halaman wiki diperbarui.

אלימלך שרייבר
sumber

bertanya-tanya mengapa persamaan tidak ditampilkan dengan benar ..

Shaohua Li

Perolehan informasi, informasi timbal balik, dan tindakan terkait

Jawaban: