Misalkan saya memiliki dua set dan dan distribusi probabilitas gabungan atas set ini . Misalkan dan menunjukkan distribusi marginal lebih dari dan masing-masing.
Informasi timbal balik antara dan didefinisikan sebagai:
yaitu itu adalah nilai rata-rata dari pmi information mutual pointwise .
Misalkan saya tahu batas atas dan bawah pada pmi : yaitu saya tahu bahwa untuk semua yang berikut ini berlaku: -k \ leq \ log \ kiri (\ frac {p (x, y)} {p ( x) p (y)} \ kanan) \ leq k
Apa batas atas ini menyiratkan pada . Tentu saja itu menyiratkan , tapi saya ingin ikatan yang lebih ketat jika memungkinkan. Ini tampaknya masuk akal bagi saya karena p mendefinisikan distribusi probabilitas, dan pmi tidak dapat mengambil nilai maksimumnya (atau bahkan menjadi tidak negatif) untuk setiap nilai dan .
Jawaban:
Kontribusi saya terdiri dari contoh. Ini mengilustrasikan beberapa batasan tentang bagaimana informasi timbal balik dapat diberikan batasan pada informasi timbal balik pointwise.
Ambil dan untuk semua . Untuk setiap biarkan menjadi solusi untuk persamaan Kemudian kita menempatkan titik massa di titik di ruang produk sedemikian rupa sehingga ada dari titik-titik ini di setiap baris dan setiap kolom. (Ini dapat dilakukan dengan beberapa cara. Mulai, misalnya, dengan poin pertama di baris pertama dan kemudian isi baris yang tersisa dengan menggeserp ( x ) = 1 / n x ∈ X m ∈ { 1 , … , n / 2 } k > 0 m e k + ( n - m ) e - k = n . e k / n 2 … , n } 2X=Y={1,…,n} p(x)=1/n x∈X m∈{1,…,n/2} k>0
Dengan konstruksi jelas bahwa untuk semua , dan (setelah beberapa perhitungan) dengan informasi timbal balik berperilaku sebagai untuk dan sebagai untuk .pmi(x,y)∈{−k,k}, x,y∈{1,…,n}
sumber
Saya tidak yakin apakah ini yang Anda cari, karena sebagian besar aljabar dan tidak benar-benar memanfaatkan properti p sebagai distribusi probabilitas, tetapi di sini ada sesuatu yang bisa Anda coba.
Karena batasan pada pmi, jelas dan dengan demikian . Kita dapat mengganti di untuk mendapatkanp ( x , y)p ( x ) p ( y)≤ek p ( x , y) ≤ p ( x ) p ( y) ⋅ ek p ( x , y) saya( X; Y) saya( X; Y)≤∑x,yp(x)p(y)⋅ek⋅log(p(x)p(y)⋅ekp(x)p(y))=∑x,yp(x)p(y)⋅ek⋅k
Saya tidak yakin apakah itu membantu atau tidak.
EDIT: Setelah ditinjau lebih lanjut, saya yakin ini sebenarnya kurang bermanfaat daripada batas atas asli k. Saya tidak akan menghapus ini kalau-kalau itu mungkin mengisyaratkan pada titik awal.
sumber