Apakah distribusi entropi maksimum konsisten dengan distribusi marjinal yang diberikan distribusi produk dari marjinal?

9

Umumnya ada banyak distribusi gabungan konsisten dengan set distribusi marginal yang diketahui .P(X1=x1,X2=x2,...,Xn=xn)fi(xi)=P(Xi=xi)

Dari distribusi gabungan ini, apakah produk dibentuk dengan mengambil produk dari marginal yang dengan entropi tertinggi?ifi(xi)

Saya yakin ini benar, tetapi saya sangat ingin melihat bukti.

Saya paling tertarik pada kasus di mana semua variabel diskrit, tetapi juga tertarik pada komentar tentang entropi relatif terhadap ukuran produk dalam kasus kontinu.

Wnoise
sumber

Jawaban:

7

Salah satu caranya adalah dengan menggunakan properti divergensi Kullback-Leibler .

Biarkan menjadi keluarga distribusi dengan margin yang diberikan, dan biarkan menjadi distribusi produk (dan jelas ).PQQP

Sekarang, untuk setiap , entropi silang adalah:PP

H(P,Q)=EP[logq(X)]=EP[logiqi(X)]=iEP[logqi(X)]=iH(Pi,Qi)

yaitu, jumlah entropi silang dari margin. Karena semua margin telah diperbaiki, istilah ini harus diperbaiki

Sekarang kita dapat menulis divergensi KL sebagai:

DKL(PQ)=H(P,Q)H(P)

dan karenanya:

argminPP DKL(PQ)=argmaxPP H(P)

yaitu, distribusi yang memaksimalkan entropi adalah distribusi yang meminimalkan divergensi KL dengan , yang oleh properti KL divergensi , kita tahu adalah itu sendiri.PQQ

Simon Byrne
sumber