Buktikan bahwa distribusi entropi maksimum dengan matriks kovarians tetap adalah Gaussian

Saya mencoba untuk mendapatkan kepala saya di sekitar bukti berikut bahwa Gaussian memiliki entropi maksimum.

Bagaimana langkah berbintang itu masuk akal? Sebuah kovarians khusus hanya memperbaiki momen kedua. Apa yang terjadi pada momen ketiga, keempat, kelima dll?

Langkah yang berkilau bintangnya valid karena (a) dan q memiliki zeroth dan momen kedua yang sama dan (b) log ( p ) adalah fungsi polinomial dari komponen x yang istilahnya memiliki derajat total 0 atau 2 .$p$$q$$\log(p)$$\mathbf{x}$$0$$2$

---

Anda hanya perlu tahu dua hal tentang distribusi normal multivarian dengan mean nol:

1. $\log(p)$$\mathbf{x}=(x_1,x_2,\ldots,x_n)$ $C$$p_{ij}$

   $$\log(p(\mathbf{x}))=C + \sum_{i,j=1}^n p_{ij}\, x_i x_j.$$

   $C$$p_{ij}$$\Sigma$

2. $\Sigma$

   $$\Sigma_{ij}=E_p(x_i x_j) = \int p(\mathbf{x})\, x_ix_j\, d\mathbf{x}.$$

Kami dapat menggunakan informasi ini untuk menyusun integral:

$$\eqalign{ & &\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x} \\ &= &\int(q(\mathbf{x}) - p(\mathbf{x}))\left(C + \sum_{i,j=1}^n p_{ij}\, x_i x_j\right)d\mathbf{x}. }$$

Itu pecah menjadi jumlah dari dua bagian:

• $\int(q(x) - p(x))C\, d\mathbf{x} = C\left(\int q(\mathbf{x}) d\mathbf{x} - \int p(\mathbf{x}) d\mathbf{x}\right) = C(1 - 1) = 0$$q$$p$

• $\int(q(\mathbf{x}) - p(\mathbf{x})) \sum_{i,j=1}^n p_{ij}\, x_i x_jd\mathbf{x} = \sum_{i,j=1}^n p_{ij}\int(q(\mathbf{x}) - p(\mathbf{x}))x_i x_jd\mathbf{x} = 0$$\int q(\mathbf{x}) x_i x_jd\mathbf{x}$$\int p(\mathbf{x}) x_i x_jd\mathbf{x}$$\Sigma_{ij}$

$\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x}=0$$\int q(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x} = \int p(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x}.$

$q(x)$$p(x)$$\sigma_{ij}x_ix_j$$p(x)$$p(x)$$q(x)$