Teorema batas pusat teorema informasi

Bentuk paling sederhana dari teori informasi CLT adalah sebagai berikut:

Biarkan menjadi iid dengan mean dan varians 1 . Biarkan f_n menjadi kepadatan jumlah normal \ frac {\ sum_ {i = 1} ^ n X_i} {\ sqrt {n}} dan \ phi menjadi kepadatan Gaussian standar. Maka teori informasi CLT menyatakan bahwa, jika D (f_n \ | \ phi) = \ int f_n \ log (f_n / \ phi) dx terbatas untuk beberapa n , maka D (f_n \ | \ phi) \ ke 0 sebagai n \ hingga \ infty .0 $X_1, X_2,\dots$$0$$1$Σ n i = 1 X $f_n$$\frac{\sum_{i=1}^n X_i}{\sqrt{n}}$$\phi$$D(f_n\|\phi)=\int f_n \log(f_n/\phi) dx$$n$$D(f_n\|\phi)\to 0$$n\to \infty$

Tentu saja konvergensi ini, dalam arti tertentu, "lebih kuat" daripada konvergensi yang baik dalam literatur, konvergensi dalam distribusi dan konvergensi dalam $L_1$ metrik, berkat ketidaksetaraan Pinsker $\left(\int |f_n-\phi|\right)^2\le 2\cdot \int f_n \log(f_n/\phi)$ . Artinya, konvergensi dalam KL-divergence menyiratkan konvergensi dalam distribusi dan konvergensi dalam jarak $L_1$ .

Saya ingin tahu dua hal.

1. Apa yang hebat tentang hasil $D(f_n\|\phi)\to 0$ ?

2. Apakah hanya karena alasan yang disebutkan dalam paragraf ketiga kita mengatakan konvergensi dalam KL-divergence ( yaitu , $D(f_n\|\phi)\to 0$ ) lebih kuat?

NB: Saya menanyakan pertanyaan ini beberapa waktu lalu di math.stackexchange di mana saya tidak mendapatkan jawaban.

Satu hal yang hebat dengan teorema ini adalah ia menyarankan teorema limit dalam beberapa pengaturan di mana teorema limit pusat biasa tidak berlaku. Misalnya, dalam situasi di mana distribusi entropi maksimum adalah beberapa distribusi nonnormal, seperti untuk distribusi pada lingkaran, ini menunjukkan konvergensi ke distribusi yang seragam.

Setelah melihat sekeliling, saya tidak dapat menemukan contoh konvergensi dalam distribusi tanpa konvergensi dalam entropi relatif, jadi ini sulit untuk mengukur "kebesaran" hasil itu.

Bagi saya, sepertinya hasil ini hanya menggambarkan entropi relatif produk konvolusi. Ini sering dipandang sebagai interpretasi alternatif dan kerangka kerja bukti dari Teorema Limit Sentral, dan saya tidak yakin itu memiliki implikasi langsung dalam teori probabilitas (meskipun dalam teori informasi).

Dari Teori Informasi dan Teorema Limit Pusat (halaman 19).

Hukum Kedua Termodinamika menyatakan bahwa entropi termodinamika selalu meningkat seiring waktu, menyiratkan semacam konvergensi dengan keadaan Gibbs. Konservasi energi berarti bahwa tetap konstan selama evolusi waktu ini, sehingga kita dapat mengetahui dari awal negara Gibbs mana yang akan menjadi batasnya. Kami akan menganggap Teorema Limit Pusat dengan cara yang sama, dengan menunjukkan bahwa entropi informasi-teoretis meningkat secara maksimal ketika kita mengambil konvolusi, menyiratkan konvergensi ke Gaussian. Normalisasi dengan tepat berarti bahwa varians tetap konstan selama konvolusi sehingga kita dapat mengetahui dari awal Gaussian mana yang akan menjadi batasnya.$E$

$D(f_n\|\phi)\rightarrow 0$ memastikan bahwa tidak ada "jarak" antara distribusi jumlah variabel acak dan kepadatan gaussian sebagai hanya karena definisi KL divergence, jadi itu buktinya diri. Mungkin saya salah mengerti pertanyaan Anda.$n\rightarrow\infty$

Tentang poin kedua saat Anda menunjuk, itu merespons dalam paragraf Anda.