Apa yang terjadi pada rasio kemungkinan karena semakin banyak data yang dikumpulkan?

11

Biarkan , dan menjadi densitas dan anggap Anda memiliki , . Apa yang terjadi dengan rasio kemungkinan sebagai ? (Apakah itu bertemu? Untuk apa?)fghxihiN

i=1nf(xi)g(xi)
n

Sebagai contoh, kita dapat mengasumsikan . Kasus umum juga menarik.h=g

Olivier
sumber
4
@ Xi'an. Saya pikir menambahkan pertanyaan ini ke SE memungkinkan koneksi untuk ditarik ke pertanyaan dalam jawaban. Meskipun mungkin ada kesamaan jawaban, pertanyaannya tidak sama.
John
1
Terima kasih untuk tautannya. Pertanyaannya bukan duplikat, meskipun jawaban atas pertanyaan saya mungkin melibatkan perbedaan Kullback-Leibler.
Olivier

Jawaban:

15

Jika seseorang menggunakan logaritma produk ini, dan mengubahnya menjadi rata-rata hukum bilangan besar berlaku, maka seseorang mendapat konvergensi yang hampir pasti mengasumsikan integral ini didefinisikan dengan baik [contoh counter mudah didapat].ˉ r n=1

r=logi=1nf(xi)g(xi)=i=1nlogf(xi)g(xi)
ˉ r n a.s. Eh[logf(X)
r¯n=1ni=1nlogf(xi)g(xi)
r¯na.s.Eh[logf(X)g(X)]=Xlogf(x)g(x)h(x)dx

Sebagai contoh, jika , , dan adalah kepadatan untuk distribusi Normal dengan rata-rata , , dan nol, masing-masing, semua dengan varian satu, nilai adalah g h μ 1 μ 2 X log f ( x )fghμ1μ2X { ( x - μ 1 ) 2 - ( x - μ 2 2 ) }

Xlogf(x)g(x)h(x)dx
X{(xμ1)2(xμ22)}φ(x)dx=μ12μ22.

Perhatikan juga bahwa, tanpa rata-rata, produk hampir pasti menyatu menjadi nol (ketika ) . Sementara produk hampir pasti konvergen ke nol atau tak terhingga tergantung pada apakah atau lebih dekat ke dalam arti divergensi Kullback-Leibler (ketika ). xih(x)

i=1nf(xi)h(xi)
xih(x) gfhxih(x)
i=1nf(xi)g(xi)
gfhxih(x)
Xi'an
sumber
Bisakah Anda menyimpulkan jawaban? Apakah integral terakhir bukan nol (misalnya kapan )? g=h
Olivier
1
Kenapa harus nol? Jika itu nol; jika dan itu positif. Dan jika dan itu negatif. Bisa juga nol untuk , , dan jika dan berada pada jarak yang sama dari . f = h g h g = h f h f h f g g h f g hf=gf=hghg=hfhfhfgghfgh
Xi'an
Apa maksudmu pada jarak yang sama dari ? Bisakah Anda menguraikan? Jawaban Anda menarik tetapi tidak (belum) langsung menjawab pertanyaan. h
Olivier
1
Pertanyaan utama. Karena , itu adalah tanda integral terakhir yang menentukan perilaku asimptotik dari rasio. r=nrn
Olivier
0

Biarkan . Pertimbangkan kuantitas Dengan Hukum Kuat Bilangan Besar, Zn=inp(x)q(x)

Wn=1nlog(Zn)=1ninlog(p(x)q(x))
limnWn=Eq(x)[log(p(x)q(x))]=Xlog(p(x)q(x))q(x)dx

Karena dan itu ,log(a)<a1 a>0 a1p(x)q(x)>0p(x)q(x)

WnXlog(p(x)q(x))q(x)dx<X(p(x)q(x)1)q(x)dx=Xp(x)dxXq(x)dx=11=0
Ini memberi kita
limnWn<0limn1nlog(Zn)<0limnn1nlog(Zn)=limnlog(Zn)=limnZn=0 

bgao
sumber