Biarkan , dan menjadi densitas dan anggap Anda memiliki , . Apa yang terjadi dengan rasio kemungkinan sebagai ? (Apakah itu bertemu? Untuk apa?)
Sebagai contoh, kita dapat mengasumsikan . Kasus umum juga menarik.
convergence
asymptotics
likelihood-ratio
Olivier
sumber
sumber
Jawaban:
Jika seseorang menggunakan logaritma produk ini, dan mengubahnya menjadi rata-rata hukum bilangan besar berlaku, maka seseorang mendapat konvergensi yang hampir pasti mengasumsikan integral ini didefinisikan dengan baik [contoh counter mudah didapat].ˉ r n=1
Sebagai contoh, jika , , dan adalah kepadatan untuk distribusi Normal dengan rata-rata , , dan nol, masing-masing, semua dengan varian satu, nilai adalah g h μ 1 μ 2 ∫ X log f ( x )f g h μ1 μ2 ∫ X { ( x - μ 1 ) 2 - ( x - μ 2 2 ) }
Perhatikan juga bahwa, tanpa rata-rata, produk hampir pasti menyatu menjadi nol (ketika ) . Sementara produk hampir pasti konvergen ke nol atau tak terhingga tergantung pada apakah atau lebih dekat ke dalam arti divergensi Kullback-Leibler (ketika ). xi∼h(x)
sumber
Biarkan . Pertimbangkan kuantitas Dengan Hukum Kuat Bilangan Besar,Zn=∏nip(x)q(x) Wn=1nlog(Zn)=1n∑inlog(p(x)q(x)) limn→∞Wn=Eq(x)[log(p(x)q(x))]=∫Xlog(p(x)q(x))q(x)dx
Karena dan itu ,log(a)<a−1 ∀a>0 a≠1 p(x)q(x)>0 p(x)≠q(x)
sumber