Perbedaan antara jarak Bhattacharyya dan divergensi KL

33

Saya mencari penjelasan intuitif untuk pertanyaan berikut:

Dalam teori statistik dan informasi, apa perbedaan antara jarak Bhattacharyya dan divergensi KL, sebagai ukuran perbedaan antara dua distribusi probabilitas diskrit?

Apakah mereka sama sekali tidak memiliki hubungan dan mengukur jarak antara dua distribusi probabilitas dengan cara yang sama sekali berbeda?

JewelSue
sumber

Jawaban:

36

The Koefisien Bhattacharyya didefinisikan sebagai dan dapat berubah menjadi jarak sebagai yang disebut jarak Hellinger . Sambungan antara jarak Hellinger ini dan divergensi Kullback-Leibler adalah

DB(p,q)=p(x)q(x)dx
dH(p,q)
dH(p,q)={1DB(p,q)}1/2
dKL(pq)2dH2(p,q)=2{1DB(p,q)}.

Namun, ini bukan pertanyaan: jika jarak Bhattacharyya didefinisikan sebagai

dB(p,q)=deflogDB(p,q),
lalu
dB(p,q)=logDB(p,q)=logp(x)q(x)dx=deflogh(x)dx=logh(x)p(x)p(x)dxlog{h(x)p(x)}p(x)dx=12log{h2(x)p2(x)}p(x)dx=12log{q(x)p(x)}p(x)dx=12dKL(pq)
Oleh karena itu, ketidaksetaraan antara kedua jarak tersebut adalah
dKL(pq)2dB(p,q).
Orang kemudian dapat bertanya-tanya apakah ketidaksetaraan ini mengikuti dari yang pertama. Kebalikannya adalah: karena
log(x)1x0x1,
masukkan deskripsi gambar di sini

kami memiliki pemesanan lengkap

dKL(pq)2dB(p,q)2dH(p,q)2.
Xi'an
sumber
2
Cemerlang! Penjelasan ini harus saya cari dengan penuh semangat. Hanya satu pertanyaan terakhir: dalam hal apa (atau P dan Q) apa yang akan menyebabkan ketimpangan?
Perhiasan
1
Mengingat bahwa fungsi benar-benar cembung, saya akan menganggap satu-satunya kasus untuk kesetaraan adalah ketika rasio konstan dalam . log()p(x)/q(x)x
Xi'an
5
Dan satu-satunya kasus ketika adalah konstan dalam adalah ketika . p(x)/q(x)xp=q
Xi'an
8

Saya tidak tahu ada hubungan eksplisit antara keduanya, tetapi memutuskan untuk menyodok mereka untuk melihat apa yang bisa saya temukan. Jadi ini bukan jawaban yang banyak, tetapi lebih merupakan hal yang menarik.

Untuk kesederhanaan, mari kita garap distribusi diskrit. Kita dapat menulis jarak BC sebagai

dBC(p,q)=lnx(p(x)q(x))12

dan perbedaan KL sebagai

dKL(p,q)=xp(x)lnp(x)q(x)

Sekarang kita tidak bisa mendorong log di dalam jumlah pada jarak , jadi mari kita coba menarik log ke luar divergensi :BCKL

dKL(p,q)=lnx(q(x)p(x))p(x)

Mari kita pertimbangkan perilaku mereka ketika ditetapkan sebagai distribusi yang seragam atas kemungkinan:pn

dKL(p,q)=lnnln(xq(x))1ndBC(p,q)=ln1nlnxq(x)

Di sebelah kiri, kita memiliki log dari sesuatu yang mirip dalam bentuk dengan rata- rata geometrik . Di sebelah kanan, kami memiliki sesuatu yang mirip dengan log dari mean aritmatika . Seperti yang saya katakan, ini bukan jawaban, tapi saya pikir ini memberikan intuisi yang rapi tentang bagaimana jarak BC dan divergensi KL bereaksi terhadap penyimpangan antara dan .pq

Andy Jones
sumber