The Koefisien Bhattacharyya didefinisikan sebagai dan dapat berubah menjadi jarak sebagai yang disebut jarak Hellinger . Sambungan antara jarak Hellinger ini dan divergensi Kullback-Leibler adalah
DB(p,q)=∫p(x)q(x)−−−−−−−√dx
dH(p,q)dH(p,q)={1−DB(p,q)}1/2
dKL(p∥q)≥2d2H(p,q)=2{1−DB(p,q)}.
Namun, ini bukan pertanyaan: jika jarak Bhattacharyya didefinisikan sebagai
dB(p,q)=def−logDB(p,q),
lalu
dB(p,q)=−logDB(p,q)=−log∫p(x)q(x)−−−−−−−√dx=def−log∫h(x)dx=−log∫h(x)p(x)p(x)dx≤∫−log{h(x)p(x)}p(x)dx=∫−12log{h2(x)p2(x)}p(x)dx=∫−12log{q(x)p(x)}p(x)dx=12dKL(p∥q)
Oleh karena itu, ketidaksetaraan antara kedua jarak tersebut adalah
dKL(p∥q)≥2dB(p,q).
Orang kemudian dapat bertanya-tanya apakah ketidaksetaraan ini mengikuti dari yang pertama. Kebalikannya adalah: karena
−log(x)≥1−x0≤x≤1,
kami memiliki pemesanan lengkap
dKL(p∥q)≥2dB(p,q)≥2dH(p,q)2.
Saya tidak tahu ada hubungan eksplisit antara keduanya, tetapi memutuskan untuk menyodok mereka untuk melihat apa yang bisa saya temukan. Jadi ini bukan jawaban yang banyak, tetapi lebih merupakan hal yang menarik.
Untuk kesederhanaan, mari kita garap distribusi diskrit. Kita dapat menulis jarak BC sebagai
dan perbedaan KL sebagai
Sekarang kita tidak bisa mendorong log di dalam jumlah pada jarak , jadi mari kita coba menarik log ke luar divergensi :BC KL
Mari kita pertimbangkan perilaku mereka ketika ditetapkan sebagai distribusi yang seragam atas kemungkinan:p n
Di sebelah kiri, kita memiliki log dari sesuatu yang mirip dalam bentuk dengan rata- rata geometrik . Di sebelah kanan, kami memiliki sesuatu yang mirip dengan log dari mean aritmatika . Seperti yang saya katakan, ini bukan jawaban, tapi saya pikir ini memberikan intuisi yang rapi tentang bagaimana jarak BC dan divergensi KL bereaksi terhadap penyimpangan antara dan .p q
sumber