Adaptasi jarak Kullback-Leibler?

Lihatlah foto ini:

Jika kita mengambil sampel dari kepadatan merah maka beberapa nilai diharapkan kurang dari 0,25 sedangkan tidak mungkin untuk menghasilkan sampel seperti itu dari distribusi biru. Akibatnya, jarak Kullback-Leibler dari kepadatan merah ke densitas biru adalah tak terbatas. Namun, dua kurva tidak begitu berbeda, dalam beberapa "pengertian alami".

Inilah pertanyaan saya: Apakah ada adaptasi dari jarak Kullback-Leibler yang akan memungkinkan jarak yang terbatas antara kedua kurva ini?

Anda mungkin melihat Bab 3 dari Devroye, Gyorfi, dan Lugosi, A Probabilistic Teori Pengenalan Pola , Springer, 1996. Lihat, khususnya, pada bagian $f$ -divergences.

-Diversgences dapat dipandang sebagai generalisasi dari Kullback - Leibler (atau, sebagai alternatif, KL dapat dilihat sebagai kasus khusus dari$f$ -Divergence).$f$

Bentuk umum adalah

$$D_f(p, q) = \int q(x) f\left(\frac{p(x)}{q(x)}\right) \, \lambda(dx) ,$$

di mana adalah ukuran yang mendominasi ukuran yang terkait dengan p dan q dan f ( ⋅ ) adalah fungsi cembung yang memuaskan f ( 1 ) = 0 . (Jika p ( x ) dan q ( x ) adalah kepadatan sehubungan dengan Lebesgue mengukur, hanya mengganti notasi d x untuk λ ( d x ) dan Anda baik sedang pergi.)$\lambda$$p$$q$$f(\cdot)$$f(1) = 0$$p(x)$$q(x)$$dx$$\lambda(dx)$

Kami memulihkan KL dengan mengambil . Kita bisa mendapatkan perbedaan Hellinger melalui f ( x ) = ( 1 - $f(x) = x \log x$dan kami mendapatkanvariasi totalataujarakL1dengan mengambilf(x)=$f(x) = (1 - \sqrt{x})^2$$L_1$. Yang terakhir memberi$f(x) = \frac{1}{2} |x - 1|$

$$D_{\mathrm{TV}}(p, q) = \frac{1}{2} \int |p(x) - q(x)| \, dx$$

Perhatikan bahwa yang terakhir ini setidaknya memberi Anda jawaban yang terbatas.

Dalam buku kecil lain yang berjudul Density Estimation: The View$L_1$ , Devroye sangat mendukung penggunaan jarak yang belakangan ini karena banyaknya sifat invarian yang bagus (antara lain). Buku yang terakhir ini mungkin sedikit lebih sulit untuk dipahami daripada yang sebelumnya dan, seperti judulnya, sedikit lebih khusus.

---

Tambahan : Melalui pertanyaan ini , saya menjadi sadar bahwa tampaknya bahwa ukuran yang diusulkan @Dier adalah (hingga konstanta) yang dikenal sebagai Jensen-Shannon Divergence. Jika Anda mengikuti tautan ke jawaban yang disediakan dalam pertanyaan itu, Anda akan melihat bahwa ternyata akar kuadrat dari jumlah ini sebenarnya adalah metrik dan sebelumnya diakui dalam literatur sebagai kasus khusus dari -divergence . Saya merasa menarik bahwa kita secara kolektif telah "menemukan kembali" roda (agak cepat) melalui diskusi tentang pertanyaan ini. Interpretasi yang saya berikan pada komentar di bawah ini @ tanggapan Didier juga sebelumnya diakui. Di sekeliling, agak rapi, sebenarnya.$f$

Divergensi Kullback-Leibler dari P sehubungan dengan Q tidak terbatas ketika P tidak sepenuhnya kontinu sehubungan dengan Q , yaitu, ketika ada himpunan terukur $\kappa(P|Q)$$P$$Q$$P$$Q$$A$ sehingga dan P ( A ) ≠ 0 . Selanjutnya perbedaan KL tidak simetris, dalam arti bahwa secara umum κ ( P ∣ Q ) ≠ κ ( Q $Q(A)=0$$P(A)\ne0$$\kappa(P\mid Q)\ne\kappa(Q\mid P)$ . Ingat bahwa Jalan keluar dari kedua kelemahan ini, masih berdasarkan pada KL divergence, adalah dengan memperkenalkan titik tengah R=

$$\kappa(P\mid Q)=\int P\log\left(\frac{P}{Q}\right).$$ JadiRadalah ukuran probabilitas, danPdanQselalu benar-benar terus menerus terhadapR. Oleh karena itu orang dapat mempertimbangkan "jarak" antaraPdanQ, masih didasarkan pada perbedaan KL tetapi menggunakanR, didefinisikan sebagai η(P,Q)=κ(P∣R)+κ(Q∣R). Kemudianη( $$R=\tfrac12(P+Q).$$ $R$$P$$Q$$R$$P$$Q$$R$ $$\eta(P,Q)=\kappa(P\mid R)+\kappa(Q\mid R).$$ adalah tidak negatif dan terbatas untuk setiap P dan Q , η adalah simetris dalam arti bahwa η ( P , Q ) = η ( Q , P ) untuk setiap P dan Q , dan η ( P , Q ) = 0 iff P = $\eta(P,Q)$$P$$Q$$\eta$$\eta(P,Q)=\eta(Q,P)$$P$$Q$$\eta(P,Q)=0$$P=Q$ .

Formulasi yang setara adalah

$$\eta(P,Q)=2\log(2)+\int \left(P\log(P)+Q\log(Q)-(P+Q)\log(P+Q)\right).$$

Tambahan 1 Pengenalan titik tengah dan Q tidak sewenang-wenang dalam arti bahwa η ( P , Q ) = min [ κ ( P ∣ ⋅ ) + κ ( Q ∣ ⋅ ) ] , di mana minimum berada di atas himpunan langkah-langkah probabilitas.$P$$Q$

$$\eta(P,Q)=\min [\kappa(P\mid \cdot)+\kappa(Q\mid \cdot)],$$

Addendum 2 @ cardinal menyatakan bahwa juga merupakan f- divergence, untuk fungsi cembung f ( x ) = x log ( x ) - ( 1 + $\eta$$f$

$$f(x)=x\log(x)−(1+x)\log(1+x)+(1+x)\log(2).$$

$P$$Q$$P$$Q$ adalah fungsi distribusi empiris dari dataset.

Sulit untuk menggambarkan ini sebagai "adaptasi" dari jarak KL, tetapi memenuhi persyaratan lain untuk menjadi "alami" dan terbatas.

$\mathbb{R_+} \to [0,C]$$C$

Yes there does, Bernardo and Reuda defined something called the "intrinsic discrepancy" which for all purposes is a "symmetrised" version of the KL-divergence. Taking the KL divergence from $P$ to $Q$ to be $\kappa(P \mid Q)$ The intrinsic discrepancy is given by:

$$\delta(P,Q)\equiv \min \big[\kappa(P \mid Q),\kappa(Q \mid P)\big]$$

Searching intrinsic discrepancy (or bayesian reference criterion) will give you some articles on this measure.

In your case, you would just take the KL-divergence which is finite.

Another alternative measure to KL is Hellinger distance

EDIT: clarification, some comments raised suggested that the intrinsic discrepancy will not be finite when one density 0 when the other is not. This is not true if the operation of evaluating the zero density is carried out as a limit $Q\rightarrow 0$ or $P\rightarrow 0$ . The limit is well defined, and it is equal to $0$ for one of the KL divergences, while the other one will diverge. To see this note:

$$\delta(P,Q)\equiv \min \Big[\int P \,\log \big(\frac{P}{Q}\big),\int Q \log \big(\frac{Q}{P}\big)\Big]$$

Taking limit as $P\rightarrow 0$ over a region of the integral, the second integral diverges, and the first integral converges to $0$ over this region (assuming the conditions are such that one can interchange limits and integration). This is because $\lim_{z\rightarrow 0} z \log(z) =0$. Because of the symmetry in $P$ and $Q$ the result also holds for $Q$.