Apakah mungkin untuk menerapkan divergensi KL antara distribusi diskrit dan kontinu?

Saya bukan ahli matematika. Saya telah mencari di internet tentang KL Divergence. Apa yang saya pelajari adalah divergensi KL mengukur informasi yang hilang ketika kami memperkirakan distribusi model sehubungan dengan distribusi input. Saya telah melihat ini di antara dua distribusi kontinu atau diskrit. Bisakah kita melakukannya antara terus menerus dan terpisah atau sebaliknya?

Tidak: Divergensi KL hanya didefinisikan pada distribusi di atas ruang umum. Ia bertanya tentang kepadatan probabilitas suatu titik bawah dua distribusi yang berbeda, p ( x ) dan q ( x ) . Jika p adalah distribusi pada R 3 dan q distribusi pada Z , maka q ( x ) tidak masuk akal untuk poin p ∈ R 3 dan p ( z ) tidak masuk akal untuk poin z ∈ $x$$p(x)$$q(x)$$p$$\mathbb{R}^3$$q$$\mathbb{Z}$$q(x)$$p \in \mathbb{R}^3$$p(z)$$z \in \mathbb{Z}$. Faktanya, kita bahkan tidak dapat melakukannya untuk dua distribusi kontinu pada ruang berdimensi berbeda (atau diskrit, atau kasus di mana ruang probabilitas yang mendasari tidak cocok).

Jika Anda memiliki kasus tertentu dalam benak Anda, mungkin saja muncul beberapa ketidaksamaan antara distribusi. Sebagai contoh, masuk akal untuk menyandikan distribusi kontinu di bawah kode untuk satu diskrit (jelas dengan informasi yang hilang), misalnya dengan membulatkan ke titik terdekat dalam kasus diskrit.

Ya, perbedaan KL antara variabel acak kontinu dan diskrit didefinisikan dengan baik. Jika dan Q adalah distribusi pada beberapa ruang X , maka P dan Q memiliki kepadatan f , g sehubungan dengan μ = P + Q dan D K L ( P , Q ) = ∫ X f log $P$$Q$$\mathbb{X}$$P$$Q$$f$$g$$\mu = P+Q$

$\mathbb{X} = [0,1]$$P$$Q = \delta_0$$0$$f(x) = 1-\mathbb{1}_{x=0}$$g(x) = \mathbb{1}_{x=0}$

Tidak secara umum. Perbedaan KL adalah

$P$$Q$$P$$Q$$\sigma$$\frac{dP}{dQ}$

$\sigma$