Interpretasi turunan Radon-Nikodym antara ukuran probabilitas?

Saya telah melihat di beberapa titik penggunaan turunan Radon-Nikodym dari satu ukuran probabilitas terhadap yang lain, terutama dalam divergensi Kullback-Leibler, di mana itu adalah turunan dari ukuran probabilitas model untuk beberapa parameter arbitrer sehubungan dengan parameter nyata :θ $\theta$$\theta_0$

$$\frac {dP_\theta}{dP_{\theta_0}}$$

Di mana ini adalah kedua ukuran probabilitas pada ruang datapoint yang bergantung pada nilai parameter: .$P_\theta(D)=P(D|\theta)$

Apa interpretasi dari turunan Radon-Nikodym dalam perbedaan Kullback-Leibler, atau lebih umum antara dua ukuran probabilitas?

Pertama, kita tidak perlu ukuran probabilitas, hanya kehalusan. Jadi mari menjadi ruang terukur dan membiarkan dan menjadi -finite langkah-langkah pada .M = ( Ω , F ) μ ν σ $\sigma$$\mathcal M = (\Omega, \mathscr F)$$\mu$$\nu$$\sigma$$\mathcal M$

The Radon-Nikodym Teorema menyatakan bahwa jika untuk semua , dinotasikan dengan , maka terdapat Borel non-negatif fungsi sehingga untuk semua .A ∈ F μ ≫ ν f ν ( A ) = ∫ A$\mu(A) = 0 \implies \nu(A) = 0$$A \in \mathscr F$$\mu \gg \nu$$f$A ∈

$$\nu(A) = \int_A f \,\text d\mu$$ $A \in \mathscr F$

Begini cara saya suka memikirkan hal ini. Pertama, untuk dua ukuran pada , mari kita definisikan berarti . Ini adalah hubungan kesetaraan valid dan kita mengatakan bahwa dan yang setara dalam hal ini. Mengapa ini setara kesetaraan untuk tindakan? Ukuran hanyalah fungsi tetapi domainnya sulit untuk divisualisasikan. Bagaimana jika dua fungsi biasa memiliki properti ini, yaitu ? Baiklah, tentukan dan catat bahwa di mana saja dengan dukungan μ ∼ ν μ ( A ) = $\mathcal M$$\mu \sim \nu$μ ν f , g : R → R f ( x ) = $\mu(A) = 0 \iff \nu(A) = 0$$\mu$$\nu$$f, g :\mathbb R \to \mathbb R$h ( x ) = { f ( x ) / g ( $f(x) = 0 \iff g(x) = 0$ggh=fggh=0⋅πe=0=ffghgf0/0g=0hπ

$$h(x) = \begin{cases} f(x) / g(x) & g(x) \neq 0 \\ \pi^e & \text{o.w.}\end{cases}$$ $g$ kita memiliki , dan di luar dukungan (karena dan berbagi dukungan) maka memungkinkan kita menskala ulang menjadi . Sebagai @whuber poin, gagasan kunci di sini adalah tidak entah bagaimana "aman" untuk melakukan atau mengabaikan, tetapi ketika maka tidak peduli apa tidak sehingga kita bisa hanya mendefinisikannya sewenang-wenang (seperti menjadi yang tidak memiliki arti khusus di sini) dan semuanya masih berfungsi. Juga dalam hal ini kita dapat mendefinisikan fungsi analog dengan sehingga$gh = f$$g$ $gh = 0 \cdot \pi^e = 0 = f$$f$$g$$h$$g$$f$$0/0$$g = 0$$h$$\pi^e$ g / f f h ′ = $h'$$g / f$$fh' = g$ .

Selanjutnya anggaplah bahwa , tetapi arah lainnya tidak selalu berlaku. Ini berarti bahwa definisi kami sebelumnya masih bekerja, tapi sekarang tidak bekerja karena akan memiliki divisi yang sebenarnya dengan . Dengan demikian kita dapat menskala ulang menjadi melalui , tetapi kita tidak dapat pergi ke arah lain karena kita perlu menskala ulang sesuatu menjadi sesuatu yang bukan nol.h h ′ 0 g f g h = f $g(x) = 0 \implies f(x) = 0$$h$$h'$$0$$g$$f$$gh = f$$0$

Sekarang mari kita kembali ke dan dan menyatakan RND kita dengan . Jika , maka ini secara intuitif berarti bahwa satu dapat diubah menjadi yang lain, dan sebaliknya. Tetapi umumnya kita hanya ingin pergi satu arah dengan ini (yaitu skala ulang ukuran yang bagus seperti ukuran Lebesgue menjadi ukuran yang lebih abstrak) jadi kita hanya perlu untuk melakukan hal-hal yang berguna. Pengecilan ini adalah jantung dari RND.ν f μ ∼ ν μ ≫ $\mu$$\nu$$f$$\mu \sim \nu$$\mu \gg \nu$

Kembali ke titik @ whuber di komentar, ada kehalusan ekstra mengapa aman untuk mengabaikan masalah . Itu karena dengan ukuran kita hanya mendefinisikan hal-hal hingga set ukuran sehingga pada set apa pun dengan kita bisa membuat RND kita mengambil nilai apa pun, katakan . Jadi bukan berarti secara intrinsik aman tetapi di mana pun kita memiliki adalah seperangkat ukuran wrt sehingga kita bisa mendefinisikan RND kita sebagai sesuatu yang menyenangkan di sana tanpa mempengaruhi apa pun.0 A μ ( A ) = 0 1 0 / 0 0 / 0 0 $0/0$$0$$A$$\mu(A) = 0$$1$$0/0$$0/0$$0$$\mu$

Sebagai contoh, misalkan untuk beberapa . Kemudian sehingga kita memiliki adalah RND (ini dapat dibenarkan secara lebih formal dengan perubahan teorema tindakan). Ini bagus karena kami telah memulihkan faktor penskalaan dengan tepat.$k \cdot \mu = \nu$$k > 0$

$$\nu(A) = \int_A \,\text d\nu = \int_A k \,\text d \mu$$ $f(x) = k = \frac{\text d\nu}{\text d\mu}$

Berikut adalah contoh kedua untuk menekankan bagaimana mengubah RND pada set ukuran tidak memengaruhi mereka. Misalkan , yaitu standar PDF normal ditambah jika inputnya rasional, dan biarkan menjadi RV dengan kerapatan ini. Ini berarti jadi sebenarnya masih merupakan RV Gaussian standar. Itu tidak mempengaruhi distribusi dengan cara apa pun untuk mengubah pada karena itu adalah satuan ukuran wrt$0$$f(x) = \varphi(x) + 1_{\mathbb Q}(x)$$1$$X$

$$P(X \in A) = \int_A \left(\varphi + 1_{\mathbb Q}\right) \,\text d\lambda$$ $$= \int_A \varphi \,\text d\lambda + \lambda\left(\mathbb Q \right) =\int_A \varphi \,\text d\lambda$$ $X$$X$$\mathbb Q$$0$$\lambda$ .

Sebagai contoh terakhir, anggaplah dan dan biarkan dan menjadi distribusinya masing-masing. Ingat bahwa pmf adalah RND sehubungan dengan ukuran penghitungan , dan karena memiliki properti yang , ternyata $X \sim \text{Pois}(\eta)$$Y \sim \text{Bin}(n, p)$$P_X$$P_Y$$c$$c$$c(A) = 0 \iff A = \emptyset$

$$\frac{\text dP_Y}{\text dP_X} = \frac{\text dP_Y / \text dc}{\text dP_X / \text dc} = \frac{f_Y}{f_X}$$

jadi kita dapat menghitung

$$P_Y(A) = \int_A \,\text dP_Y$$ $$= \int_A \frac{\text dP_Y}{\text dP_X}\,\text dP_X = \int_A \frac{\text dP_Y}{\text dP_X}\frac{\text dP_X}{\text dc}\,\text dc$$ $$= \sum_{y \in A} \frac{\text dP_Y}{\text dP_X}(y)\frac{\text dP_X}{\text dc}(y) = \sum_{y \in A} \frac{f_Y(y)}{f_X(y)}f_X(y) = \sum_{y \in A} f_Y(y).$$

Jadi karena untuk semua dalam dukungan , kita dapat mengubah skala integrasi sehubungan dengan distribusi Poisson ke dalam integrasi sehubungan dengan distribusi binomial, meskipun karena semuanya diskrit ternyata tampak seperti sepele hasil.$P(X = n) > 0$$n$$Y$

---

Saya menjawab pertanyaan Anda yang lebih umum tetapi tidak menyentuh divergensi KL. Bagi saya, setidaknya, saya menemukan perbedaan KL jauh lebih mudah untuk ditafsirkan dalam hal pengujian hipotesis seperti jawaban @ kjetil b halvorsen di sini . Jika dan terdapat ukuran yang mendominasi keduanya maka gunakan kita dapat memulihkan formulir dengan kepadatan, jadi bagi saya saya menemukan itu lebih mudah.$P \ll Q$$\mu$$\frac{\text dP}{\text dQ} = \frac{\text dP / \text d\mu}{\text dQ / \text d\mu} := p / q$