Distribusi probabilitas khusus

Jika $p(x)$ adalah distribusi probabilitas dengan nilai bukan nol pada $[0,+\infty)$ , untuk tipe $p(x)$ apa ada konstanta $c\gt 0$ sehingga $\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2$ untuk semua $0\lt\epsilon\lt 1$ ?

Ketidaksamaan di atas sebenarnya adalah Kullback-Leibler Divergence antara distribusi $p(x)$ dan versi terkompresi ${(1+\epsilon)}p({x}{(1+\epsilon)})$ . Saya telah menemukan bahwa ketidaksetaraan ini berlaku untuk distribusi Exponential, Gamma, dan Weibull dan saya tertarik untuk mengetahui apakah itu berfungsi untuk kelas yang lebih besar dari distribusi probabilitas.

Adakah yang tahu apa arti ketimpangan itu?

probability stochastic-processes kullback-leibler probability-inequalities Sus20200
sumber

Karena

ϵ

$\epsilon$ positif yang akan dikompresi (dalam arah x) daripada diregangkan.

Glen_b -Reinstate Monica

Pertanyaan ini ambigu: apa bilangan Anda? Apakah Anda ingin ketidaksamaan ini berlaku untuk semua

, setidaknya satu

, atau yang lainnya? Apakah

diberikan apriori atau yang Anda maksud harus ada ada setidaknya satu nilai seperti dari

? Dan karena Anda menyebutkan kelas distribusi probabilitas, dengan "

" apakah maksud Anda satu distribusi tertentu atau apakah Anda mungkin bermaksud keluarga parametrik dari mereka?

ϵ

$\epsilon$

ϵ

$\epsilon$

c

$c$

c

$c$

p (x)

$p(x)$

whuber

@whuber Terima kasih atas komentar Anda. Saya mengoreksi pernyataan masalah saya untuk mengklarifikasi masalah yang disebutkan. Maksud saya, untuk apa

ketidaksetaraan di atas berlaku? Jawabannya mungkin memperkenalkan keluarga distribusi parametrik atau mengusulkan persamaan diferensial untuk

yang mencukupi dan memberikan ketimpangan yang diinginkan.

p (x)

$p(x)$

p (x)

$p(x)$

Sus20200

Tidakkah ketimpangan ini bekerja untuk p (x) apa pun yang berkelanjutan dan dengan dukungan tak terbatas? Anda menghitung divergensi KL di dalam keluarga parametrik (

. Jika KL dapat dibedakan pada 0, maka turunannya adalah 0. Mengambil

untuk menjadi maksimum kelengkungan KL (untuk

), kita memiliki ikatan. Dengan pekerjaan tambahan, dimungkinkan untuk mengikat C dari sifat-sifat p

ϵ \to p (x (1 + ϵ))

$\epsilon \rightarrow p(x(1+\epsilon))$

C

$C$

ϵ \in [0, 1]

$\epsilon \in [0,1]$

Guillaume Dehaene

L = lim_{x \to 0} p (x) x = 0

$L = \lim_{x \rightarrow 0} p(x)x = 0$

L ϵ + O (ϵ^{2})

$L \epsilon + O(\epsilon^2)$

Persiapan

Menulis

I_{p} (ϵ) = \int_{0}^{\infty} p (x) \log (\frac{p (x)}{(1 + ϵ) p (x (1 + ϵ))}) d x .

$\mathcal{I}_p(\epsilon) = \int_0^\infty p(x) \log\left(\frac{p(x)}{(1+\epsilon)p(x(1+\epsilon))}\right)\, dx.$

Logaritma dan hubungan antara dan menyarankan untuk mengekspresikan dan argumennya sebagai eksponensial. Untuk itu, tentukan $p(x)$ $p(x(1+\epsilon))$ $p$

q (y) = \log (p (e^{y}))

$q(y) = \log(p(e^y))$

untuk semua nyata yang sisi kanannya didefinisikan dan sama dengan dimanapun . Perhatikan bahwa perubahan variabel memerlukan dan (menganggap sebagai kepadatan distribusi) sehingga Hukum Total Probabilitas dapat dinyatakan sebagai $y$ $-\infty$ $p(e^y)=0$ $x=e^y$ $dx=e^y dy$ $p$

\begin{matrix} (1) & 1 = \int_{0}^{\infty} p (x) d x = \int_{R} e^{q (y) + y} d y . \end{matrix}

$1 = \int_0^\infty p(x)dx = \int_\mathbb{R} e^{q(y)+y} dy.\tag{1}$

Mari kita asumsikan saat . $e^{q(y)+y}\to 0$ $y\to\pm\infty$ Ini mengesampingkan distribusi probabilitas dengan banyak lonjakan kepadatan di dekat atau . Secara khusus, jika ekor pada akhirnya monoton, menyiratkan asumsi ini, menunjukkan itu bukan yang parah. $p$ $0$ $\infty$ $p$ $(1)$

Untuk membuat bekerja dengan logaritma lebih mudah, amati juga

1 + ϵ = e^{ϵ} + O (ϵ^{2}) .

$1+\epsilon = e^\epsilon + O(\epsilon^2).$

Karena perhitungan berikut akan dilakukan hingga kelipatan dari , tentukan $\epsilon^2$

δ = \log (1 + ϵ) .

$\delta = \log(1+\epsilon).$

Kita juga dapat mengganti dengan , dengan sesuai dengan dan positif berhubungan dengan positif . $1+\epsilon$ $e^\delta$ $\delta=0$ $\epsilon=0$ $\delta$ $\epsilon$

Analisis

Salah satu cara yang jelas di mana ketimpangan dapat gagal adalah untuk integral untuk menyimpang untuk beberapa . Ini akan terjadi jika, misalnya, harus ada setiap interval yang tepat dari angka positif, tidak peduli seberapa kecil, di mana adalah identik nol tetapi tidak nol pada interval .Itu akan menyebabkan integand menjadi tak terbatas dengan probabilitas positif. $\mathcal{I}_p(\epsilon)$ $\epsilon \in (0, 1]$ $[u, v]$ $p$ $p$ $[u-\epsilon, v-\epsilon]$

Karena pertanyaannya tidak spesifik mengenai sifat , kita bisa terjebak dalam masalah teknis mengenai seberapa halus . Mari kita hindari masalah-masalah seperti itu, masih berharap untuk mendapatkan beberapa wawasan, dengan mengasumsikan bahwa mana-mana memiliki turunan sebanyak yang mungkin ingin kita gunakan. (Dua akan cukup jika kontinu.) Karena jaminan tetap terikat pada set terikat apa pun, itu menyiratkan bahwa tidak pernah nol ketika . $p$ $p$ $q$ $q^{\prime\prime}$ $q$ $p(x)$ $x \gt 0$

Perhatikan bahwa pertanyaan tersebut benar-benar menyangkut perilaku karena mendekati nol dari atas. Karena integral ini adalah fungsi kontinu dari dalam interval , ia mencapai beberapa maksimum ketika dibatasi untuk setiap interval positif , memungkinkan kita untuk memilih , karena jelas $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\epsilon$ $(0,1]$ $M_p(a)$ $\epsilon$ $[a,1]$ $c = M_p(a)/a^2$

c ϵ^{2} = M_{p} (a) {(\frac{ϵ}{a})}^{2} \geq M_{p} (a) \geq I_{p} (ϵ)

$c\epsilon^2 = M_p(a) \left(\frac{\epsilon}{a}\right)^2 \ge M_p(a) \ge \mathcal{I}_p(\epsilon)$

membuat ketidaksetaraan bekerja. Inilah mengapa kita hanya perlu memerhatikan modulo penghitungan . $\epsilon^2$

Larutan

Dengan menggunakan perubahan variabel dari ke , dari ke , dan ke , mari kita menghitung melalui urutan kedua dalam (atau ) dengan harapan dapat mencapai penyederhanaan. Untuk itu tentukan $x$ $y$ $p$ $q$ $\epsilon$ $\delta$ $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\delta$

R (y, δ) δ^{2} = q (y + δ) - q (y) - δ q^{'} (y)

$\mathcal{R}(y, \delta) \delta^2 = q(y+\delta) - q(y) - \delta q^\prime(y)$

menjadi urutan- sisanya dalam ekspansi Taylor dari sekitar . $2$ $q$ $y$

\begin{aligned} I_{p} (ϵ) & = \int_{R} e^{q (y) + y} (q (y) - q (y + δ) - δ) d y \\ = - \int_{R} e^{q (y) + y} (δ + δ q^{'} (y) + R (y, δ) δ^{2}) d y \\ = - δ \int_{R} e^{q (y) + y} (1 + q^{'} (y)) d y - δ^{2} \int_{R} e^{q (y) + y} R (y, δ) d y . \end{aligned}

$\eqalign{ \mathcal{I}_p(\epsilon) &= \int_\mathbb{R}e^{q(y) + y} \left(q(y) - q(y+\delta) - \delta\right)\, dy \\ &=-\int_\mathbb{R}e^{q(y) + y} \left(\delta + \delta q^\prime(y) + \mathcal{R}(y, \delta) \delta^2 \right)\, dy \\ &= -\delta\int_\mathbb{R}e^{q(y) + y} \left(1+q^\prime(y)\right)\, dy -\delta^2\int_\mathbb{R}e^{q(y) + y} \mathcal{R}(y, \delta)\, dy. }$

Mengubah variabel ke di integral kiri menunjukkan itu harus menghilang, seperti yang dinyatakan dalam asumsi berikut . Mengubah variabel kembali ke di integral kanan memberi $q(y)+y$ $(1)$ $x=e^y$

I_{p} (ϵ) = - δ^{2} \int_{R} p (x) R (\log (x), δ) d y = - δ^{2} E_{p} (R (\log (x), δ)) .

$\mathcal{I}_p(\epsilon) = - \delta^2 \int_\mathbb{R} p(x) \mathcal{R}(\log(x), \delta)\, dy = -\delta^2 \mathbb{E}_p\left(\mathcal{R}(\log(x), \delta)\right).$

Ketimpangan berlaku (di bawah berbagai asumsi teknis kami) jika dan hanya jika koefisien di sisi kanan terbatas. $\delta^2$

Penafsiran

Ini adalah titik yang baik untuk berhenti, karena tampaknya mengungkap masalah penting: dibatasi oleh fungsi kuadrat dari tepatnya ketika kesalahan kuadratik dalam ekspansi Taylor dari tidak meledak (relatif terhadap distribusi) sebagai pendekatan . $\mathcal{I}_p(\epsilon)$ $\epsilon$ $q$ $y$ $\pm\infty$

Mari kita periksa beberapa kasus yang disebutkan dalam pertanyaan: distribusi Exponential dan Gamma. (Eksponensial adalah kasus khusus dari Gamma.) Kita tidak perlu khawatir tentang parameter skala, karena mereka hanya mengubah satuan pengukuran. Hanya parameter non-skala yang penting.

Di sini, karena untuk , Ekspansi Taylor di sekitar sembarang adalahTeorema Taylor dengan Remainder menyiratkan didominasi oleh untuk cukup kecil . Karena ekspektasi adalah terbatas, ketidaksetaraan berlaku untuk distribusi Gamma. $p(x) = x^k e^{-x}$ $k \gt -1$

q (y) = - e^{y} + k y - \log Γ (k + 1) .

$q(y) = -e^y + k y - \log\Gamma(k+1).$

y

$y$

Constant + (k - e^{y}) δ - \frac{e^{y}}{2} δ^{2} + \dots .

$\text{Constant} + (k-e^y)\delta - \frac{e^y}{2}\delta^2 + \cdots.$

R (\log (x), δ)

$\mathcal{R}(\log(x),\delta)$

e^{y + δ} / 2 < x

$e^{y+\delta}/2 \lt x$

δ

$\delta$

x

$x$

Perhitungan serupa menyiratkan ketidaksetaraan untuk distribusi Weibull, distribusi Half-Normal, distribusi Lognormal, dll. Bahkan, untuk mendapatkan contoh tandingan kita perlu melanggar setidaknya satu asumsi, memaksa kita untuk melihat distribusi di mana menghilang pada beberapa interval, atau apakah tidak dua kali terus menerus dapat dibedakan, atau memiliki banyak mode yang tak terhingga. Ini adalah tes mudah untuk diterapkan pada keluarga distribusi mana pun yang biasa digunakan dalam pemodelan statistik. $p$

whuber
sumber

Distribusi probabilitas khusus

Jawaban:

Persiapan

Analisis

Larutan

Penafsiran