Ketidaksamaan probabilitas

Saya mencari beberapa ketidaksetaraan probabilitas untuk jumlah variabel acak yang tidak terikat. Saya akan sangat menghargai jika ada yang bisa memberikan saya beberapa pemikiran.

Masalah saya adalah untuk menemukan batas atas eksponensial atas probabilitas bahwa jumlah variabel acak iid tidak terikat, yang sebenarnya merupakan perkalian dua iid Gaussian, melebihi beberapa nilai tertentu, yaitu, , di mana , dan dihasilkan iid dari . $\mathrm{Pr}[ X \geq \epsilon\sigma^2 N] \leq \exp(?)$ $X = \sum_{i=1}^{N} w_iv_i$ $w_i$ $v_i$ $\mathcal{N}(0, \sigma)$

Saya mencoba menggunakan Chernoff terikat menggunakan fungsi penghasil momen (MGF), batas yang diturunkan diberikan oleh:

$\begin{eqnarray} \mathrm{Pr}[ X \geq \epsilon\sigma^2 N] &\leq& \min\limits_s \exp(-s\epsilon\sigma^2 N)g_X(s) \\ &=& \exp\left(-\frac{N}{2}\left(\sqrt{1+4\epsilon^2} -1 + \log(\sqrt{1+4\epsilon^2}-1) - \log(2\epsilon^2)\right)\right) \end{eqnarray}$

mana $g_X(s) = \left(\frac{1}{1-\sigma^4 s^2}\right)^{\frac{N}{2}}$ adalah MGF dari $X$ . Tapi ikatannya tidak terlalu ketat. Masalah utama dalam masalah saya adalah bahwa variabel acak tidak terikat, dan sayangnya saya tidak bisa menggunakan batas ketidaksetaraan Hoeffding.

Saya akan senang jika Anda membantu saya menemukan beberapa ikatan eksponensial yang ketat.

probability mathematical-statistics probability-inequalities mgf Farzad
sumber

Kedengarannya seperti masalah yang terkait penginderaan-terkompresi. Lihat catatan R. Vershynin tentang teori matriks acak nonasimptotik, khususnya batasan tentang apa yang ia sebut variabel acak subeksponensial . Itu akan membantu Anda memulai. Jika Anda membutuhkan lebih banyak petunjuk, beri tahu kami dan saya akan mencoba memposting beberapa info lebih lanjut.

kardinal

Setidaknya ada beberapa pertanyaan dan jawaban terkait pada topik ini pada math.SE (penafian: termasuk yang saya ikuti).

kardinal

Produk memiliki distribusi 'produk normal'. Saya percaya bahwa rata-rata produk ini adalah nol dan variansnya adalah mana adalah varian dari dan . Untuk largeish, Anda bisa menggunakan teorema limit sentral untuk mendapatkan norality perkiraan . Jika Anda dapat menghitung kemiringan dari distribusi produk normal, saya yakin Anda dapat menerapkan teorema Berry-Esseen untuk mengikat laju konvergensi CDF.

w_{i} v_{i}

$w_i v_i$

σ^{4}

$\sigma^4$

σ^{2}

$\sigma^2$

w_{i}

$w_i$

v_{i}

$v_i$

N

$N$

X

$X$

shabbychef

@shabbychef, Berry-Esseen memiliki konvergensi cukup lambat, karena itu seragam terikat atas kelas semua fungsi distribusi .

F

$F$

kardinal

@DilipSarwate: Maaf saya baru saja melihat komentar Anda beberapa waktu yang lalu. Saya pikir Anda mungkin tertarik pada makalah kecil berikut, yang telah saya hubungkan dengan beberapa kali pada matematika. SE juga: TK Phillips dan R. Nelson (1995), Momen terikat lebih ketat daripada Chernoff terikat untuk positive tail probabilitas , The American Statistician , vol 42, no. 2., 175-178.

kardinal

Jawaban:

Menggunakan batas Chernoff yang Anda sarankan untuk beberapa yang akan ditentukan kemudian, mana ketidaksamaan kedua berlaku berkat untuk setiap . Sekarang ambil dan , sisi kanan menjadi yang menghasilkan untuk setiap . $s\le 1/(2\sigma^2)$

P [X > t] \leq \exp (- s t) \exp (- (N / 2) \log (1 - σ^{4} s^{2})) \leq \exp (- s t + σ^{4} s^{2} N)

$P[X>t] \le \exp(-st) \exp\Big(-(N/2) \log(1-\sigma^4s^2) \Big) \le \exp(-st + \sigma^4s^2 N)$

- \log (1 - x) \leq 2 x

$-\log(1-x)\le 2x$

x \in (0, 1 / 2)

$x\in(0,1/2)$

t = ϵ σ^{2} N

$t=\epsilon \sigma^2 N$

s = t / (2 σ^{4} N)

$s=t/(2\sigma^4N)$

\exp (- t^{2} / (4 σ^{4} N) = \exp (- ϵ^{2} N / 4)

$\exp(-t^2/(4\sigma^4N)=\exp(-\epsilon^2 N/4)$

P [X > ϵ σ^{2} N] \leq \exp (- ϵ^{2} N / 4) .

$P[X>\epsilon \sigma^2 N] \le \exp(-\epsilon^2 N/4).$

ϵ \in (0, 1)

$\epsilon\in(0,1)$

Cara lain adalah secara langsung menerapkan ketidaksetaraan konsentrasi seperti ketidaksetaraan Hanson-Wright, atau ketidaksetaraan konsentrasi untuk kekacauan Gaussian pesanan 2 yang mencakup variabel acak yang Anda minati.

Pendekatan yang lebih sederhana tanpa menggunakan fungsi menghasilkan momen

Ambil untuk kesederhanaan (jika tidak, orang dapat mengubah skala dengan membaginya dengan ). $\sigma=1$ $\sigma^2$

Menulis dan . Anda meminta batas atas pada . $v=(v_1,...,v_n)^T$ $w=(w_1,...,w_n)^T$ $P(v^Tw>\epsilon N)$

Biarkan. Kemudian dengan independensi dan tidak tergantung pada dengan dengan derajat kebebasan. $Z= w^T v/\|v\|$ $Z\sim N(0,1)$ $v,w$ $\|v\|^2$ $Z$ $\chi^2$ $n$

Dengan batasan standar pada variabel normal normal dan acak, Menggabungkan dengan ikatan gabungan memberikan batas atas pada dari formulir . $\chi^2$

P (| Z | > ϵ \sqrt{n / 2}) \leq 2 \exp (- ϵ^{2} n / 4), P (‖ v ‖ > \sqrt{2 n}) \leq \exp (- n (\sqrt{2} - 1)^{2} / 2) .

$P(|Z|>\epsilon\sqrt{n/2})\le 2\exp(-\epsilon^2 n/4), \qquad\qquad P(\|v\|>\sqrt{2n}) \le \exp(-n(\sqrt 2 -1)^2/2).$

P (v^{T} w > ϵ N)

$P(v^Tw>\epsilon N)$

2 \exp (- ϵ^{2} n / 4) + \exp (- n (\sqrt{2} - 1)^{2} / 2)

$2\exp(-\epsilon^2 n/4) + \exp(-n(\sqrt 2 -1)^2/2)$

sial
sumber

Batas yang Anda peroleh adalah dengan urutan sebagai . Saya tidak berpikir Anda bisa melakukan lebih baik untuk umum . Dari halaman Wikipedia pada Variabel Produk distribusi adalah mana adalah fungsi Bessel yang dimodifikasi. Dari (10.25.3) dalam daftar fungsi DLMF , sehingga untuk cukup besar yang tidak akan memberi Anda batasan sub-Gaussian. $e^{-\epsilon}$ $\epsilon \to \infty$ $\epsilon$ $w_i v_i$ $K_0(z)/\pi$ $K_0$ $K_0(t) \sim e^{-t}/\sqrt{t}$ $x$ $\mathbb{P}(w_i v_i > x) \sim \int_x^\infty e^{-t}/\sqrt{t} dt$

BookYourLuck
sumber