Perkiraan sederhana distribusi kumulatif Poisson ekor panjang?

Saya ingin memutuskan kapasitas dari sebuah tabel sehingga memiliki peluang sisa kurang dari untuk melimpah karena , dengan asumsi jumlah entri mengikuti hukum Poisson dengan yang diberikan ekspektasi . $C$ $2^{-p}$ $p\in[40\dots 120]$ $E\in[10^3\dots 10^{12}]$

Idealnya, saya ingin integer terendah Csehingga 1-CDF[PoissonDistribution[E],C] < 2^-pdiberikan pdan E; tapi saya puas dengan beberapa yang Csedikit lebih tinggi dari itu. Mathematica baik untuk perhitungan manual, tetapi saya ingin menghitung Cdari pdan Epada waktu kompilasi, yang membatasi saya ke aritmatika integer 64-bit.

Update: Di Mathematica (versi 7) e = 1000; p = 40; c = Quantile[PoissonDistribution[e], 1 - 2^-p]adalah 1231dan tampaknya tentang benar (terima kasih @Procrastinator); Namun hasil untuk kedua p = 50dan p = 60adalah 1250, yang salah di sisi aman (dan hal-hal: mengulangi percobaan saya seperti kali atau lebih, dan saya ingin terbukti kurang dari peluang keseluruhan kegagalan). Saya ingin beberapa perkiraan kasar tapi aman menggunakan aritmatika integer 64-bit saja , seperti yang tersedia di C (++) pada waktu kompilasi. $2^{25}$ $2^{-30}$

poisson-distribution fgrieu
sumber

Bagaimana dengan C = Quantile[PoissonDistribution[E],1-2^p]?

Istilah terkemuka fungsi massa probabilitas Poisson mendominasi di bagian ekor.

kardinal

@Prastrastator: ya yang bekerja di Mathematica (kecuali untuk tanda p, dan masalah presisi, dan nama Edan Cyang dicadangkan). TETAPI saya membutuhkan perkiraan sederhana tentang hal itu, mungkin mentah (tetapi di sisi yang aman) menggunakan arityhmetic integer 64-bit saja!

fgrieu

Re the update: Mathematica 8 mengembalikan 1262 untuk dan 1290 untuk . Perkiraan Normal Kembali (@Proc): ini tidak dapat diharapkan bekerja dengan baik di bagian ekor, yang sangat penting untuk perhitungan.

p = 50

$p=50$

p = 60

$p=60$

Whuber

Mungkin Anda harus bertanya pada stackoverflow. Saya tidak terbiasa dengan kendala yang Anda miliki. Saya tidak tahu apa yang menghentikan Anda dari menggunakan alokasi memori dinamis, atau apakah Anda dapat menggunakan percabangan untuk menentukan ukuran array, atau berapa biaya untuk mendefinisikan array yang dua kali ukuran yang Anda butuhkan (dan kemudian tidak menggunakan semua itu). Jika beberapa fungsi seperti (seperti contoh) memberi Anda jawaban yang tepat, apakah Anda dapat menerapkan perkiraan di bawah kendala Anda atau tidak? Sepertinya masalah pemrograman sekarang.

μ + \sqrt{\log \log μ} \log μ \sqrt{μ} + p \frac{\sqrt{μ}}{\log μ}

$\mu + \sqrt{\log\log \mu} \log \mu \sqrt \mu + p \frac{\sqrt{\mu}} {\log \mu}$

Douglas Zare

Jawaban:

Distribusi Poisson dengan rata-rata besar kira-kira normal, tetapi Anda harus berhati-hati bahwa Anda menginginkan ikatan ekor dan perkiraan normal secara proporsional kurang akurat di dekat ekor.

Salah satu pendekatan yang digunakan dalam pertanyaan MO ini dan dengan distribusi binomial adalah untuk mengenali bahwa ekor berkurang lebih cepat daripada deret geometri, sehingga Anda dapat menulis batas atas eksplisit sebagai deret geometri.

\begin{array}{rcl} \sum_{k = D}^{\infty} \exp (- μ) \frac{μ^{k}}{k!} & < & \sum_{k = D}^{\infty} \exp (- μ) \frac{μ^{D}}{D!} (\frac{μ}{D + 1})^{k - D} \\ = & \exp (- μ) \frac{μ^{D}}{D!} \frac{1}{1 - \frac{μ}{D + 1}} \\ < & \exp (- μ) \frac{μ^{D}}{\sqrt{2 π D} (D / e)^{D}} \frac{1}{1 - \frac{μ}{D + 1}} \\ = & \exp (D - μ) (\frac{μ}{D})^{D} \frac{D + 1}{\sqrt{2 π D} (D + 1 - μ)} \end{array}

$\begin{eqnarray}\sum_{k=D}^\infty \exp(-\mu)\frac{\mu^k}{k!} & \lt & \sum_{k=D}^\infty \exp(-\mu) \frac{\mu^D}{D!}\bigg(\frac \mu{D+1}\bigg)^{k-D} \\ & = & \exp(-\mu)\frac{\mu^D}{D!}\frac{1}{1-\frac{\mu}{D+1}} \\ & \lt & \exp(-\mu) \frac{\mu^D}{\sqrt{2\pi D}(D/e)^D} \frac{1}{1-\frac{\mu}{D+1}} \\ & = & \exp(D-\mu) \bigg(\frac{\mu}{D}\bigg)^D \frac{D+1}{\sqrt{2\pi D} (D+1-\mu)}\end{eqnarray}$

Baris 2 baris 3 terkait dengan rumus Stirling. Dalam praktiknya saya pikir Anda kemudian ingin menyelesaikan numerik menggunakan pencarian biner. Metode Newton dimulai dengan tebakan awaljuga harus bekerja. $\to$ $-p \log 2 = \log(\text{bound})$ $D = \mu + c \sqrt \mu.$

Misalnya, dengan dan , solusi numerik yang saya dapatkan adalah 1384,89. Distribusi Poisson dengan rata-rata mengambil nilai dari hingga dengan probabilitasNilai hingga terjadi dengan probabilitas $p=100$ $\mu = 1000$ $1000$ $0$ $1384$ $1-1/2^{100.06}.$ $0$ $1383$ $1-1/2^{99.59}.$

Douglas Zare
sumber

+1. Pendekatan lain mengaitkan probabilitas ekor Poisson (di sebelah kanan) dengan probabilitas ekor dari distribusi Gamma (di sebelah kiri), yang dapat diperkirakan secara dekat (lebih) dengan perkiraan saddlepoint.

whuber

Ada jauh dari itu untuk sesuatu yang terbatas pada 64-bit integer aritmatika (tanpa exp, log, sqrt ..) tapi saya akan bekerja di sana; Terima kasih semuanya!

fgrieu

(+1) Sampai dengan permohonan perkiraan Stirling (yang tidak relevan), inilah tepatnya yang saya (secara samar) merujuk dalam komentar saya kepada OP. (Misalnya, lihat di sini .)

kardinal

Anda dapat melihat P. Harremoës: Batas Tajam pada Kemungkinan Ekor untuk Variabel Acak Poisson https://helda.helsinki.fi/bitstream/handle/10138/229679/witmse_proc_17.pdf Ketidaksamaan utama ada sebagai berikut. Biarkan menjadi variabel acak Poisson dengan parameter . Letakkan Biarkan menunjukkan fungsi distribusi kumulatif untuk hukum normal standar. Kemudian, untuk semua bilangan bulat , yang setara dengan untuk semua bilangan bulat $Y$ $\lambda$

G (x) = \sqrt{2 (x \ln \frac{x}{λ} + λ - x)} s i g n (x - λ) .

$G(x)= \sqrt{2\left(x\ln \frac{x}{\lambda} +\lambda-x\right)} \ \ {\rm sign} \left(x-\lambda\right).$

Φ

$\Phi$

k \geq 0

$k\ge 0$

P (Y < k) \leq Φ (G (k)) \leq P (Y \leq k),

${\bf P}(Y<k)\le \Phi(G(k)) \le {\bf P}(Y\le k),$

Φ (G (k - 1)) \leq P (Y < k) \leq Φ (G (k))

$\Phi(G(k-1)) \le {\bf P}(Y<k)\le \Phi(G(k))$

k > 0

$k>0$ . Selain itu, yang menyiratkan bahwa untuk semua bilangan bulat .

Φ (G (k + (1 / 2))) \leq P (Y \leq k)

$\Phi(G(k+(1/2))) \le {\bf P}(Y\le k)$

Φ (G (k - 1 / 2)) \leq P (Y < k) \leq Φ (G (k))

$\Phi(G(k-1/2)) \le {\bf P}(Y<k)\le \Phi(G(k))$

k > 0

$k>0$

Pavel Ruzankin
sumber

Jika Anda bisa menuliskan persamaan kunci (dengan asumsi hanya ada satu atau dua) yang akan membantu jika tautan mati pada suatu waktu.

jbowman