Mengambil sampel secara efisien distribusi Beta yang di-threshold

Bagaimana saya bisa mengambil sampel secara efisien dari distribusi berikut?

x \sim B (α, β), x > k

$x \sim B(\alpha, \beta),\space x > k$

Jika tidak terlalu besar maka penolakan sampel mungkin merupakan pendekatan terbaik, tetapi saya tidak yakin bagaimana untuk melanjutkan ketika besar. Mungkin ada beberapa perkiraan asimptotik yang bisa diterapkan? $k$ $k$

random-generation beta-distribution truncation pengguna1502040
sumber

Tidak jelas apa yang Anda inginkan di sana dengan " ". Apakah Anda berarti dipotong distribusi beta (dipotong di sebelah kiri di )?

x \sim B (α, β), x > k

$x \sim B(\alpha, \beta),\space x > k$

k

$k$

Glen_b -Reinstate Monica

@ Glen_b tepatnya.

user1502040

Untuk kedua parameter bentuk lebih besar dari 1 distribusi beta adalah log-cekung, sehingga amplop eksponensial dapat digunakan untuk sampel penolakan. Untuk menghasilkan varian beta yang tidak terpotong, Anda sudah mengambil sampel dari distribusi eksponensial terpotong (yang mudah dilakukan) harus langsung menyesuaikan metode ini.

Scortchi

Jawaban:

Cara paling sederhana, dan yang paling secara umum, yang berlaku untuk setiap distribusi terpotong (dapat juga digeneralisasi untuk pemotongan di kedua sisi), adalah dengan menggunakan invers transformasi sampel . Jika adalah distribusi bunga kumulatif, maka atur dan ambil $F$ $p_0 = F(k)$

U \sim U (p_{0}, 1) X = F^{- 1} (U)

$U \sim \mathcal{U}(p_0, 1) \\ X = F^{-1}(U)$

di mana adalah sampel dari terpotong kiri pada . Fungsi kuantil akan memetakan probabilitas untuk sampel dari . Karena kami mengambil nilai hanya dari "area" yang cocok dengan nilai distribusi beta dari wilayah yang tidak terpotong, Anda hanya akan mengambil sampel nilai-nilai itu. $X$ $F$ $k$ $F^{-1}$ $F$ $U$

Metode ini diilustrasikan pada gambar di bawah ini di mana area terpotong ditandai oleh persegi panjang abu-abu, titik merah diambil dari distribusi dan kemudian ditransformasikan ke sampel. $\mathcal{U}(p_0, 1)$ $\mathcal{B}(2, 8)$

Tim
sumber

(+1) Perlu dicatat bahwa fungsi kuantil tidak mudah dievaluasi.

Scortchi

@Scortchi Jika a atau b adalah 1 atau setidaknya bilangan bulat, ada bentuk yang tidak terlalu buruk (lihat wikipedia ). Dan dengan Python ada scipy.special.betaincuntuk kebalikannya dan di R ada pbeta.

Graipher

@Graipher: Saya seharusnya mengatakan "murah, secara umum" - akan lebih baik untuk menghindari Newton-Raphson atau solusi berulang lainnya jika memungkinkan. (BTW itu qbetauntuk fungsi kuantil dalam R.)

Scortchi - Reinstate Monica

@Scortchi Anda benar, tetapi dalam kebanyakan kasus, untuk komputer modern ini seharusnya tidak menjadi masalah besar. Saya juga merekomendasikan pendekatan ini karena langsung tersedia di perangkat lunak yang paling dan dapat digeneralisasi untuk setiap distribusi terpotong, hanya jika seseorang memiliki akses ke fungsi kuantil.

Tim

Tidak diragukan lagi itu baik untuk memiliki metode yang berlaku secara umum, mudah diimplementasikan untuk menangani yang run-time tidak tumbuh dengan ; & untuk distribusi dengan fungsi kuantil bentuk tertutup, misalnya Weibull, ia harus sebagus yang didapat. Namun demikian saya menduga harus diatur untuk memotong sebagian besar distribusi beta sebelum mengalahkan algoritma sampel-penolakan yang efisien yang juga tersedia di sebagian besar perangkat lunak & yang hanya mengandalkan pada perhitungan kepadatan probabilitas beta.

k

$k$

k

$k$

Scortchi

Jawaban @ Tim menunjukkan bagaimana inverse transform sampling dapat diadaptasi untuk distribusi terpotong, membebaskan run-time dependensi pada ambang batas . Efisiensi lebih lanjut dapat diperoleh dengan menghindari evaluasi numerik yang mahal dari fungsi beta quantile & menggunakan sampel inverse transform sebagai bagian dari sampel penolakan. $k$

Fungsi kepadatan distribusi beta dengan parameter bentuk & terpotong dua kali lipat pada (untuk sedikit lebih umum) $\alpha$ $\beta$ $k_1<k_2$

f (x) = \frac{x^{(α - 1)} (1 - x)^{(β - 1)}}{B (k 2, α, β) - B (k_{1}, α, β)}

$f(x) = \frac{x^{(\alpha-1)}(1-x)^{(\beta-1)}}{\operatorname{B}(k2, \alpha, \beta) - \operatorname{B}(k_1, \alpha, \beta)}$

Ambil bagian kepadatan yang meningkat secara monoton antara & : untuk itu log-cekung, sehingga Anda dapat menyelimutinya dengan fungsi eksponensial yang digambar dengan garis singgung untuk titik di sepanjang itu: $x_\mathrm{L}$ $x_\mathrm{U}$ $\alpha,\beta>1$

g (x) = c \cdot λ e^{- λ (x - x_{L})}

$g(x) = c \cdot \lambda \mathrm{e}^{-\lambda (x-x_\mathrm{L})}$

Temukan dengan mengatur gradien kepadatan log sama $\lambda$

- λ = \frac{a - 1}{x} - \frac{b - 1}{1 - x}

$-\lambda = \frac{a-1}{x} - \frac{b-1}{1-x}$ & temukan dengan menghitung berapa kerapatan eksponensial yang perlu ditingkatkan untuk memenuhi kerapatan pada titik itu

c

$c$

c = \frac{f (x)}{λ e^{- λ (x - x_{L})}}

$c = \frac{f(x)}{\lambda\mathrm{e}^{-\lambda(x-x_\mathrm{L})}}$

Amplop terbaik untuk sampel penolakan adalah yang memiliki area terkecil di bawahnya. Area ini adalah Mengganti ekspresi dalam untuk & , & dropping faktor konstan memberi

A = c \cdot (1 - e^{- λ (x_{U} - x_{L})})

$A = c \cdot (1 - \mathrm{e}^{-\lambda(x_\mathrm{U}-x_\mathrm{L})})$

x

$x$

λ

$\lambda$

c

$c$

\begin{aligned} Q (x) = & \frac{x^{a} (1 - x)^{b}}{(a + b - 2) x - a + 1} \cdot \\ [\exp (\frac{(b - 1) (x - x_{L})}{1 - x} + \frac{x_{L} (a - 1)}{x} - (a - 1)) - \\ \exp (\frac{(b - 1) (x - x_{U})}{1 - x} + \frac{x_{U} (a - 1)}{x} - (a - 1))] \end{aligned}

$\begin{align} Q(x)= & \frac{x^a (1-x)^b}{(a+b-2)x - a+1} \cdot\\ & \left[\exp\left(\frac{(b-1)(x-x_L)}{1-x} + \frac{x_L (a-1)}{x} - (a-1)\right) - \right.\\ & \left. \exp\left(\frac{(b-1)(x-x_U)}{1-x} + \frac{x_U(a-1)}{x} - (a-1)\right)\right]\\ \end{align}$

Menulis turunan dibiarkan sebagai latihan untuk pembaca atau komputer mereka. Algoritma pencari akar apa pun kemudian dapat digunakan untuk menemukan yang . $\frac{\mathrm{d} Q}{\mathrm{d} x}$ $x$ $\frac{\mathrm{d} Q}{\mathrm{d} x} = 0$

Hal yang sama berlaku, mutatis mutandis, untuk mengurangi kepadatan bagian secara monoton. Jadi distribusi beta terpotong dapat terselubung dengan rapi oleh dua fungsi eksponensial, katakanlah, satu dari ke mode & satu dari mode ke , siap untuk pengambilan sampel penolakan. (Untuk variabel acak seragam dipotong , memiliki terpotong eksponensial distribusi dengan parameter tingkat .) $k_1$ $k_2$ $U$ $\frac{- \log(1-U)}{\lambda}$ $\lambda$

Keindahan dari pendekatan ini adalah bahwa semua kerja keras sudah diatur. Setelah fungsi amplop ditetapkan, konstanta normalisasi untuk kepadatan beta terpotong dihitung, yang tersisa adalah menghasilkan varian acak yang seragam, & melakukan padanya beberapa operasi aritmetika sederhana, log & kekuatan, & perbandingan. Mengencangkan fungsi amplop — dengan garis horizontal atau kurva yang lebih eksponensial — tentu saja dapat mengurangi jumlah penolakan.

Scortchi - Reinstate Monica
sumber

+1 Ide bagus. Karena Beta kira-kira normal untuk nilai parameternya yang sedang hingga kecil, tergantung seberapa dekat satu sama lain, menggunakan amplop Gaussian mungkin sedikit lebih efisien.

whuber

@whuber: Saya ingin distribusi dengan distribusi kuantil bentuk tertutup untuk amplop, tapi saya kira Anda dapat menghasilkan varian Gaussian terpotong secara efisien menggunakan salah satu dari perkiraan yang baik untuk fungsi kuantil Gaussian. Saya masih tertarik dengan apa yang akan Anda lakukan ketika atau .

α < 1

$\alpha<1$

β < 1

$\beta<1$

Scortchi

Untuk dan sekecil itu , Anda ingin beralih ke ekor eksponensial. Saya tidak yakin apa yang Anda maksud dengan "bentuk-tertutup," meskipun: ketika Anda melihat keras pada implementasi komputer eksponensial, Gaussians, fungsi hypergeometrik, dll - yaitu, semua fungsi non-aljabar - Anda menemukan bahwa tidak ada mereka memiliki "bentuk tertutup" umum: mereka dihitung melalui perkiraan berturut-turut seperti seri Taylor, fraksi parsial, atau ekspansi asimptotik. Tidak ada banyak perbedaan antara menghitung eksponensial dan menghitung kuantum Gaussian.

α

$\alpha$

β

$\beta$

whuber

@whuber: (1) Pendekatan yang saya lakukan di sini untuk membuat amplop tidak akan berhasil karena kepadatannya tidak log-cekung. (2) (a) Maksud saya tentu saja fungsi aljabar + log & power, trig. fungsi jika saya telah diminta, & bahkan mungkin fungsi gamma - Saya akui saya tidak memiliki gagasan yang tepat. (B) Poin diambil - evaluasi fungsi cepat tidak terbatas pada orang-orang dengan bentuk tertutup.

Scortchi

Poin bagus tentang kegagalan log-concavity. Saya menduga distribusi kuasa hukum harus membuat amplop yang bagus untuk atau .

α < 1

$\alpha\lt 1$

β < 1

$\beta \lt 1$

whuber