Cara menyebarkan undian secara optimal saat menghitung beberapa harapan

Misalkan kita ingin menghitung beberapa harapan:

$$E_YE_{X|Y}[f(X,Y)]$$

Misalkan kita ingin memperkirakan ini menggunakan simulasi Monte Carlo.

$$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$$

TAPI kira itu mahal untuk menarik sampel dari kedua distribusi, sehingga kita hanya mampu untuk menarik nomor tetap . $K$

Bagaimana seharusnya kita mengalokasikan ? Contohnya termasuk undian untuk setiap distribusi, atau dalam ekstrem, satu undian di bagian luar dan undian di bagian dalam, sebaliknya dll.$K$$K/2$$K-1$

Intuisi saya memberi tahu saya bahwa itu harus dilakukan dengan varian / entropi dari distribusi relatif satu sama lain. Misalkan luar satu adalah titik massa, maka pembagian yang meminimalkan kesalahan MC akan menarik 1 dari dan menarik dari . $K$$Y$$K-1$$X|Y$

Semoga ini jelas.

Ini adalah pertanyaan yang sangat menarik dengan sedikit dokumentasi dalam literatur Monte Carlo, kecuali sehubungan dengan stratifikasi dan Rao-Blackwellisation . Hal ini mungkin disebabkan oleh fakta bahwa perhitungan varian bersyarat yang diharapkan dan varian harapan bersyarat jarang layak.

Pertama, mari kita asumsikan Anda menjalankan simulasi dari π X , x 1 , ... , x R dan untuk setiap simulasi x r , Anda menjalankan simulasi S dari π Y | X = x r , y 1 r , ... , y s r . Estimasi Monte Carlo Anda adalah δ ( R , S ) = $R$$\pi_X$$x_1,\ldots,x_R$$x_r$$S$$\pi_{Y|X=x_r}$$y_{1r},\ldots,y_{sr}$ Varian estimasi ini didekomposisi sebagai berikut var { δ ( R , S )

$$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$$ Oleh karena itu jika seseorang ingin meminimalkan varians ini pilihan yang optimal adalahR=K. Menyiratkan bahwaS=1. Kecuali ketika istilah varians pertama adalah nol, dalam hal ini tidak masalah. Namun, seperti yang dibahas dalam komentar, asumsiK=RStidak realistis karena tidak memperhitungkan produksi satuxr[atau menganggap ini gratis]. $$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$$ $R=K$$S=1$$K=RS$$x_r$

Sekarang mari kita asumsikan biaya simulasi yang berbeda dan kendala anggaran , yang berarti bahwa y r s 's biaya yang lebih kali untuk mensimulasikan daripada x r ' s. Dekomposisi varians di atas adalah $R+aRS=b$$y_{rs}$$a$$x_r$ yang dapat diminimalkan dalamRsebagai R∗=b/1+{aEX[varY| X{f(xr,Y)| x

$$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$$ $R$ [bilangan bulat terdekat di bawah kendala R ≥ 1 dan S ≥ 1 ], kecuali jika varians pertama adalah sama dengan nol, dalam hal R = 1 . Saat E X [ var Y | X { f ( x r $$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$$ $R\ge 1$$S\ge 1$$R=1$ , varians minimum sesuai dengan R maksimum, yang mengarah ke S = 1 dalam formalisme saat ini.$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$$R$$S=1$

Perhatikan juga bahwa solusi ini harus dibandingkan dengan solusi simetris ketika integral dalam diberikan Y dan integral luar terhadap marginal di Y (dengan asumsi simulasi juga layak dalam urutan ini).$X$$Y$$Y$

$S(x_r)$$x_r$$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$