Mengapa kemungkinan marjinal sulit / sulit untuk diperkirakan?

Saya memiliki pertanyaan yang pada dasarnya mendasar untuk ditanyakan di sini yang telah mengganggu saya untuk sementara waktu. Melalui sebagian besar bacaan saya tentang statistik bayesian, dinyatakan tanpa basa-basi bahwa kemungkinan marjinal sering sulit dipecahkan atau sulit diperkirakan. Mengapa?

Alasan yang sering dinyatakan mencakup pernyataan tentang sifat dimensi tinggi dari penjumlahan / penjumlahan yang akan diperkirakan, atau bahwa ranah model yang mungkin tak terbatas.

Saya ingin komunitas ini mengarahkan saya ke sesuatu yang menggali mengapa, dan menjelaskan masalah ini dalam bahasa yang sederhana.

Tautan ke sumber daya juga akan dihargai. Saya telah mencari di Google istilah dalam pencarian sumber daya yang menjelaskan hal ini dengan jelas, tetapi kebanyakan dari mereka hanya menyatakan masalah tanpa penjelasan. Saya juga memiliki pengenalan pola buku dalam pembelajaran mesin & buku pembelajaran mesin kevin murphy. Saya tidak puas dengan penjelasan dalam teks-teks ini, jadi saya mencari sesuatu yang jelas dan sederhana.

Inilah jawaban dengan contoh. Misalkan Anda memiliki model hierarkis berikut

$$Y_{ig} \stackrel{ind}{\sim} N(\theta_g,1) \quad \theta_g \stackrel{ind}{\sim} N(\mu,\tau^2) \quad \mu|\tau^2 \sim N(m,\tau^2/k) \quad \tau^2 \sim IG(a,b)$$ untuk kelompok $g=1,\ldots,G$ dan observasi dalam suatu kelompok $i=1,\ldots,n_g$ dan nilai-nilai yang dikenal $m,k,a,$ dan $b$. Dengan $$y = (y_{1,1},\ldots,y_{n_1,1},y_{1,2},\ldots,y_{n_2,2},\ldots,y_{1,G},\ldots,y_{n_G,G}),$$ kemungkinan marginal adalah $$p(y) = \int \cdots \int \prod_{g=1}^G \left[\prod_{i=1}^{n_g} N(y_{ig};\theta_g,1) \right] N(\theta_g; \mu,\tau^2) d\theta_1 \cdots d\theta_G d\mu d\tau^2.$$ Dimensi integral adalah $G+2$ dan jika $G$besar, maka ini integral dimensi tinggi. Sebagian besar teknik integrasi numerik akan membutuhkan jumlah sampel atau iterasi yang ekstrem untuk mendapatkan perkiraan yang masuk akal untuk integral ini.

Integral ini kebetulan memiliki kemungkinan marginal dalam bentuk tertutup, sehingga Anda dapat mengevaluasi seberapa baik teknik integrasi numerik dapat memperkirakan kemungkinan marginal. Untuk memahami mengapa menghitung kemungkinan marjinal itu sulit, Anda bisa mulai dari yang sederhana, misalnya memiliki satu pengamatan, memiliki satu kelompok, memiliki$\mu$ dan $\sigma^2$dikenal, dll. Anda perlahan-lahan dapat membuat masalah semakin dan semakin sulit dan melihat bagaimana teknik integrasi numerik relatif terhadap kebenaran. Anda akan melihat bahwa mereka semakin buruk, yaitu mereka akan membutuhkan lebih banyak sampel atau iterasi untuk mendapatkan akurasi yang sama, seperti dimensi masalah, yaitu$G$, meningkat. Akhirnya, biarkan$Y_{ig} \stackrel{ind}{\sim} Po(e^{\theta_g})$dan sekarang Anda memiliki kemungkinan marjinal tanpa formulir tertutup. Berdasarkan pengalaman Anda ketika Anda tahu kebenaran, berapa banyak Anda akan percaya perkiraan numerik ketika Anda tidak tahu kebenaran? Saya kira Anda tidak akan memiliki banyak kepercayaan pada estimasi numerik.