Apa faktor-faktor yang menyebabkan distribusi posterior menjadi tidak terselesaikan?

Dalam statistik Bayesian, sering disebutkan bahwa distribusi posterior tidak dapat dilakukan dan dengan demikian perkiraan inferensi harus diterapkan. Apa faktor-faktor yang menyebabkan kepraktisan ini?

Masalahnya adalah terutama bahwa analisis Bayesian melibatkan integral , sering kali multidimensi dalam masalah realistis, dan integral ini yang biasanya tidak dapat dipecahkan secara analitik (kecuali dalam beberapa kasus khusus yang memerlukan penggunaan konjugat prior).

Sebaliknya, banyak statistik non-Bayesian didasarkan pada kemungkinan maksimum - menemukan fungsi maksimum (biasanya multidimensi), yang melibatkan pengetahuan turunannya , yaitu diferensiasi. Sekalipun begitu metode numerik digunakan dalam banyak masalah yang lebih kompleks, tetapi dimungkinkan untuk melangkah lebih jauh tanpa masalah itu, dan metode numeriknya bisa lebih sederhana (walaupun yang tidak terlalu sederhana bisa tampil lebih baik dalam praktiknya).

Jadi saya akan mengatakan bahwa diferensiasi lebih mudah ditelusuri daripada integrasi.

Saya berkesempatan untuk bertanya langsung kepada David Blei , dan dia mengatakan kepada saya bahwa sifat keras kepala dalam konteks ini berarti satu dari dua hal:

1. Integral tidak memiliki solusi bentuk tertutup. Ini mungkin ketika kita memodelkan beberapa data dunia nyata yang kompleks dan kita tidak bisa menuliskan distribusi di atas kertas.

2. Integral tidak bisa dilakukan secara komputasi. Dia merekomendasikan agar saya duduk dengan pena dan kertas dan benar-benar menyusun bukti marginal untuk campuran Bayesian dari Gaussians. Anda akan melihat bahwa itu tidak bisa dilakukan secara komputasi, yaitu eksponensial. Dia memberikan contoh yang bagus tentang hal ini dalam makalah terbaru (Lihat 2.1 Masalah perkiraan inferensi ).

FWIW, saya menemukan pilihan kata ini membingungkan, karena (1) itu kelebihan makna dan (2) itu sudah digunakan secara luas di CS untuk merujuk hanya pada keteguhan komputasi.

Sebenarnya, ada berbagai kemungkinan:

1. ekspresi bentuk tertutup tersedia untuk posterior (contoh: , sebelum : dan posterior adalah distribusi ),$Y\sim \text{Bin}(n,\pi)$$\pi$$\text{Beta}(a,b)$$p(\pi|Y=y)$$\text{Beta}(a+y,b+n-y)$
2. posterior dapat ditelusuri hingga konstanta normalisasi (contoh: , sebelum adalah dan )$Y\sim \text{Bin}(n,\pi)$$\log \pi$$N(\mu, \sigma^2)$$p(\pi|Y=y) \propto p(y|\pi) p(\pi)$
3. proses menghasilkan data adalah beberapa mekanisme rumit yang begitu rumit sehingga kita tidak dapat menuliskan likelihod (atau jika kita dapat melakukannya selamanya untuk mengevaluasi), tetapi kita dapat mensimulasikan dari proses menghasilkan data (misalnya beberapa jenis proses untuk bagaimana properti tertentu berkembang selama beberapa generasi dalam suatu populasi). Untuk melanjutkan contoh dari atas, dalam hal ini kita tidak akan memiliki ekspresi bentuk tertutup untuk , tetapi dapat mensimulasikan realisasi dari diberikan nilai (mari kita bahkan tidak berbicara tentang kasus di mana kita memiliki tidak tahu bagaimana data muncul ...).$p(y|\pi)$$Y$$\pi$

Orang-orang biasanya memaksudkan sesuatu seperti (2) ketika mereka berbicara tentang posterior (yang tidak bisa ditelusuri) dan seperti (3) ketika mereka berbicara tentang kemungkinan yang tidak dapat ditelusuri. Ini adalah kasus ketiga ketika perkiraan perhitungan Bayesian adalah salah satu opsi, sedangkan dalam kasus kedua metode MCMC biasanya layak (yang Anda mungkin berpendapat dalam beberapa hal perkiraan). Saya tidak sepenuhnya yakin, mana dari kedua kutipan yang Anda berikan merujuk.

Traktabilitas terkait dengan bentuk -ekspresi yang tertutup .

Masalah dikatakan dapat ditelusuri jika mereka dapat diselesaikan dalam bentuk ekspresi bentuk tertutup.

Dalam matematika, ekspresi bentuk-tertutup adalah ekspresi matematika yang dapat dievaluasi dalam sejumlah operasi yang terbatas. Ini mungkin berisi konstanta, variabel, operasi "terkenal" tertentu (misalnya, + - × ÷), dan fungsi (misalnya, akar ke-n, eksponen, logaritma, fungsi trigonometri, dan fungsi hiperbolik terbalik), tetapi biasanya tidak ada batas. Himpunan operasi dan fungsi yang diterima dalam ekspresi bentuk-tertutup dapat bervariasi sesuai dengan penulis dan konteks.

Jadi intraktabilitas berarti bahwa ada semacam batasan / ketidakterbatasan yang terlibat (seperti penjumlahan tak terbatas dalam integral) yang tidak dapat dievaluasi dalam jumlah operasi terbatas dan dengan demikian teknik perkiraan (seperti MCMC) harus digunakan.

Artikel Wikipedia menunjuk pada tesis Cobham yang mencoba memformalkan "jumlah operasi" ini, dan dengan demikian penelusuran.