Apakah ada pendekatan Bayesian untuk estimasi kepadatan

Saya tertarik untuk memperkirakan kepadatan dari variabel acak kontinu $X$ . Salah satu cara melakukan ini yang saya pelajari adalah penggunaan Kernel Density Estimation.

Tapi sekarang saya tertarik pada pendekatan Bayesian yang mengikuti garis berikut. Saya awalnya percaya bahwa $X$ mengikuti distribusi $F$ . Aku mengambil $n$ pembacaan . Apakah ada beberapa pendekatan untuk memperbarui berdasarkan pada bacaan baru saya?$X$$F$

Saya tahu saya terdengar seperti saya menentang diri saya sendiri: Jika saya hanya percaya pada sebagai distribusi saya sebelumnya, maka tidak ada data yang bisa meyakinkan saya sebaliknya. Namun, anggaplah adalah dan titik data saya seperti . Melihat , saya jelas-jelas tidak dapat menempel pada sebelumnya, tetapi bagaimana saya harus memperbaruinya?$F$$F$$Unif[0,1]$$(0.3, 0.5, 0.9, 1.7)$$1.7$

Pembaruan: Berdasarkan saran dalam komentar, saya sudah mulai melihat proses Dirichlet. Biarkan saya menggunakan notasi berikut:

$G \sim DP(\alpha,H)\\ \theta_i | G \sim G\\ x_i | \theta_i \sim N(\theta_i,\sigma^2)$

Setelah membingkai masalah asli saya dalam bahasa ini, saya kira saya tertarik pada yang berikut: . Bagaimana caranya?$\theta_{n+1} | x_1,...,x_n$

Dalam rangkaian catatan ini (halaman 2), penulis melakukan contoh (Skema Urn Urn Skema). Saya tidak yakin apakah ini relevan.$\theta_{n+1} | \theta_1,...,\theta_n$

Pembaruan 2: Saya juga ingin bertanya (setelah melihat catatan): bagaimana orang memilih untuk DP? Sepertinya pilihan acak. Selain itu, bagaimana orang memilih H sebelumnya untuk DP? Haruskah saya menggunakan prior untuk θ sebagai prior saya untuk H ?$\alpha$$H$$\theta$$H$

Karena Anda menginginkan pendekatan bayesian, Anda perlu mengasumsikan pengetahuan sebelumnya tentang hal yang ingin Anda perkirakan. Ini akan dalam bentuk distribusi.

Sekarang, ada masalah bahwa ini sekarang distribusi melalui distribusi. Namun, ini tidak masalah jika Anda menganggap bahwa distribusi kandidat berasal dari beberapa kelas distribusi yang diparameterisasi.

Misalnya, jika Anda ingin menganggap data terdistribusi gaussian dengan mean yang tidak diketahui tetapi varian yang diketahui, maka semua yang Anda butuhkan adalah prior daripada mean.

Estimasi MAP dari parameter yang tidak diketahui (sebut saja ) dapat dilanjutkan dengan mengasumsikan bahwa semua titik pengamatan / data independen secara kondisional mengingat parameter yang tidak diketahui. Kemudian, perkiraan MAP adalah$\theta$

,$\hat{\theta} = \arg \max_\theta ( \text{Pr}[x_1,x_2,...,x_n,\theta] )$

dimana

.$\text{Pr}[x_1,x_2,...,x_n,\theta] = \text{Pr}[x_1,x_2,...,x_n | \theta] \text{Pr}[\theta] = \text{Pr}[\theta] \prod_{i=1}^n \text{Pr}[x_i | \theta]$

Perlu dicatat bahwa ada kombinasi tertentu dari probabilitas sebelumnya dan distribusi kandidat Pr [ x | θ ] yang memunculkan pembaruan yang mudah (bentuk tertutup) karena lebih banyak poin data diterima.$\text{Pr}[\theta]$$\text{Pr}[x | \theta]$

Untuk keperluan estimasi kepadatan, yang Anda butuhkan bukan

.$\theta_{n+1}|x_{1},\ldots,x_{n}$

Rumus dalam catatan mengacu pada distribusi prediktif dari proses Dirichlet.$\theta_{n+1}|\theta_{1},\ldots,\theta_{n}$

Untuk estimasi kepadatan Anda sebenarnya harus mengambil sampel dari distribusi prediktif

Pengambilan sampel dari distribusi di atas dapat dilakukan baik dengan metode kondisional baik dengan metode marginal. Untuk metode bersyarat, lihat kertas Stephen Walker [1]. Untuk metode marginal, Anda harus memeriksa di makalah Radford Neal [2].

Untuk parameter concnetration Mike West [3] mengusulkan metode untuk inferensi dalam prosedur MCMC termasuk distribusi bersyarat penuh untuk α . Jika Anda memutuskan untuk tidak memperbarui konsentrasi α dalam prosedur MCMC, Anda harus ingat bahwa jika Anda memilih nilai besar untuknya, maka jumlah nilai berbeda yang diambil dari proses Dirichlet akan lebih besar daripada jumlah nilai berbeda saat sejumlah kecil untuk α akan digunakan.$\alpha$$\alpha$$\alpha$$\alpha$

[1] SG, Walker (2006). Mencicipi model Campuran Dirichlet dengan irisan. Komunikasi dalam Statistik (Simulasi dan Perhitungan).

[2] RM, Neal (2000) Metode Markov Chain Monte Carlo untuk model Dirichlet Process Mixture. Jurnal Statistik Komputasi dan Grafik. Vol 9, No 2, hlm 249-265

[3] M., Barat (1992). Estimasi Hyperparameter dalam model campuran proses Dirichlet. Laporan teknikal

Apakah ada beberapa pendekatan untuk memperbarui F berdasarkan pada bacaan baru saya?

Ada sesuatu tepatnya untuk itu. Ini adalah ide utama kesimpulan Bayesian.

$p(\theta | y) \propto p(y|\theta)p(\theta)$

$p(\theta)$$F$$p(y|\theta)$$\theta$

$p(\theta)$