Bayesian memperbarui dengan data baru

17

Bagaimana cara menghitung posterior dengan N ~ (a, b) setelah mengamati n titik data? Saya berasumsi bahwa kita harus menghitung mean sampel dan varians dari titik data dan melakukan semacam perhitungan yang menggabungkan posterior dengan sebelumnya, tapi saya tidak begitu yakin seperti apa rumus kombinasi itu.

bayesian normal-distribution conjugate-prior statstudent
sumber

22

Ide dasar dari memperbarui Bayesian adalah bahwa diberikan beberapa data $X$ dan sebelum parameter lebih menarik $\theta$ , di mana hubungan antara data dan parameter dijelaskan menggunakan kemungkinan fungsi, Anda menggunakan teorema Bayes untuk mendapatkan posterior

p (θ ∣ X) \propto p (X ∣ θ) p (θ)

$p(\theta \mid X) \propto p(X \mid \theta) \, p(\theta)$

Ini dapat dilakukan secara berurutan, di mana setelah melihat titik data pertama sebelum diperbarui ke posterior , selanjutnya Anda dapat mengambil titik data kedua dan menggunakan posterior yang diperoleh sebelum sebagai sebelumnya , untuk memperbaruinya sekali lagi dll. $x_1$ $\theta$ $\theta'$ $x_2$ $\theta'$

Biarkan saya memberi Anda sebuah contoh. Bayangkan bahwa Anda ingin memperkirakan rata-rata dari distribusi normal dan diketahui oleh Anda. Dalam kasus seperti itu kita dapat menggunakan model normal-normal. Kami menganggap sebelumnya normal untuk dengan hiperparameter $\mu$ $\sigma^2$ $\mu$ $\mu_0,\sigma_0^2:$

\begin{aligned} X ∣ μ & \sim N o r m a l (μ, σ^{2}) \\ μ & \sim N o r m a l (μ_{0}, σ_{0}^{2}) \end{aligned}

$\begin{align} X\mid\mu &\sim \mathrm{Normal}(\mu,\ \sigma^2) \\ \mu &\sim \mathrm{Normal}(\mu_0,\ \sigma_0^2) \end{align}$

Karena distribusi normal adalah konjugat sebelum untuk distribusi normal, kami memiliki solusi bentuk-tertutup untuk memperbarui sebelumnya $\mu$

\begin{aligned} E (μ^{'} ∣ x) & = \frac{σ^{2} μ + σ_{0}^{2} x}{σ^{2} + σ_{0}^{2}} \\ V a r (μ^{'} ∣ x) & = \frac{σ^{2} σ_{0}^{2}}{σ^{2} + σ_{0}^{2}} \end{aligned}

$\begin{align} E(\mu' \mid x) &= \frac{\sigma^2\mu + \sigma^2_0 x}{\sigma^2 + \sigma^2_0} \\[7pt] \mathrm{Var}(\mu' \mid x) &= \frac{\sigma^2 \sigma^2_0}{\sigma^2 + \sigma^2_0} \end{align}$

Sayangnya, solusi bentuk tertutup sederhana seperti itu tidak tersedia untuk masalah yang lebih canggih dan Anda harus mengandalkan algoritma pengoptimalan (untuk estimasi titik menggunakan maksimum pendekatan posteriori ), atau simulasi MCMC.

Di bawah ini Anda dapat melihat contoh data:

n <- 1000
set.seed(123)
x     <- rnorm(n, 1.4, 2.7)
mu    <- numeric(n)
sigma <- numeric(n)

mu[1]    <- (10000*x[i] + (2.7^2)*0)/(10000+2.7^2)
sigma[1] <- (10000*2.7^2)/(10000+2.7^2)
for (i in 2:n) {
  mu[i]    <- ( sigma[i-1]*x[i] + (2.7^2)*mu[i-1] )/(sigma[i-1]+2.7^2)
  sigma[i] <- ( sigma[i-1]*2.7^2                  )/(sigma[i-1]+2.7^2)
}

Jika Anda memplot hasilnya, Anda akan melihat bagaimana posterior mendekati nilai estimasi (nilai sebenarnya ditandai dengan garis merah) ketika data baru diakumulasikan.

Untuk mempelajari lebih lanjut, Anda dapat memeriksa slide-slide dan analisis Conjugate Bayesian dari kertas distribusi Gaussian oleh Kevin P. Murphy. Periksa juga Apakah prior Bayesian menjadi tidak relevan dengan ukuran sampel yang besar? Anda juga dapat memeriksa catatan itu dan entri blog ini untuk pengantar inferensi langkah demi langkah yang dapat diakses dari Bayesian.

Tim
sumber

Terima kasih, ini sangat membantu. Bagaimana kita akan menyelesaikan contoh sederhana ini (varian tidak dikenal, tidak seperti contoh Anda)? Misalkan kita memiliki distribusi N ~ (5, 4) sebelumnya dan kemudian kita amati 5 titik data (8, 9, 10, 8, 7). Apa yang akan menjadi posterior setelah pengamatan ini? Terima kasih sebelumnya. Sangat dihargai.

statstudent

@Kelly, Anda dapat menemukan contoh untuk kasus ketika salah satu varians tidak diketahui dan rata-rata diketahui, atau keduanya tidak dikenal dalam entri Wikipedia tentang konjugasi prior dan tautan yang saya berikan di akhir jawaban saya. Jika baik mean dan varians tidak diketahui itu menjadi sedikit lebih rumit.

Tim

μ

$\mu$

σ^{2}

$\sigma^2$

4

$P(\theta)$ $P(x \mid \theta)$

P (θ ∣ x) = \frac{\sum_{θ} P (x ∣ θ) P (θ)}{P (x)}

$P(\theta \mid x) = \frac{\sum_\theta P(x \mid \theta) P(\theta)}{P(x)}$

$P(x)$

P (θ ∣ x) \sim \sum_{θ} P (x ∣ θ) P (θ)

$P(\theta \mid x) \sim \sum_\theta P(x \mid \theta)P(\theta)$

$\sim$

Kasus konjugasi prior (di mana Anda sering mendapatkan formula form tertutup yang bagus)

$\boldsymbol{\theta}$ $P(\boldsymbol{\theta})$ $P(\mathbf{x} \mid \boldsymbol{\theta})$ $P(\boldsymbol{\theta})$ $P(\boldsymbol{\theta} \mid \mathbf{x})$ berada di keluarga yang sama (mis. keduanya Gaussian).

Tabel distribusi konjugasi dapat membantu membangun intuisi (dan juga memberikan beberapa contoh instruktif untuk bekerja melalui diri Anda sendiri).

Matthew Gunn
sumber

1

Ini adalah masalah perhitungan pusat untuk analisis data Bayesian. Itu benar-benar tergantung pada data dan distribusi yang terlibat. Untuk kasus sederhana di mana semuanya dapat diekspresikan dalam bentuk tertutup (misalnya, dengan prior konjugat), Anda dapat menggunakan teorema Bayes secara langsung. Keluarga teknik yang paling populer untuk kasus yang lebih kompleks adalah rantai Markov Monte Carlo. Untuk detailnya, lihat buku teks pengantar tentang analisis data Bayesian.

Kodiologis
sumber

Thank you so much! Sorry if this is a really stupid follow-up question, but in the simple cases that you mentioned, how exactly would we use Bayes's theorem directly? Would the distribution created by the sample mean and variance of the data points become the likelihood function? Thank you very much.

statstudent

@Kelly Again, it depends on the distribution. See e.g. en.wikipedia.org/wiki/Conjugate_prior#Example . (If I answered your question, don't forget to accept my answer by clicking on the check mark under the voting arrows.)

Kodiologist

Bayesian memperbarui dengan data baru

Jawaban:

Kasus konjugasi prior (di mana Anda sering mendapatkan formula form tertutup yang bagus)