Bagaimana cara memimpin yang tidak tepat sebelumnya ke distribusi posterior yang tepat?

Kita tahu bahwa dalam hal distribusi sebelumnya yang tepat,

$P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)}$

$\propto P(X \mid \theta)P(\theta)$ .

Pembenaran biasa untuk langkah ini adalah bahwa distribusi marginal , , konstan terhadap dan dengan demikian dapat diabaikan ketika menurunkan distribusi posterior. $X$ $P(X)$ $\theta$

Namun, dalam kasus prior yang tidak patut, bagaimana Anda tahu bahwa distribusi posterior sebenarnya ada? Tampaknya ada sesuatu yang hilang dalam argumen yang tampaknya melingkar ini. Dengan kata lain, jika saya menganggap posterior itu ada, saya memahami mekanisme cara menurunkan posterior, tetapi saya sepertinya tidak memiliki alasan teoretis mengapa itu ada.

PS Saya juga mengakui bahwa ada kasus-kasus di mana prior yang tidak tepat mengarah ke posterior yang tidak tepat.

distributions bayesian prior posterior jsk
sumber

Jawaban:

Kami biasanya menerima posisi dari prior yang tidak tepat $\pi(\theta)$ jika

\frac{π (X ∣ θ) π (θ)}{π (X)}

$\frac{\pi(X \mid \theta) \pi(\theta)}{\pi(X)}$ ada dan merupakan distribusi probabilitas yang valid (yaitu, ia mengintegrasikan tepat ke 1 di atas dukungan). Pada dasarnya ini bermuara pada

π (X) = \int π (X ∣ θ) π (θ) d θ

$\pi(X) = \int \pi(X \mid \theta) \pi(\theta) \,d\theta$ terbatas. Jika ini masalahnya, maka kami memanggil kuantitas inidanmenerimanyasebagai distribusi posterior yang kami inginkan. Namun, penting untuk dicatat bahwa ini BUKAN distribusi posterior, juga bukan distribusi probabilitas bersyarat (kedua istilah ini identik dalam konteks di sini).

π (θ ∣ X)

$\pi(\theta \mid X)$

Sekarang, saya berkata kami menerima distribusi 'posterior' dari prior yang tidak tepat seperti yang diberikan di atas. Alasan mereka diterima adalah karena sebelumnya $\pi(\theta)$ masih akan memberi kita 'skor' relatif pada ruang parameter; yaitu, rasio $\frac{\pi(\theta_1)}{\pi(\theta_2)}$ membawa arti bagi analisis kami. Makna yang kita dapatkan dari prior yang tidak tepat dalam beberapa kasus mungkin tidak tersedia di prior priors. Ini adalah pembenaran potensial untuk menggunakannya. Lihat jawaban Sergio untuk pemeriksaan motivasi praktik yang lebih teliti untuk prior yang tidak patut.

Perlu dicatat bahwa kuantitas ini $\pi(\theta \mid X)$ memang memiliki sifat teoritis yang diinginkan juga, Degroot & Schervish :

Prior yang tidak tepat bukanlah distribusi probabilitas yang sebenarnya, tetapi jika kita berpura-pura bahwa itu adalah, kita akan menghitung distribusi posterior yang memperkirakan posisi yang akan kita peroleh dengan menggunakan prior konjugat yang tepat dengan nilai ekstrim dari hiperparameter sebelumnya.

sumber

Saya bingung dengan beberapa hal dalam jawaban Anda. Anda mengatakan bahwa kami menerima eksterior jika di atas terbatas. Apakah itu berarti jika integral itu tidak terbatas maka posterior tidak akan terbatas? Juga, Anda tampaknya menyiratkan bahwa kami menggunakan posterior dalam kasus ini, tetapi itu bukan distribusi nyata - benarkah itu? apakah tidak ada kasus di mana itu adalah distribusi nyata? Juga, apa yang harus dilakukan oleh rasio prior dengan ini? Saya tidak melihat hubungannya.

Ben Elizabeth Ward

@ BenElizabethWard Jika

ada, maka integral

harus ada (dan dengan demikian terbatas). Kontrapositif juga benar: jika

tidak ada (tidak terbatas), maka

tidak ada. Ketika itu ada dan merupakan distribusi probabilitas yang valid,

adalah distribusi probabilitas. Namun, itu bukan distribusi posterior untuk

dengan kemungkinan data yang diberikan

π (θ ∣ X)

$\pi(\theta \mid X)$

π (X)

$\pi(X)$

π (X)

$\pi(X)$

π (θ ∣ X)

$\pi(\theta \mid X)$

π (θ ∣ X)

$\pi(\theta \mid X)$

π (θ)

$\pi(\theta)$

. Posterior untuk yang sebelumnya tidak ada. Kami menerima

dalam analisis kami karena merupakan perkiraan.

π (X ∣ θ)

$\pi(X \mid \theta)$

π (θ ∣ X)

$\pi(\theta \mid X)$

@BenElizabethWard Rasio ini digunakan untuk menunjukkan bahwa sebelumnya masih berisi informasi berguna yang kita mungkin tidak dapat memuat ke sebelumnya yang tepat. Saya akan mengedit jawaban saya untuk memasukkan ini.

@jsk

bukan merupakan distribusi probabilitas, tetapi definisi distribusi posterior mengharuskan

menjadi distribusi probabilitas, sehingga curang untuk memanggil

distribusi posterior saat itu adalah distribusi probabilitas. Degroot & Schervish mengatakan '..kami akan menghitung distribusi posterior itu ..' dengan mana mereka berasumsi Anda setuju untuk 'berpura-pura bahwa mereka [prior yang tidak patut] adalah [prior priors]' seperti yang dinyatakan sebelumnya dalam kutipan.

π (θ)

$\pi(\theta)$

π (θ)

$\pi(\theta)$

π (θ ∣ X)

$\pi(\theta \mid X)$

Untuk membuat jawaban Anda lengkap dan mandiri sehingga pembaca masa depan tidak harus membaca pertukaran komentar ini, apakah Anda ingin memperbarui jawaban Anda?

jsk

Ada jawaban "teoretis" dan yang "pragmatis".

Dari sudut pandang teoretis, ketika prior tidak patut posterior tidak ada (well, lihat jawaban Matthew untuk pernyataan yang lebih jelas), tetapi dapat diperkirakan dengan bentuk pembatas.

Jika data terdiri dari sampel iid bersyarat dari distribusi Bernoulli dengan parameter , dan memiliki distribusi beta dengan parameter dan , distribusi posterior adalah distribusi beta dengan parameter ( pengamatan, berhasil) dan rata-rata adalah $\theta$ $\theta$ $\alpha$ $\beta$ $\theta$ $\alpha + s, \beta+n-s$ $n$ $s$ $(\alpha+s)/(\alpha+\beta+n)$ . Jika kita menggunakan distribusi beta yang tidak tepat (dan tidak nyata) sebelum dengan hipeparameter sebelumnya , dan berpura-pura bahwa , kita memperoleh posterior yang sebanding dengan , yaitu pdf dari distribusi beta dengan parameter dan $\alpha=\beta=0$ $\pi(\theta)\propto\theta^{-1}(1-\theta)^{-1}$ $\theta^{s-1}(1-\theta)^{n-s-1}$ $s$ $n-s$ kecuali untuk faktor konstan. Ini adalah bentuk pembatas posterior untuk beta sebelum dengan parameter dan (Degroot & Schervish, Contoh 7.3.13). $\alpha\to 0$ $\beta\to 0$

In a normal model with mean $\theta$ , known variance $\sigma^2$ , and a $\mathcal{N}(\mu_0,\tau^2_0)$ prior distribution for $\theta$ , if the prior precision, $1/\tau^2_0$ , is small relative to the data precision, $n/\sigma^2$ , then the posterior distribution is approximately as if $\tau^2_0=\infty$ :

p (θ ∣ x) \approx N (θ ∣ \bar{x}, σ^{2} / n)

$p(\theta\mid x)\approx \mathcal{N}(\theta\mid\bar{x},\sigma^2/n)$ i.e. the posterior distribution is approximately that which would result from assuming

p (θ)

$p(\theta)$ is proportional to a constant for

θ \in (- \infty, \infty)

$\theta\in(-\infty,\infty)$ , a distribution that is not strictly possible, but the limiting form of the posterior as

τ_{0}^{2}

$\tau^2_0$ approaches

\infty

$\infty$ does exist (Gelman et al., p. 52).

From a "pragmatic" point of view, $p(x\mid\theta)p(\theta)=0$ when $p(x\mid\theta)=0$ whatever $p(\theta)$ is, so if $p(x\mid\theta)\ne 0$ in $(a,b)$ , then $\int_{-\infty}^{\infty}p(x\mid\theta)p(\theta)d\theta=\int_a^b p(x\mid\theta)p(\theta)d\theta$ . Improper priors may be employed to represent the local behavior of the prior distribution in the region where the likelihood is appreciable, say $(a,b)$ . By supposing that to a sufficient approximation a prior follows forms such as $f(x)=k, x\in(-\infty,\infty)$ or $f(x)=kx^{-1}, x\in(0,\infty)$ only over $(a,b)$ , that it suitably tails to zero outside that range, we ensure the priors actually used are proper (Box and Tiao, p. 21). So if the prior distribution of $\theta$ is $\mathcal{U}(-\infty,\infty)$ but $(a,b)$ is bounded, it is as if $\theta\sim\mathcal{U}(a,b)$ , i.e. $p(x\mid\theta)p(\theta)=p(x\mid\theta)k\propto p(x\mid\theta)$ . For a concrete example, this is what happens in Stan: if no prior is specified for a parameter, it is implicitly given a uniform prior on its support and this is handled as a multiplication of the likelihood by a constant.

Sergio
sumber

Can you say more about why it does not exist from a theoretical point of view?

jsk

I couldn't expound better than Matthew in his answer and in his comments.

Sergio

In the pragmatic section, what is y? Also in that section, should some of the

p (θ ∣ x)

$p(\theta \mid x)$ terms be the likelihood

p (x ∣ θ)

$p(x\mid \theta)$ ?

jsk

Thanks. I Think there might be one more mistake... You write

P (θ) = k x^{- 1}

$P(\theta)=kx^{-1}$ , but the prior can't depend on

x

$x$ . Do you mean

P (θ) = k θ^{- 1}

$P(\theta)=k\theta^{-1}$ ?

jsk

Right! I've re-written that formulas as they are in Box & Tiao. I was trying to choose a homogeneous notation (e.g. Gelman uses

y

$y$ instead of

x

$x$ , DeGroot uses

ξ (.)

$\xi(.)$ for priors and posteriors etc.) but I ended up in a mess... Thanks!

Sergio

However, in the case of an improper prior, how do you know that the posterior distribution actually exists?

The posterior might not be proper either. If the prior is improper and the likelihood is flat (because there are no meaningful observations), then the posterior equals the prior and is also improper.

Usually you have some observations, and usually the likelihood is not flat, so the posterior is proper.

Neil G
sumber