Kemungkinan vs distribusi bersyarat untuk analisis Bayesian

Kita dapat menulis teorema Bayes sebagai

hal (θ | x) = \frac{f (X | θ) hal (θ)}{\int_{θ} f (X | θ) hal (θ) d θ}

$p(\theta|x) = \frac{f(X|\theta)p(\theta)}{\int_{\theta} f(X|\theta)p(\theta)d\theta}$

di mana $p(\theta|x)$ adalah posterior, $f(X|\theta)$ adalah distribusi bersyarat, dan $p(\theta)$ adalah yang sebelumnya.

atau

hal (θ | x) = \frac{L. (θ | x) hal (θ)}{\int_{θ} L. (θ | x) hal (θ) d θ}

$p(\theta|x) = \frac{L(\theta|x)p(\theta)}{\int_{\theta} L(\theta|x)p(\theta)d\theta}$

di mana $p(\theta|x)$ adalah posterior, $L(\theta|x)$ adalah fungsi kemungkinan, dan $p(\theta)$ adalah yang sebelumnya.

Pertanyaanku adalah

Mengapa analisis Bayesian dilakukan menggunakan fungsi kemungkinan dan bukan distribusi kondisional?
Dapatkah Anda mengatakan dengan kata-kata apa perbedaan antara kemungkinan dan distribusi kondisional? Saya tahu kemungkinannya bukan distribusi probabilitas dan $L(\theta|x) \propto f(X|\theta)$ .

bayesian likelihood kzoo
sumber

Tidak ada perbedaan! Kemungkinannya adalah distribusi bersyarat

, yah, sebanding dengan, yang terpenting.

f (X | θ)

$f(X | \theta)$

kjetil b halvorsen

Parameter sebelumnya

memiliki kerapatan

. jika realisasi

memiliki nilai

sedangkan

adalah nilai yang diamati dari variabel acak

, maka nilai fungsi kemungkinan

adalah tepat

, nilai kepadatan bersyarat

dari

Θ

$\Theta$

p_{Θ} (θ)

$p_\Theta(\theta)$

Θ

$\Theta$

θ

$\theta$

x

$x$

X

$X$

L (θ ∣ x)

$L(\theta\mid x)$

f (x ∣ θ)

$f(x\mid \theta)$

f_{X ∣ Θ} (x ∣ Θ = θ)

$f_{X\mid\Theta}(x\mid\Theta=\theta)$

X

$X$ . Perbedaannya adalah bahwa

untuk semua realisasi

. Namun, sebagai fungsi dari

(dan tetap

adalah tidak kepadatan:

\int_{- \infty}^{\infty} f_{X ∣ Θ} (x ∣ Θ = θ) d x = 1

$\int_{-\infty}^{\infty}f_{X\mid\Theta}(x\mid\Theta=\theta)dx=1$

Θ

$\Theta$

θ

$\theta$

x

$x$

L (θ ∣ x)

$L(\theta\mid x)$

\int L. (θ ∣ x) d θ \neq 1

$\int L(\theta\mid x)d\theta\neq 1$

Dilip Sarwate

Jawaban:

Misalkan Anda memiliki variabel acak (yang nilainya akan diamati dalam percobaan Anda) yang independen secara kondisional, mengingat bahwa , dengan kepadatan bersyarat $X_1,\dots,X_n$ $\Theta=\theta$ , untuk . Ini adalah Anda (mendalilkan) statistik (bersyarat) model, dan kepadatan bersyarat mengungkapkan, untuk setiap kemungkinan nilai dari (random) parameter , ketidakpastian tentang nilai-nilai dari 's,sebelumAnda memiliki akses ke nyata data. Dengan bantuan kepadatan bersyarat Anda dapat, misalnya, menghitung probabilitas bersyarat seperti $f_{X_i\mid\Theta}(\,\cdot\mid\theta)$ $i=1,\dots,n$ $\theta$ $\Theta$ $X_i$ untuk masing-masing .

P {X_{1} \in B_{1}, ..., X_{n} \in B_{n} ∣ Θ = θ} = \int_{B_{1} \times \dots \times B_{n}} \prod_{saya = 1}^{n} f_{X_{saya} ∣ Θ} (x_{saya} ∣ θ) d x_{1} ... d x_{n},

$P\{X_1\in B_1,\dots,X_n\in B_n\mid \Theta=\theta\} = \int_{B_1\times\dots\times B_n} \prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta)\,dx_1\dots dx_n \, ,$

θ

$\theta$

Setelah Anda memiliki akses ke sampel yang sebenarnya nilai (realisasi) dari 's yang telah diamati dalam satu kali percobaan Anda, situasi berubah: tidak ada ketidakpastian lagi tentang diamati . Misalkan acakmengasumsikan nilai dalam beberapa ruang parameter . Sekarang, Anda mendefinisikan, untuk nilai-nilai yang diketahui (tetap) fungsi $(x_1,\dots,x_n)$ $X_i$ $X_1,\dots,X_n$ $\Theta$ $\Pi$ $(x_1,\dots,x_n)$

{L.}_{x_{1}, ..., x_{n}} : Π \to R

$L_{x_1,\dots,x_n} : \Pi \to \mathbb{R} \,$ oleh

Perhatikan bahwa

{L.}_{x_{1}, ..., x_{n}} (θ) = \prod_{saya = 1}^{n} f_{X_{saya} ∣ Θ} (x_{saya} ∣ θ) .

$L_{x_1,\dots,x_n}(\theta)=\prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta) \, .$

, yang dikenal sebagai "fungsi kemungkinan" adalah fungsi dari

. Dalam situasi "setelah Anda memiliki data" ini, kemungkinan

berisi, untuk model kondisional tertentu yang kami pertimbangkan, semua informasi tentang parameter

terkandung dalam sampel khusus ini

. Bahkan, kebetulan bahwa

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

θ

$\theta$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

(x_{1}, \dots, x_{n})

$(x_1,\dots,x_n)$

adalah statistik yang cukup untuk

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

Menjawab pertanyaan Anda, untuk memahami perbedaan antara konsep kepadatan bersyarat dan kemungkinan, perhatikan definisi matematisnya (yang jelas berbeda: mereka adalah objek matematika yang berbeda, dengan sifat yang berbeda), dan juga ingat bahwa kepadatan bersyarat merupakan "pra -contoh "objek / konsep, sedangkan kemungkinannya adalah" after-sample ". Saya harap semua ini juga membantu Anda menjawab mengapa inferensi Bayesian (menggunakan cara Anda mengatakannya, yang menurut saya tidak ideal) dilakukan "menggunakan fungsi kemungkinan dan bukan distribusi kondisional": tujuan inferensi Bayesian adalah untuk menghitung distribusi posterior, dan untuk itu kami mengkondisikan pada data yang diamati (diketahui).

Zen
sumber

Saya pikir Zen benar ketika dia mengatakan bahwa kemungkinan dan kemungkinan bersyarat berbeda. Dalam fungsi kemungkinan θ bukan variabel acak, sehingga berbeda dari probabilitas bersyarat.

Martine

Proporsionalitas digunakan untuk menyederhanakan analisis

$f(X|\theta)$

hal (θ | x) \propto {L.}_{x} (θ) \cdot hal (θ) {L.}_{x} (θ) \propto \prod_{saya = 1}^{n} f (x_{saya} | θ) .

$p(\theta|\mathbf{x}) \propto L_\mathbf{x}(\theta) \cdot p(\theta) \quad \quad \quad \quad L_\mathbf{x}(\theta) \propto \prod_{i=1}^n f(x_i|\theta).$

$\theta$

Contoh yang diterapkan: Pertimbangkan model IID dengan data yang diamati $X_1, ..., X_n \sim \text{IID N}(\theta, 1)$ $\bar{x} = \tfrac{1}{n} \sum_{i=1}^n x_i$ $\bar{\bar{x}} = \tfrac{1}{n} \sum_{i=1}^n x_i^2$

\begin{aligned} f (x | θ) = \prod_{saya = 1}^{n} f (x_{saya} | θ) & = \prod_{saya = 1}^{n} N (x_{saya} | θ, 1) \\ = \prod_{saya = 1}^{n} \frac{1}{\sqrt{2 π}} \exp (- \frac{1}{2} (x_{saya} - θ)^{2}) \\ = (2 π)^{n / 2} \exp (- \frac{1}{2} \sum_{saya = 1}^{n} (x_{saya} - θ)^{2}) . \\ = (2 π)^{n / 2} \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ + \bar{\bar{x}})) \\ = (2 π)^{n / 2} \exp (- \frac{n \bar{\bar{x}}}{2}) \cdot \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \end{aligned}

$\begin{equation} \begin{aligned} f(\mathbf{x}|\theta) = \prod_{i=1}^n f(x_i|\theta) &= \prod_{i=1}^n \text{N}(x_i|\theta,1) \\[6pt] &= \prod_{i=1}^n \frac{1}{\sqrt{2 \pi}} \exp \Big( -\frac{1}{2} (x_i-\theta)^2 \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{1}{2} \sum_{i=1}^n (x_i-\theta)^2 \Big). \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta + \bar{\bar{x}} ) \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n \bar{\bar{x}}}{2} \Big) \cdot \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \\[6pt] \end{aligned} \end{equation}$

$\theta$

{L.}_{x} (θ) = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) .

$L_\mathbf{x}(\theta) = \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big).$

$\theta$ $\theta \sim \text{N}(0,\lambda_0)$ $\lambda_0>0$

\begin{aligned} hal (θ | x) & \propto {L.}_{x} (θ) \cdot hal (θ) \\ = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot N (θ | 0, λ_{0}) \\ \propto \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot \exp (- \frac{λ_{0}}{2} θ^{2}) \\ = \exp (- \frac{1}{2} (n θ^{2} - 2 n \bar{x} θ + λ_{0} θ^{2})) \\ = \exp (- \frac{1}{2} ((n + λ_{0}) θ^{2} - 2 n \bar{x} θ)) \\ = \exp (- \frac{n + λ_{0}}{2} (θ^{2} - 2 \frac{n \bar{x}}{n + λ_{0}} θ)) \\ \propto \exp (- \frac{n + λ_{0}}{2} (θ - \frac{n}{n + λ_{0}} \cdot \bar{x})^{2}) \\ \propto N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) . \end{aligned}

$\begin{equation} \begin{aligned} p(\theta|\mathbf{x}) &\propto L_\mathbf{x}(\theta) \cdot p(\theta) \\[10pt] &= \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \text{N}(\theta|0,\lambda_0) \\[6pt] &\propto \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \exp \Big( -\frac{\lambda_0}{2} \theta^2 \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( n\theta^2 - 2n\bar{x} \theta + \lambda_0 \theta^2 ) \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( (n+\lambda_0) \theta^2 - 2n\bar{x} \theta ) \Big) \\[6pt] &= \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta^2 - 2 \frac{n\bar{x}}{n+\lambda_0} \theta \Big) \Big) \\[6pt] &\propto \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta - \frac{n}{n+\lambda_0} \cdot \bar{x} \Big)^2 \Big) \\[6pt] &\propto \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big). \\[6pt] \end{aligned} \end{equation}$

Jadi, dari kerja ini kita dapat melihat bahwa distribusi posterior sebanding dengan kepadatan normal. Sejak posterior harus menjadi kepadatan, ini menyiratkan bahwa posterior adalah bahwa densitas normal:

hal (θ | x) = N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) .

$p(\theta|\mathbf{x}) = \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big).$

$\theta$

E (θ | x) = \frac{n}{n + λ_{0}} \cdot \bar{x} V (θ | x) = \frac{1}{n + λ_{0}} .

$\mathbb{E}(\theta|\mathbf{x}) = \frac{n}{n+\lambda_0} \cdot \bar{x} \quad \quad \quad \quad \mathbb{V}(\theta|\mathbf{x}) = \frac{1}{n+\lambda_0}.$

Sekarang, distribusi posterior yang kita dapatkan memiliki konstanta integrasi di depannya (yang dapat kita temukan dengan mudah dengan melihat bentuk distribusi normal ). Tetapi perhatikan bahwa kita tidak perlu khawatir tentang konstanta multiplikasi ini - semua kerja kita menghilangkan (atau membawa) konstanta multiplikasi kapan pun ini menyederhanakan matematika. Hasil yang sama dapat diturunkan sambil melacak konstanta multiplikasi, tetapi ini jauh lebih berantakan.

Ben - Pasang kembali Monica
sumber

Saya pikir jawaban Zen benar-benar memberi tahu Anda bagaimana secara konseptual fungsi kemungkinan dan densitas gabungan dari nilai-nilai variabel acak berbeda. Secara matematis sebagai fungsi dari kedua x $_i$

Masalah ini telah muncul dalam pertanyaan lain yang dibahas di situs ini mengenai fungsi kemungkinan. Juga komentar lain oleh kjetil dan Dilip tampaknya mendukung apa yang saya katakan.

Michael R. Chernick
sumber