Jeffreys Prior untuk distribusi normal dengan mean dan varian tidak diketahui

Saya membaca tentang distribusi sebelumnya dan saya menghitung Jeffrey sebelumnya untuk sampel variabel acak yang terdistribusi normal dengan rerata tidak diketahui dan tidak diketahui. Menurut perhitungan saya, berikut ini berlaku untuk Jeffreys sebelumnya: Di sini, adalah matriks informasi Fisher.

p (μ, σ^{2}) = \sqrt{d e t (I)} = \sqrt{d e t (\begin{matrix} 1 / σ^{2} & 0 \\ 0 & 1 / (2 σ^{4}) \end{matrix})} = \sqrt{\frac{1}{2 σ^{6}}} \propto \frac{1}{σ^{3}} .

$p(\mu,\sigma^2)=\sqrt{det(I)}=\sqrt{det\begin{pmatrix}1/\sigma^2 & 0 \\ 0 & 1/(2\sigma^4)\end{pmatrix}}=\sqrt{\frac{1}{2\sigma^6}}\propto\frac{1}{\sigma^3}.$

I

$I$

Namun, saya juga sudah membaca publikasi dan dokumen yang menyatakan

$p(\mu,\sigma^2)\propto 1/\sigma^2$ lihat Bagian 2.2 dalam Kass dan Wassermann (1996) .
$p(\mu,\sigma^2)\propto 1/\sigma^4$ lihat halaman 25 di Yang dan Berger (1998)

seperti Jeffreys sebelumnya untuk kasus distribusi normal dengan mean dan varians tidak dikenal. Apa yang sebenarnya dilakukan Jeffrey sebelumnya?

bayesian normal-distribution prior jeffreys-prior Nussig
sumber

Jawaban:

Saya pikir perbedaan dijelaskan oleh apakah penulis mempertimbangkan kepadatan lebih dari atau kepadatan lebih dari . Mendukung interpretasi ini, hal yang pasti yang ditulis oleh Kass dan Wassermann adalah sedangkan Yang dan Berger menulis $\sigma$ $\sigma^2$

π (μ, σ) = 1 / σ^{2},

$\pi(\mu, \sigma) = 1 / \sigma^2,$

π (μ, σ^{2}) = 1 / σ^{4} .

$\pi(\mu, \sigma^2) = 1 / \sigma^4.$

A. Donda
sumber

Terima kasih, saya mengabaikan ini. Namun, ini masih tidak menjelaskan perbedaan antara dan .

1 / σ^{3}

$1/\sigma^3$

1 / σ^{4}

$1/\sigma^4$

Nussig

Sebenarnya, memiliki prior sama dengan memiliki prior , karena properti reparametrization dari Jeffrey sebelumnya: dengan matriks Jacobian dari , yaitu .

π (μ, σ) = 1 / σ^{2}

$\pi(\mu, \sigma)=1/\sigma^2$

π (μ, σ^{2}) = 1 / σ^{3}

$\pi(\mu, \sigma^2)=1/\sigma^3$

π (μ, σ) = π (μ, σ^{2}) d e t (J_{f}) \propto \frac{1}{σ^{3}} 2 σ \propto \frac{1}{σ^{2}}

$\pi(\mu, \sigma)=\pi(\mu, \sigma^2)det(J_f)\propto \frac{1}{\sigma^3}2\sigma \propto \frac{1}{\sigma^2}$

J_{f}

$J_f$

f : (μ, σ) \to (μ, σ^{2})

$f: (\mu, \sigma)\to (\mu, \sigma^2)$

J_{f} = (\begin{matrix} 1 & 0 \\ 0 & 2 σ \end{matrix})

$J_f=\begin{pmatrix}1&0\\0&2\sigma\end{pmatrix}$

Nussig

@Nussig, saya memeriksa perhitungan, dan saya pikir Anda benar tiba di . Anda juga benar bahwa reparametrization hanya sejumlah faktor . Mempertimbangkan hal ini, perhitunganmu sesuai dengan Kass dan Wassermann, dan aku hanya bisa menebak bahwa Yang dan Berger melakukan kesalahan. Ini masuk akal juga karena yang pertama adalah makalah jurnal yang ditinjau secara teratur dan yang terakhir adalah konsep semacam koleksi formula.

1 / σ^{3}

$1/\sigma^3$

1 / σ

$1/\sigma$

A. Donda

Kass dan Wassermann juga mencatat bahwa Jeffreys memperkenalkan aturan yang dimodifikasi, sesuai dengan parameter lokasi dan skala mana yang harus diperlakukan secara terpisah. Ini mengarah ke dan karenanya , tetapi masih belum ke .

π (μ, σ) = 1 / σ

$\pi(\mu, \sigma) = 1 / \sigma$

π (μ, σ^{2}) = 1 / σ^{2}

$\pi(\mu, \sigma^2) = 1 / \sigma^2$

π (μ, σ^{2}) = 1 / σ^{4}

$\pi(\mu, \sigma^2) = 1 / \sigma^4$

A. Donda

Jim Berger masih seorang ilmuwan aktif, jadi untuk memastikan Anda dapat mengecek langsung dengannya: stat.duke.edu/~berger

A. Donda

Jawaban yang ada sudah dengan baik menjawab pertanyaan awal. Sebagai seorang fisikawan, saya hanya ingin menambahkan argumen dimensionalitas pada diskusi ini. Jika Anda mempertimbangkan dan untuk menggambarkan distribusi variabel acak dalam ruang 1D nyata dan diukur dalam meter, mereka memiliki dimensi dan . Untuk memiliki prior yang benar secara fisik, Anda perlu memiliki dimensi yang tepat, yaitu satu-satunya kekuatan dimungkinkan secara fisik dalam prior non-parametrik adalah: dan . $\mu$ $\sigma^2$ $[\mu] \sim m$ $[\sigma^2] \sim m^2$ $\sigma$

π (μ, σ) \sim 1 / σ^{2}

$\pi(\mu, \sigma) \sim 1/\sigma^{2}$

π (μ, σ^{2}) \sim 1 / σ^{3}

$\pi(\mu, \sigma^2) \sim 1/\sigma^{3}$

Dr_Zaszuś
sumber

Mengapa ada dalam ekspresi kedua?

σ^{3}

$\sigma^{3}$

cerebrou

$\frac{1}{\sigma^3}$ adalah Jeffreys sebelumnya. Namun dalam prakteknya cukup sering digunakan karena mengarah ke posterior yang relatif sederhana, "intuisi" dari prior ini adalah sesuai dengan flat prior on . $\frac{1}{\sigma^2}$ $\log(\sigma)$

Jorne Biccler
sumber

Terima kasih, @Noshgul. Saya mendapatkan poin tentang flat sebelumnya pada . Namun, dapatkah Anda menguraikan 'posterior yang relatif sederhana'? Jika saya tidak salah, hasil Jeffrey sebelumnya adalah posterior inversi normal , yaitu Sebelum harus menghasilkan normal-inverse- posterior, juga, hanya dengan parameter yang berbeda.

\log (σ)

$\log(\sigma)$

χ^{2}

$\chi^2$

(μ, σ^{2}) | D \sim N χ^{- 1} (\bar{X}, n, n, \frac{1}{n} \sum (X_{i} - \bar{X})^{2}) .

$(\mu,\sigma^2)|D \sim \mathcal{N}\chi^{-1}\left(\overline{X}, n,n, \frac{1}{n}\sum(X_i-\overline{X})^2\right).$

1 / σ^{2}

$1/\sigma^2$

χ^{2}

$\chi^2$

Nussig

Ooh, ya itu mengarah ke inversi normal . Saya hanya merasa lebih alami bahwa marginal dari adalah inversi dengan n-1 bukannya n derajat kebebasan. Bagaimanapun, saya tentu tidak ingin menyiratkan bahwa prior lainnya akan menyebabkan distribusi yang mengganggu. Sejujurnya saya tidak tahu posterior karya Jeffry sebelumnya, saya juga tidak terlalu memikirkannya ketika saya menulis posting.

χ^{2} (\bar{X}, n, n - 1, s^{2})

$\chi^2(\bar{X},n,n-1,s^2)$

σ^{2}

$\sigma^2$

χ^{2}

$\chi^2$

Jorne Biccler