Kemungkinan Gaussian + yang sebelumnya = Gaussian Marginal?

8

Diberikan kemungkinan Gaussian untuk sampel seperti dengan sebagai ruang parameter dan , parameterisasi acak dari vektor rata-rata dan matriks kovarians.y

p(y|θ)=N(y;μ(θ),Σ(θ))
Θμ(θ)Σ(θ)

Apakah mungkin untuk menentukan kepadatan sebelumnya dan parameterisasi vektor rata-rata dan matriks kovarians sedemikian rupa sehingga kemungkinan marginal adalah kemungkinan Gaussian?p(θ)μ(θ)Σ(θ)

p(y)=θΘN(y;μ(θ),Σ(θ))p(θ)dθ

Saya kira tidak termasuk solusi sepele yang diketahui kovarians, yaitu , di mana adalah matriks kovarians tetap yang berubah-ubah, ini tidak mungkin.Σ(θ)=ΣΣ

Untuk kasus khusus dan , yaitu adalah satu dimensi, dan , di mana menunjukkan kepadatan seragam yang dapat saya perlihatkan: μ(σ2)=μΣ(σ2)=σ2yp(σ2)=U(σ2;a,b)U(σ2;a,b)

p(y)=0N(y;μ,σ2)U(σ2;a,b)dσ2=1baabN(y;μ,σ2)not a Gaussian density

Jawaban yang diterima berisi bukti formal atau informal atau petunjuk untuk itu.

Julian Karls
sumber

Jawaban:

2

Dugaan Anda tampaknya benar: hanya varian konstan yang dapat menghasilkan margin normal. Bukti saya terbatas pada kasus di mana harapan diketahui, dan karenanya dapat dianggap nol. Untuk kasus umum, argumen yang lebih canggih dari analisis fungsional tampaknya diperlukan.μ

Perhatikan bahwa pertanyaannya sebenarnya tentang campuran terus menerus dari normals serta tentang Bayes. Pernyataan ini membuktikan di sini bahwa campuran skala (kontinu) normals dapat menjadi normal hanya untuk campuran sepele.

Pertama pertimbangkan kasus normal satu dimensi dengan mean dan parameter presisi . Tanpa kehilangan keumuman, kita dapat mengasumsikan bahwa parameter adalah presisi itu sendiri. Jika distribusi marginal adalah normal, maka adalah kepadatan normal hingga konstanta multiplikatif. Kepadatan ini sebagai fungsi genap dari harus berbentuk untuk beberapa dan konstanta . Karena ini berlaku untukμ=0ω:=1/Σ>0θωyexp{y2ω/2}ω1/2p(ω)dωycexp{y2ω0/2}ω0>0c>0ykita dapatkan dengan untuk semua , yang menunjukkan bahwa ukuran hingga dengan fungsi kerapatan adalah sebanding dengan massa Dirac di karena kedua ukuran ini memiliki transformasi Laplace yang sama, hingga konstanta multiplikatif. Dengan demikian hampir pasti (as) sama dengan . s:=y2

0exp{sω/2}ω1/2p(ω)dω=cexp{sω0/2}
s0ωω1/2p(ω)ω0ωω0

Bukti ini meluas ke normal dimensional dengan mean nol dan matriks presisi . Margin kemudian ditulis sebagai mana integralnya ada di set dari simetris pasti positif matriks. Jika integral ini identik dengan , maka dengan mengambil untuk skalar dan vektor sewenang-wenangdΩ:=Σ1exp{yΩy/2}|Ω|1/2p(Ω)dΩPd×dcexp{yΩ0y/2}y:=sus0u , kami menemukan di atas bahwa harus sama dengan , yang menunjukkan bahwa sama dengan . Buktinya bekerja bahkan jika ukuran yang ditulis dengan mudah memiliki kepadatan berkonsentrasi pada subset dari dengan Lebesgue mengukur nol, karena argumen Transformasi Laplace masih berlaku. Jadi buktinya bekerja untuk parameterisasi umum dari matriks presisi (atau varians).uΩuuΩ0uΩΩ0|Ω|1/2p(Ω)P

Yves
sumber
Saya belum memahami bukti Anda sepenuhnya. Dibandingkan dengan jawaban Jacky1 tampaknya relatif kompleks. Apa pendapat Anda tentang buktinya?
Julian Karls
Yah aku tidak bisa mengerti bagaimana sebelum dapat bergantung dari dalam jawaban Jacky. Namun pernyataannya seperti yang saya pahami salah - saya melakukan kesalahan yang sama terlebih dahulu :) Memang, belum tentu konstan dan jika variansinya konstan, masih bisa normal yang mudah diperiksa dengan mengisi kotak. Saya sekarang memiliki bukti untuk kasus sebelumnya yang independen (satu dimensi untuk kesederhanaan), dan berharap untuk segera menuliskannya, mungkin sebagai jawaban baru. Varians harus konstan dan harus normal (mungkin berdegenerasi). yμμΣμ
Yves
Bisakah Anda memperluas alasan Anda dalam paragraf yang dimulai dengan "Karena ini berlaku untuk setiap dan diakhiri dengan" (as) sama dengan "? Mungkin dengan pointer ke teorema yang Anda gunakan?yω0
Julian Karls
1

Asumsikan dan adalah apriori independen dan bahwa memiliki margin normal dengan mean dan varians . Saya akan membuktikan bahwa varians harus konstan, dan mean harus memiliki sebelumnya yang normal (mungkin merosot).μΣyμ0Σ0Σμ

Saya akan menempel pada kasus satu dimensi untuk kesederhanaan, menggunakan fungsi karakteristik (cf) dari , yaitu . Kita tahu bahwa } dan rumus yang sama berlaku untuk distribusi bersyarat pada dan , yang normal dengan asumsi. Jadi untuk setiap dan dengan mengatur ulang integral, kita harus memiliki yϕy(t):=E[eyit]ϕy(t)=exp{μ0itΣ0t2/2yμΣt

E[eyit]=E[eyit|μ,Σ]p(μ)p(Σ)dμdΣ=exp{μitΣt2/2}p(μ)p(Σ)dμdΣ,
exp{μ0itΣ0t2/2}=[exp{μit}p(μ)dμ][exp{Σt2/2}p(Σ)dΣ].
Asumsi yang diperlukan untuk pengaturan ulang seperti itu mudah diperiksa.

Integral pertama di sisi kanan, katakanlah ϕ1(t), adalah cf dari μ. Perhatikan sejak ituϕ1(t)eμ0it ditemukan nyata, kita melihat bahwa distribusi μ adalah WRT simetris μ0, dan karenanya E[μ]=μ0, seperti yang mungkin telah diantisipasi.

Sekarang ternyata integral kedua di sisi kanan, katakanlah ϕ2(t), juga cf. Untuk melihat itu, kita harus memeriksanya ϕ2(0)=1itu ϕ2 kontinu di t=0 dan juga fungsinya ϕ2pasti positif (pd). Persyaratan pertama jelas, yang kedua dibuktikan dengan dominasi konvergensi. Sekarang beralih ke persyaratan pd: jika distribusi sebelumnya ditulis sebagai p(Σ)dΣ adalah massa Dirac, lalu ϕ2 adalah pd karena ϕ2kemudian cf dari distribusi normal. Jika sebelumnya adalah campuran terpisah dari massa Dirac, ini benar juga sejak ituϕ2maka cf dari campuran normals. Dengan argumen kontinuitas, kita melihat ituϕ2 adalah pd

Sekarang mari kita gunakan teorema Lévy-Cramér yang kuat yang mengatakan bahwa keduanya berfungsiϕj untuk j=1, 2 harus mengambil formulir exp{ajitbjt2/2} dengan aj nyata dan bj0. Begituμ harus normal (mungkin berdegenerasi) dengan rata-rata a1=μ0. Dengan aljabar sederhana yang kita miliki

exp{(Σ0b1)t2/2}=0exp{Σt2/2}p(Σ)dΣ
yang berlaku untuk yang nyata t. Karena setiap real non-negatif menulis sebagait2/2, kita melihat bahwa transformasi Laplace sebelum Σ harus sama dengan massa Dirac di Σ0b1 dan kita selesai.
Yves
sumber
Terima kasih atas usaha anda Saya perlu waktu untuk memahami hal ini.
Julian Karls
0

Saya punya proposisi bukti untuk Anda, tetapi Anda perlu memeriksanya.

Asumsikan bahwa kemungkinan marginal adalah Gaussian:

p(y)=N(y,m,Γ)

maka kepadatan sebelumnya dapat ditentukan oleh

p(θ)=N(y,μ(θ),Σ(θ))1N(y,m,Γ)f(θ)

dimana f memeriksa θΘf(θ)dθ=1 dan f(θ)0 untuk θΘ. (f(θ) adalah p(θ|y)).

Untuk menjadi kepadatan, integral dari kepadatan sebelumnya p(θ) di Θ harus sama dengan 1. Dengan kata lain,

θΘN(y,μ(θ),Σ(θ))1N(y,m,Γ)f(θ)dθ=1.

Itu mengarah ke

θΘN(y,μ(θ),Σ(θ))1N(y,m,Γ)f(θ)dθ=θΘf(θ)dθ

Kesetaraan ini berlaku jika dan hanya jika μ(θ)=m dan Σ(θ)=Γ.

Jacky1
sumber
2
Saya suka ide buktinya. Saya cukup yakin bahwa semua langkah tetapi yang terakhir valid. Tentunya integral dari dua fungsi adalah sama jika fungsinya sama tetapi ini bukan kondisi yang diperlukan. Apakah Anda menggunakan teorema yang berbeda di sana?
Julian Karls
Jika Anda mengganti p(θ|y) dengan definisi melalui bayes di formula pertama Anda untuk p(θ), lalu menjadi p(θ)=p(θ). Tentunya, tidak ada yang mengikuti dari ketidaksetaraan ini.
Julian Karls