Dapatkah persyaratan penuh menentukan distribusi bersama?

Pertanyaan yang tampaknya sederhana ini lebih dalam dari yang terlihat, menuntun kita ke teorema Hammersley-Clifford. Fakta bahwa kita dapat memulihkan distribusi bersama dari kondisi penuh adalah apa yang memungkinkan sampel Gibbs. Ini dapat dilihat sebagai hasil yang mengejutkan, jika kita ingat bahwa marginal tidak menentukan distribusi bersama.

Mari kita lihat apa yang terjadi jika kita menghitung secara formal dengan definisi bersama dari kepadatan sambungan, kondisional dan marginal. Karena kami memiliki dan kami dapat secara resmi memulihkan kepadatan sambungan dari kondisi penuh yang menghasilkan

f_{X, Y} (x, y) = f_{X ∣ Y} (x ∣ y) f_{Y} (y) = f_{Y ∣ X} (y ∣ x) f_{X} (x),

$f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\,f_Y(y)=f_{Y\mid X}(y\mid x)\,f_X(x) \, ,$

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y = \int \frac{f_{Y} (y)}{f_{X} (x)} d y = \frac{1}{f_{X} (x)},

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy = \int \frac{f_Y(y)}{f_X(x)}dy = \frac{1}{f_X(x)} \, ,$

f_{X, Y} (x, y) = \frac{f_{Y ∣ X} (y ∣ x)}{\int f_{Y ∣ X} (y ∣ x) / f_{X ∣ Y} (x ∣ y) d y} . (*)

$f_{X,Y}(x,y) = \frac{f_{Y\mid X}(y\mid x)}{\int f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y)\,dy} \, . \qquad (*)$

Masalah dengan perhitungan formal ini adalah bahwa ia mengandaikan bahwa semua objek yang terlibat ada.

Sebagai contoh, perhatikan apa yang terjadi jika kita diberi bahwa Maka , dan integral dalam penyebut diverges.

X ∣ Y = y \sim Exp (y) and Y ∣ X = x \sim Exp (x) .

$X\mid Y=y\sim\text{Exp}(y) \qquad \text{and} \qquad Y\mid X=x\sim\text{Exp}(x) \, .$

f_{Y ∣ X} (y ∣ x) / f_{X ∣ Y} (x ∣ y) = x / y

$f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y) = x /y$

(*)

$(*)$

Untuk menjamin bahwa kami dapat memulihkan kerapatan sambungan dari kondisi penuh menggunakan kami memerlukan kondisi kompatibilitas yang dibahas dalam makalah ini: $(*)$

"Distribusi Bersyarat yang Kompatibel", Barry C. Arnold dan S. James Press, Jurnal Asosiasi Statistik Amerika, Vol. 84, No. 405 (1989), hlm. 152-156.

Akhirnya, membaca diskusi tentang Hammersley-Clifford Teorema di Robert dan Casella buku

Zen
sumber

Bisakah Anda mengklarifikasi apa yang dimaksud dengan "integral .... ada"? Tampaknya ada dua masalah berbeda di sini, yaitu. (i) apakah integral ada atau tidak? dan (ii) jika integral ada, apakah nilainya ? Atau apakah Anda mengatakan bahwa setiap kali dan memiliki kepadatan bersyarat sehingga ada , maka harus bahwa nilai integral adalah ?

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$

X

$X$

Y

$Y$

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$

Dilip Sarwate

Terima kasih, @ Zen! dan dapat menentukan , dan dan juga dapat menentukan . (1) Yang mana yang menyediakan lebih banyak informasi, atau ? (2) Yang mana yang menyediakan informasi yang kurang redundan / tumpang tindih dengan , atau ? (3) Dari dan , apakah salah satu dari mereka sudah memberikan informasi yang lain (yang saya ragu, karena itu akan menyiratkan satu mengarah ke yang lain)? Saya kira itu adalah "persimpangan" antara info dan

f_{Y}

$f_Y$

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

f_{Y | X}

$f_{Y|X}$

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{X | Y}

$f_{X|Y}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$ , yang bersama dengan menentukan .

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

Tim

Hai @Tim. mewakili ketidakpastian tentang , sementara mewakili ketidakpastian tentang , mengingat bahwa Anda tahu nilai . "Yang mana yang berisi lebih banyak informasi?" bukan pertanyaan yang mudah. Jika dan kompatibel (dalam arti Arnold dan Tekan), maka mereka menentukan through .

f_{Y}

$f_Y$

Y

$Y$

f_{Y ∣ X}

$f_{Y\mid X}$

Y

$Y$

X

$X$

f_{X ∣ Y}

$f_{X\mid Y}$

f_{Y ∣ X}

$f_{Y\mid X}$

f_{X, Y}

$f_{X,Y}$

(*)

$(*)$

Zen

Saat ini saya sedang berjuang dengan masalah yang sama. Saya agak bingung dengan kebutuhan untuk distribusi bersyarat yang kompatibel, karena ini tidak pernah disebutkan dalam pengantar (setidaknya yang telah saya baca) untuk Gibbs Sampling. Atau apakah kebutuhan untuk distribusi bersyarat yang kompatibel hanya berlaku, jika seseorang mencoba untuk secara resmi memulihkan distribusi bersama, misalnya dengan (*). -> tidak mendekati distribusi bersama oleh Gibbs Sampling?

sklingel

Dalam pengaturan pengambilan sampel Gibbs reguler yang diterapkan pada masalah statistik Anda mengasumsikan bahwa distribusi probabilitas gabungan (posterior) ada, maka syarat lengkap yang diturunkan dari distribusi bersama ini kompatibel. Di luar kasus ini, pengambilan sampel Gibbs tidak ada artinya.

Xi'an

Dapatkah persyaratan penuh menentukan distribusi bersama?

Jawaban: