Apakah MCMC yang memenuhi saldo terperinci menghasilkan distribusi stasioner?

12

Saya kira saya memahami persamaan kondisi keseimbangan terperinci, yang menyatakan bahwa untuk probabilitas transisi dan distribusi stasioner , Rantai Markov memenuhi keseimbangan terperinci jikaπ q ( x | y ) π ( y ) = q ( y | x ) π ( x ) ,qπ

q(x|y)π(y)=q(y|x)π(x),

ini lebih masuk akal bagi saya jika saya menyatakan kembali sebagai:

q(x|y)q(y|x)=π(x)π(y).

Pada dasarnya, probabilitas transisi dari keadaan ke keadaan harus proporsional dengan rasio kepadatan probabilitasnya.yxy

Mike Flynn
sumber

Jawaban:

10

Tidak benar bahwa MCMC yang memenuhi keseimbangan terinci selalu menghasilkan distribusi stasioner. Anda juga membutuhkan proses untuk menjadi ergodik . Mari kita lihat mengapa:

Anggap sebagai keadaan himpunan semua keadaan yang mungkin, dan identifikasikan dengan indeks . Dalam proses markov, distribusi berkembang sesuai dengani p t ( i )xipt(i)

pt(i)=jΩjipt1(j)

di mana adalah matriks yang menunjukkan probabilitas transisi ( Anda ).Ωjiq(x|y)

Jadi, kita memilikinya

pt(i)=j(Ωji)tp0(j)

Fakta bahwa adalah probabilitas transisi menyiratkan bahwa nilai eigennya harus termasuk dalam interval [0,1].Ωji

Untuk memastikan bahwa setiap distribusi awal menyatu dengan asimptotik, Anda harus memastikan bahwap0(j)

  • 1 Hanya ada satu nilai eigen dengan nilai 1 dan memiliki vektor eigen bukan nol yang unik.Ω

Untuk memastikan bahwa adalah distribusi asimptotik, Anda perlu memastikannyaπ

  • 2 Vektor eigen yang terkait dengan nilai eigen 1 adalah .π

Ergodisitas menyiratkan 1., keseimbangan terperinci menyiratkan 2., dan itulah sebabnya keduanya membentuk kondisi konvergensi asimptotik yang perlu dan cukup.

Mengapa saldo terperinci menyiratkan 2:

Mulai dari

p(i)Ωij=Ωjip(j)

dan menjumlahkan di kedua sisi, kita dapatkanj

p(i)=jΩjip(j)

karena , karena Anda selalu transit ke suatu tempat.jΩij=1

Persamaan di atas adalah definisi nilai eigen 1, (lebih mudah untuk melihat apakah Anda menulisnya dalam bentuk vektor :)

1.v=Ωv
Jorge Leitao
sumber
OP tidak bertanya apakah itu unik atau tidak, ia bertanya bagaimana MCMC dengan saldo terperinci cukup untuk menghasilkan kepadatan probabilitas yang tidak berubah.
gatsu
1
Kalimat pertama dari jawaban ini adalah "Tidak benar bahwa MCMC yang memenuhi keseimbangan terinci selalu menghasilkan distribusi stasioner." Jadi, tidak, keseimbangan terperinci tidak cukup untuk menghasilkan dan kepadatan tidak tetap ... Bagaimana itu tidak menjawab pertanyaan?
Jorge Leitao
0

Saya pikir memang demikian, karena untuk MC yang tidak dapat direduksi jika keseimbangan terinci terpenuhi maka ia memiliki distribusi stasioner yang unik, tetapi agar independen dari distribusi awal juga harus aperiodik.

Dalam kasus MCMC kita mulai dari titik data dan kemudian mengusulkan titik baru. Kami mungkin atau mungkin tidak pindah ke titik yang diusulkan yaitu kami memiliki loop diri yang membuat MC aperiodik tak tereduksi.

Sekarang karena memuaskan DB itu juga memiliki keadaan berulang positif, yaitu waktu pengembalian rata-rata ke negara terbatas. Jadi rantai yang kami buat di MCMC tidak dapat direduksi, aperiodik, dan berulang positif, yang artinya merupakan rantai ergodik.

Kita tahu bahwa untuk rantai ergodik tak tereduksi distribusi stasioner ada yang unik dan independen dari distribusi awal.

Siddharth Shakya
sumber