Mengapa rantai Markov yang terbatas, tidak dapat direduksi, dan aperiodik dengan matriks P-ganda stokastik memiliki distribusi pembatas yang seragam?

Teorema tersebut adalah "Jika matriks transisi untuk rantai Markov yang tidak dapat direduksi dengan ruang keadaan terbatas S adalah dua kali lipat stokastik, ukuran invariannya (yang unik) seragam di atas S."

Jika Rantai Markov memiliki matriks transisi ganda-stokastik, saya membaca bahwa probabilitas pembatasnya membentuk distribusi yang seragam, tetapi saya tidak begitu mengerti mengapa.

Saya telah mencoba untuk menemukan, dan menemukan, bukti yang dapat dimengerti untuk ini. Tapi buktinya saya menemukan semua rincian yang saya tidak mengerti, seperti proposisi 15.5 di sini (mengapa itu bekerja dengan hanya menggunakan vektor [1, ... 1]?) Dapatkah seseorang mengarahkan saya ke (atau menulis) lebih banyak bukti sederhana / rinci?

(Meskipun bukan bagian dari apa pun yang akan saya berikan di sekolah, itu adalah bagian dari kursus yang saya ambil jadi saya kira saya akan menandainya dengan pekerjaan rumah dalam kedua kasus.)

probability self-study markov-process Christian Neverdal
sumber

Perron-Frobenius.

kardinal

@ kardinal Mengapa tidak menjawabnya dengan sedikit penjelasan?

Michael R. Chernick

Anda kehilangan persyaratan yang diperlukan bahwa Rantai Markov tidak dapat direduksi dan tidak periodik. Ini dapat digabungkan ke dalam kondisi bahwa untuk beberapa , setiap entri adalah positif. Ada banyak, jadi katakanlah semua setidaknya . Anda dapat mengikat laju konvergensi dalam hal .

n

$n$

P^{n}

$P^n$

c

$c$

c

$c$

Douglas Zare

Kamu benar, Douglas. Saya sekarang telah menyalin proposisi dalam kata kunci PDF yang ditautkan untuk menghindari kebingungan. Terima kasih.

Christian Neverdal

Jawaban:

Misalkan kita memiliki rantai Markov yang dapat direduksi dan aperiodik status , dengan status , , dengan matriks transisi stokastik berlipat ganda (yaitu, untuk semua ). Maka distribusi pembatasnya adalah . $M+1$ $m_j$ $j=0,1,\ldots, M$ $\sum_{i=0}^M P_{i,j}=1$ $j$ $\pi_j=\frac{1}{M+1}$

Bukti

Perhatikan pertama bahwa adalah solusi unik untuk dan . $\pi_j$ $\pi_j=\sum_{i=0}^M \pi_iP_{i,j}$ $\sum_{i=0}^M\pi_i=1$

Coba . Ini memberi (karena matriksnya adalah stokastik dua kali lipat). Jadi adalah solusi untuk set pertama persamaan, dan untuk membuatnya menjadi solusi untuk normalisasi kedua dengan membaginya dengan . $\pi_i=1$ $\pi_j=\sum_{i=0}^M \pi_iP_{i,j}=\sum_{i=0}^M P_{i,j}=1$ $\pi_i=1$ $M+1$

Secara unik, . $\pi_j=\frac{1}{M+1}$

Hypercube
sumber

Ini tidak menjawab pertanyaan OP. OP tidak menganggap aperiodisitas. Bukti yang ditautkan oleh OP memang menjawab pertanyaan itu. Alasan mengapa vektor yang bekerja adalah bahwa menurut definisi, adalah ukuran invarian jika . Karena kolom semua berjumlah satu, . Jadi vektornya adalah ukuran invarian.

ν

$\nu$

ν P = ν

$\nu P=\nu$

P

$P$

[1, \dots, 1] P = [1, \dots, 1]

$[1,\cdots,1]P=[1,\cdots,1]$

Ceph