Bagaimana Anda melihat rantai Markov tidak dapat direduksi?

Saya mengalami kesulitan memahami properti rantai Markov tidak dapat direduksi .

Dapat direduksi dikatakan berarti bahwa proses stokastik dapat "pergi dari negara bagian ke negara bagian".

Tetapi apa yang menentukan apakah ia dapat beralih dari status ke status , atau tidak bisa?$i$$j$

---

The halaman wikipedia memberikan formalisasi:

Negara adalah diakses (ditulis ) dari negara , jika ada bilangan bulat st i → j i n i j > 0 P ( X n i j = j | X 0 = i ) = p ( n i j ) i j > $j$$i\rightarrow j$$i$$n_{ij}>0$

$$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$$

maka komunikasi adalah jika dan .j → $i\rightarrow j$$j \rightarrow i$

Dari irreducibilitas ini mengikuti entah bagaimana.

Berikut adalah tiga contoh untuk matriks transisi, dua yang pertama untuk kasus yang dapat direduksi, yang terakhir untuk yang tidak dapat direduksi.

P

$$\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \right) \end{eqnarray*}$$ Untuk , ketika Anda berada dalam keadaan 3 atau 4, Anda akan tinggal di sana, dan sama untuk negara 1 dan 2. Tidak ada cara untuk pergi dari negara 1 ke negara 3 atau 4, misalnya.$P_1$

Untuk , Anda bisa masuk ke negara bagian mana pun dari negara bagian 1 hingga 3, tetapi begitu Anda berada di negara bagian 4, Anda akan tetap di sana. Untuk ini Misalnya, Anda dapat memulai di negara bagian mana saja dan masih dapat mencapai negara bagian lain, meskipun tidak harus dalam satu langkah.P 3 = ( 0,5 0,5 0 0 0 0 0,9 0 0 0 0 0,1 0 0 0 0,8 0 0,2 0,7 0 0,1 0 0,2 0 0 0 0 0,1 0,9 0 0,9 0 0 0 0,1 0$P_2$

$$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$$

Keadaan dikatakan dapat diakses dari keadaan i (biasanya dilambangkan dengan i → j ) jika ada beberapa n ≥ 0 sedemikian rupa sehingga: p n i j = P ( X n = j ∣ X 0 = i ) > 0 Itu adalah, seseorang dapat pergi dari keadaan ke keadaan dalam langkah dengan probabilitas$j$$i$$i \to j$$n\geq 0$

$$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$$ j n p n i j .$i$$j$$n$$p^n_{ij}$

$i\to j$$j\to i$$i$$j$$i\leftrightarrow j$

$i$$j$$i$$j$$\cdots$$j$$i$

$i\rightarrow j$$j$$i$$m>0$$p_{ij}^{(m)}>0$

$j\rightarrow i$$n>0$$p_{ji}^{(n)}>0$

$i\rightarrow j$$j\rightarrow i$$i$$j$$i \leftrightarrow j$$m>0,\;\; n>0$$p_{ij}^{(m)}>0$$p_{ji}^{(n)}>0$

Jika semua negara bagian dalam Rantai Markov termasuk dalam satu kelas komunikasi tertutup , maka rantai tersebut disebut rantai Markov yang tidak dapat direduksi . Irreducibility adalah properti rantai.

Dalam Rantai Markov yang tidak dapat direduksi, prosesnya dapat berpindah dari negara bagian mana saja ke negara bagian mana pun, berapa pun jumlah langkah yang diperlukan.

Beberapa jawaban yang ada tampaknya salah bagi saya.

Seperti dikutip dalam Proses Stochastic oleh J. Medhi (halaman 79, edisi 4), rantai Markov tidak dapat direduksi jika tidak mengandung subset 'tertutup' yang tepat selain ruang negara.

Jadi jika dalam matriks probabilitas transisi Anda, ada subset negara sehingga Anda tidak bisa 'mencapai' (atau mengakses) negara lain selain dari negara-negara tersebut, maka rantai Markov dapat direduksi. Kalau tidak, rantai Markov tidak dapat direduksi.

Pertama, kata peringatan: jangan pernah melihat matriks kecuali Anda memiliki alasan serius untuk melakukannya: satu-satunya yang dapat saya pikirkan adalah memeriksa angka yang salah ketik, atau membaca di buku teks.

$P$$\exp(P)$$P$$P^n$$n$

Irreducibility artinya: Anda dapat beralih dari negara mana saja ke negara lain dalam jumlah langkah terbatas.

$P_3$