Saya melakukan pertanyaan pada rantai Markov dan dua bagian terakhir mengatakan ini:
- Apakah rantai Markov ini memiliki distribusi terbatas. Jika jawaban Anda adalah "ya", cari distribusi terbatas. Jika jawaban Anda "tidak", jelaskan alasannya.
- Apakah rantai Markov ini memiliki distribusi stasioner. Jika jawaban Anda adalah "ya", cari distribusi stasioner. Jika jawaban Anda "tidak", jelaskan alasannya.
Apa bedanya? Sebelumnya, saya pikir distribusi pembatas adalah ketika Anda mengerjakannya menggunakan tapi ini adalah matriks transisi langkah ke - n . Mereka menghitung distribusi pembatas menggunakan \ Pi = \ Pi P , yang saya pikir adalah distribusi stasioner. n Π = Π P
Yang mana yang kemudian?
markov-process
Kaish
sumber
sumber
Jawaban:
Dari An Introduction to Stochastic Modelling oleh Pinsky dan Karlin (2011):
Di bagian sebelumnya, mereka telah mendefinisikan " distribusi probabilitas membatasi " olehπ
dan setara
Contoh di atas berosilasi secara deterministik, sehingga gagal memiliki batas dengan cara yang sama dengan urutan gagal memiliki batas.{1,0,1,0,1,…}
Mereka menyatakan bahwa rantai Markov reguler (di mana semua probabilitas transisi n-langkah positif) selalu memiliki distribusi terbatas, dan membuktikan bahwa itu harus menjadi solusi non-negatif yang unik untuk
Kemudian pada halaman yang sama dengan contoh, mereka menulis
di mana (4,27) adalah himpunan persamaan
yang persis kondisi stasioneritas yang sama seperti di atas, kecuali sekarang dengan jumlah negara tak terbatas.
Dengan definisi stasioneritas ini, pernyataan di halaman 168 dapat dinyatakan kembali secara retroaktif sebagai:
sumber
Distribusi stasioner adalah distribusi sehingga jika distribusi atas status pada langkah adalah , maka juga distribusi atas status pada langkah adalah . Yaitu, Distribusi pembatas adalah distribusi sehingga tidak peduli apa distribusi awalnya, distribusi atas negara konvergen ke sebagai jumlah langkah-langkah menuju infinity: independen dariπ k π k+1 π
Namun, rantai ini tidak memiliki distribusi terbatas: misalkan kita menginisialisasi koin sehingga memiliki kepala . Kemudian, karena semua keadaan selanjutnya ditentukan oleh keadaan awal, setelah jumlah langkah genap, keadaan adalah kepala dengan probabilitas dan setelah jumlah langkah ganjil negara adalah kepala dengan probabilitas . Ini berlaku tidak peduli berapa banyak langkah yang diambil, sehingga distribusi atas negara tidak memiliki batas.2/3 2/3 1/3
Sekarang, mari kita modifikasi prosesnya sehingga pada setiap langkah, seseorang tidak perlu memutar koin. Sebagai gantinya, seseorang melempar dadu, dan jika hasilnya , koin dibiarkan apa adanya. Rantai Markov ini memiliki matriks transisi Tanpa membahas matematika, saya akan menunjukkan bahwa proses ini akan 'melupakan' keadaan awal karena secara acak menghilangkan belokan. Setelah sejumlah besar langkah, probabilitas kepala akan mendekati , bahkan jika kita tahu bagaimana koin diinisialisasi. Dengan demikian, rantai ini memiliki distribusi terbatas .6
sumber
Mengesampingkan notasi, kata "stasioner" berarti "begitu Anda sampai di sana, Anda akan tinggal di sana"; sementara kata "membatasi" menyiratkan "Anda pada akhirnya akan sampai di sana jika Anda pergi cukup jauh". Hanya berpikir ini mungkin bisa membantu.
sumber