Model Markov dengan probabilitas transisi bersyarat

10

Pertama, izinkan saya mengakui di muka bahwa saya tidak terlalu mahir dalam statistik dan matematika seperti yang saya inginkan. Beberapa orang mungkin mengatakan memiliki pengetahuan yang cukup untuk menjadi berbahaya. : DI saya minta maaf jika saya tidak menggunakan terminologi dengan benar.

Saya mencoba memodelkan probabilitas transisi sistem dari satu kondisi ke kondisi lainnya. Model Markov sederhana adalah awal yang baik. (Set negara, set probabilitas keadaan awal, set probabilitas transisi antar negara.)

Namun, sistem saya pemodelan lebih kompleks dari itu. Probabilitas transisi yang mengarah ke keadaan pada waktu T paling pasti tergantung pada variabel selain keadaan di T-1. Misalnya, S1 -> S2 mungkin memiliki probabilitas transisi 40% saat matahari bersinar, tetapi S1 -> S2 probabilitasnya menjadi 80% saat hujan.

Info tambahan dari pertanyaan komentator:

  1. Negara bagian dapat diamati.
  2. Hanya akan ada 5-10 negara.
  3. Saat ini ada sekitar 30 kovariat yang ingin kami selidiki, meskipun model terakhir pasti memiliki lebih sedikit dari ini.
  4. Beberapa kovariat bersifat kontinu, yang lain terpisah.

Tiga pertanyaan:

  1. Bagaimana saya bisa memasukkan probabilitas transisi bersyarat ke dalam model Markov saya?
  2. Atau, apakah ada perspektif lain yang sepenuhnya dari mana saya harus mendekati masalah ini?
  3. Juga, kata kunci / konsep apa yang harus saya cari online untuk mempelajari lebih lanjut tentang ini?

Saya sudah menjelajahi web mencari hal-hal seperti "model markov dengan probabilitas transisi bersyarat," tetapi sejauh ini tidak ada yang menampar wajah saya dan berkata, "Ini jawaban Anda, bodoh!"

Terima kasih atas bantuan dan kesabaran Anda.

markov-process conditional-probability Aaron Johnson
sumber
Selamat datang di situs ini. Seberapa besar ruang negara? Apakah Anda mengamati kondisi proses Anda pada setiap langkah? Berapa banyak kovariat (prediktor tambahan) yang Anda miliki? Apakah keduanya kontinu, diskrit, atau mungkin campuran keduanya?
kardinal
Terima kasih, kardinal. Ya, negara bagian dapat diamati. Mungkin akan ada 5 hingga 10 negara. (Ini masih belum pasti, tetapi saya tidak mengharapkan ruang negara yang sangat besar.) Saat ini, kami memiliki daftar sekitar 30 kovariat tambahan yang ingin kami selidiki, walaupun kebanyakan dari mereka mungkin akan berakhir dengan efek yang kecil. Beberapa kontinu, dan beberapa diskrit.
Aaron Johnson

Jawaban:

5

Anda selalu dapat memiliki urutan 2 atau rantai markov urutan yang lebih tinggi. Dalam hal itu semua model Anda siap termasuk semua informasi transisi probabilistik di dalamnya. Anda dapat memeriksa Dynamic Bayesian Networks yang merupakan generalisasi model grafis dari Markov Chains yang sering digunakan dalam pembelajaran mesin.

YBE
sumber
YBE, Terima kasih atas balasan cepatnya! Apakah ini (memodelkan sistem sebagai urutan ke-2 atau rantai yang lebih tinggi) memungkinkan saya untuk memodelkan kovariat kontinu, atau hanya kovariat diskrit? Dan bisakah Anda mengarahkan saya ke tautan yang memberikan contoh yang baik tentang apa yang Anda bicarakan? Terima kasih!
Aaron Johnson
Ada kertas yang bisa kamu periksa. Pertama-tama mulai menggambarkan rantai pesanan 1, kemudian menjelaskan situasi untuk rantai pesanan lebih tinggi. (Rantai Markov multivariat tingkat tinggi dan aplikasinya oleh Ching, Ng, Fung) Jika Anda tertarik pada pembelajaran jenis mesin, saya sarankan Anda untuk memeriksa situs web Kevin Murphy. Ia juga memiliki kotak alat MATLAB yang dapat Anda mainkan.
YBE
Beri +1 pada jawaban Anda untuk referensi pada kertas Ching, Ng, dan Fung. Itu bagus untuk dimiliki. Namun, setelah membacanya, tampaknya itu hanya mencakup variabel diskrit (yang seperti apa yang saya harapkan.) Sementara saya dapat menentukan variabel kontinu saya, saya masih penasaran - Apakah ada model yang dapat menangani raw continuous variabel?
Aaron Johnson
Saya bukan ahli, tapi saya kira hasilnya harus berlaku untuk kasus terus menerus secara umum. Filter Kalman misalnya berjalan pada HMM (rantai markov urutan pertama) dengan status kontinu.
YBE
Saya tidak segera memilih jawaban Anda karena saya sedang menunggu lebih banyak kandidat. Mereka tidak pernah datang, dan saya lupa. Dua tahun kemudian, saya sekarang memberikan Anda dengan menerima jawaban Anda. Terimakasih atas infonya! Omong-omong, sudahkah Anda menemukan hal lain tentang topik ini dalam dua tahun terakhir? Itu masih sesuatu yang saya tertarik.
Aaron Johnson
2

Saya percaya apa yang Anda cari adalah Maxent Markov Models .

Atau Anda dapat menggunakan generalisasi (jika saya mengerti benar) dari model Maxent Markov, yang disebut Conditional Random Fields .

Venkatramanan PR
sumber
0

Saya bertanya pada diri sendiri pertanyaan yang sama dan jika Anda benar-benar hanya perlu memodelkan hasil berdasarkan keadaan di dan kovariat, Anda mungkin menemukan paket msm di R membantu.T1

Paket ini tampaknya sangat cocok untuk memodelkan efek kovariat pada transisi antara hasil kategoris dari waktu ke waktu. Ini tidak akan membantu jika Anda benar-benar membutuhkan rantai pesanan yang lebih tinggi, tetapi sepertinya bukan itu yang terjadi berdasarkan pertanyaan awal Anda.

Eric Czech
sumber