Model Markov tersembunyi untuk prediksi acara

Pertanyaan : Apakah pengaturan di bawah ini merupakan implementasi yang masuk akal dari model Hidden Markov?

Saya memiliki satu set data 108,000pengamatan (diambil selama 100 hari) dan kira-kira 2000peristiwa di seluruh rentang waktu pengamatan. Data terlihat seperti gambar di bawah ini di mana variabel yang diamati dapat mengambil 3 nilai diskrit $[1,2,3]$ dan kolom merah menyoroti waktu acara, yaitu $t_E$ 's:

masukkan deskripsi gambar di sini

Seperti yang ditunjukkan dengan persegi panjang merah pada gambar, saya telah membedah { hingga } untuk setiap acara, secara efektif memperlakukan ini sebagai "jendela pra-acara". $t_E$ $t_{E-5}$

Pelatihan HMM: Saya berencana untuk melatih Hidden Markov Model (HMM) berdasarkan semua "jendela pra-acara", menggunakan metodologi beberapa urutan pengamatan seperti yang disarankan pada Pg. 273 makalah Rabiner . Mudah-mudahan, ini akan memungkinkan saya untuk melatih HMM yang menangkap pola urutan yang mengarah ke suatu peristiwa.

HMM Prediksi: Lalu saya berencana untuk menggunakan HMM ini untuk memprediksi pada hari yang baru, di mana akan menjadi vektor jendela geser, diperbarui secara real-time mengandung pengamatan antara waktu saat dan sebagai hari berlangsung. $log[P(Observations|HMM)]$ $Observations$ $t$ $t-5$

Saya berharap untuk melihat kenaikan untuk yang menyerupai "pre-event jendela ". Seharusnya ini memungkinkan saya untuk memprediksi peristiwa sebelum terjadi. $log[P(Observations|HMM)]$ $Observations$

time-series machine-learning predictive-models markov-chain hidden-markov-model Zhubarb
sumber

Anda dapat membagi data Anda untuk membangun model (katakanlah 0,7), lalu uji model Anda pada data yang tersisa. Hanya pemikiran, saya bukan spesialis di bidang ini.

Fernando

Ya terima kasih. Ini lebih cocok dengan HMM untuk tugas yang saya tidak yakin.

Zhubarb

@ Zhubarb Saya berurusan dengan masalah yang sama dan ingin mengikuti pendekatan HMM Anda. Di mana Anda berhasil melakukan ini? Atau apakah Anda akhirnya berulang ke regresi logistik / SVM, dll?

Javierfdr

@Javierfdr, saya akhirnya tidak mengimplementasikannya karena kesulitan implementasi dan kekhawatiran yang juga menjadi sorotan dalam jawabannya. Pada dasarnya, HMM datang dengan beban karena harus membangun model generatif yang luas, sedangkan perasaan saya sekarang adalah untuk masalah yang dihadapi, orang dapat lebih mudah lolos dengan model diskriminatif (SVM, Neural Net, dll.) Seperti yang Anda sarankan .

Zhubarb

Jawaban:

Satu masalah dengan pendekatan yang telah Anda jelaskan adalah Anda perlu mendefinisikan jenis peningkatan yang bermakna, yang mungkin sulit karena akan selalu sangat kecil secara umum. Mungkin lebih baik untuk melatih dua HMM, misalnya HMM1 untuk urutan pengamatan di mana peristiwa menarik terjadi dan HMM2 untuk urutan pengamatan di mana acara tidak terjadi. Kemudian diberikan urutan pengamatan Anda memiliki $P(O)$ $P(O)$ $O$ dan juga untuk HMM2. Maka Anda dapat memprediksi acara akan terjadi jika

\begin{aligned} P (H H M. 1 | HAI) & = \frac{P (HAI | H M. M. 1) P (H M. M. 1)}{P (HAI)} \\ \propto P (HAI | H M. M. 1) P (H M. M. 1) \end{aligned}

$\begin{align*} P(HHM1|O) &= \frac{P(O|HMM1)P(HMM1)}{P(O)} \\ &\varpropto P(O|HMM1)P(HMM1) \end{align*}$

\begin{aligned} P (H M. M. 1 | HAI) & > P (H M. M. 2 | HAI) \\ ⟹ \frac{P (H M. M. 1) P (HAI | H M. M. 1)}{P (HAI)} & > \frac{P (H M. M. 2) P (HAI | H M. M. 2)}{P (HAI)} \\ ⟹ P (H M. M. 1) P (HAI | H M. M. 1) & > P (H M. M. 2) P (HAI | H M. M. 2) . \end{aligned}

$\begin{align*} P(HMM1|O) &> P(HMM2|O) \\ \implies \frac{P(HMM1)P(O|HMM1)}{P(O)} &> \frac{P(HMM2)P(O|HMM2)}{P(O)} \\ \implies P(HMM1)P(O|HMM1) &> P(HMM2)P(O|HMM2). \end{align*}$

Penafian : Apa yang berikut ini berdasarkan pada pengalaman pribadi saya, jadi ambillah apa adanya. Salah satu hal yang menyenangkan tentang HMM adalah mereka memungkinkan Anda untuk berurusan dengan urutan panjang variabel dan efek urutan variabel (berkat keadaan tersembunyi). Terkadang ini diperlukan (seperti pada banyak aplikasi NLP). Namun, sepertinya Anda memiliki apriori yang berasumsi bahwa hanya 5 pengamatan terakhir yang relevan untuk memprediksi peristiwa yang menarik. Jika asumsi ini realistis maka Anda mungkin lebih beruntung menggunakan teknik tradisional (regresi logistik, naif bayes, SVM, dll) dan hanya menggunakan 5 pengamatan terakhir sebagai fitur / variabel independen. Biasanya jenis model ini akan lebih mudah dilatih dan (menurut pengalaman saya) menghasilkan hasil yang lebih baik.

alto
sumber

p = l o g (P (O | h m m))

$p = log(P(O|hmm))$

p_{1} = - 2504, p_{2} = - 2403, p_{3} = - 2450

$p_1 =-2504, p_2 = -2403, p_3= -2450$

p

$p$ : Saya memilih 5 sebagai ukuran jendela saya secara sewenang-wenang, kemungkinan akan lebih lama dari itu dalam implementasi yang sebenarnya.

Zhubarb

P (H M M 1)

$P(HMM1)$

@Berkan Adapun ukuran jendela, berdasarkan pengalaman pribadi saya, saya berharap apa yang saya katakan dalam masalah ini akan berlaku untuk setiap ukuran jendela tetap . Jelas semua hal yang saya katakan perlu diuji secara empiris untuk masalah khusus Anda.

alto

l o g (P (H M M 1)) + l o g (P (O | H M M 1)) > ? l o g (P (H M M 2)) + l o g (P (O | H M M 2))

$log(P(HMM1))+log(P(O|HMM1)) >? log(P(HMM2))+log(P(O|HMM2))$

l o g (P (H M M 1))

$log(P(HMM1))$

l o g (P (H M M 1))

$log(P(HMM1))$

l o g (P (H M M 1)) + l o g (P (O | H M M 1)) > ? l o g (P (H M M 2)) + l o g (P (O | H M M 2))

$log(P(HMM1))+log(P(O|HMM1))>?log(P(HMM2))+log(P(O|HMM2))$

l o g (P (H M M 1))

$log(P(HMM1))$

H M M 1 = (5 * 2, 000) / 108, 000

$HMM1 = (5 * 2,000) / 108,000$