Adakah yang bisa menjelaskan bagaimana tersembunyinya model Markov terkait dengan maksimalisasi harapan? Saya telah melalui banyak tautan tetapi tidak dapat menghasilkan tampilan yang jelas.
Terima kasih!
sumber
Adakah yang bisa menjelaskan bagaimana tersembunyinya model Markov terkait dengan maksimalisasi harapan? Saya telah melalui banyak tautan tetapi tidak dapat menghasilkan tampilan yang jelas.
Terima kasih!
Algoritma EM (ekspektasi maksimisasi) adalah algoritma umum untuk optimalisasi fungsi kemungkinan dalam kasus-kasus di mana model ditentukan secara probabilistik dalam hal komponen yang diamati dan tidak teramati (laten). HMM (model Markov tersembunyi) adalah model bentuk ini karena mereka memiliki komponen yang tidak teramati, keadaan tersembunyi, dan pengamatan aktual sering disebut emisi dalam terminologi HMM. Oleh karena itu, HMM membentuk kelas model yang algoritma EM dapat berguna.
Algoritma EM paling masuk akal jika dua langkah di atas dapat diimplementasikan dengan cara yang efisien secara komputasi, misalnya ketika kita telah menutup bentuk ekspresi untuk harapan bersyarat dan maksimalisasi.
Secara historis, algoritma-EM umum dikreditkan ke Dempster, Laird dan Rubin , yang membuktikan dalam makalah 1977 mereka, antara lain, bahwa algoritma mengarah ke urutan parameter dengan nilai kemungkinan peningkatan yang secara monoton. Mereka juga menciptakan istilah "algoritma EM". Menariknya, algoritma-EM untuk HMM telah dijelaskan pada tahun 1970 oleh Baum et al. , dan juga sering disebut sebagai algoritma Baum-Welch dalam literatur HMM (saya tidak tahu persis apa yang dilakukan Welch ...).
Maksimalisasi Ekspektasi adalah metode berulang yang digunakan untuk melakukan inferensi statistik pada berbagai model statistik generatif yang berbeda, misalnya campuran Gaussians, dan model tipe jaringan Bayesian lainnya. Satu-satunya koneksi adalah bahwa HMM juga merupakan jaringan Bayesian. Tetapi orang mungkin tidak akan menggunakan EM pada HMM karena ada algoritma yang tepat untuk inferensi dalam HMM yang disebut algoritma Viterbi. Jadi, meskipun seseorang dapat menggunakan EM untuk melakukan inferensi pada HMM, Anda tidak akan melakukannya karena tidak ada alasan untuk melakukannya.
sumber
Dalam HMM, kami mencoba memperkirakan terutama tiga parameter:
Sekarang, bagian EM datang ketika Anda mencoba memperkirakan jumlah / parameter yang disebutkan di atas. Dimulai dengan beberapa tebakan acak, kemungkinan pengamatan dievaluasi dan parameter disesuaikan secara iteratif hingga kami mendapatkan kemungkinan maksimum. Jadi, melalui HMM, kami memodelkan beberapa proses dan untuk itu kami perlu memperkenalkan beberapa parameter. Untuk memperkirakan parameter, EM diberikan.
Ini jawaban yang sangat singkat. Menerapkan EM membutuhkan banyak sub-masalah lain untuk dipecahkan melalui serangkaian teknik. Untuk pemahaman mendalam, makalah tutorial klasik Rabiner sangat dianjurkan.
sumber