Saya tertarik dengan konsep Maximum Entropy Markov Model (MEMM), dan saya berpikir untuk menggunakannya untuk tagger Part of Speech (POS). Saat ini, saya menggunakan classifier Maximum Entropy (ME) konvensional untuk menandai setiap kata. Ini menggunakan sejumlah fitur, termasuk dua tag sebelumnya.
MEMM menggunakan algoritma Viterbi untuk menemukan jalur optimal melalui Rantai Markov (mis. Untuk menemukan serangkaian tag optimal optimal untuk kalimat daripada optimal individu untuk setiap kata). Membaca tentang itu, ini tampaknya memiliki keanggunan dan kesederhanaan yang indah. Namun, setiap tahap hanya bergantung pada "hasil" dari tahap sebelumnya (yaitu sesuai Rantai Markov).
Namun, model ME saya menggunakan dua tahap sebelumnya (yaitu tag untuk dua kata sebelumnya). Tampaknya saya memiliki dua pendekatan yang mungkin:
Seperti dengan implementasi Viterbi konvensional, gunakan satu set jalur yang disimpan sesuai dengan satu (sebelumnya) tahap. Pengklasifikasi ME saya akan menggunakan ini dan tahap 'beku' sebelum ini (dibekukan ke jalur yang sedang dipertimbangkan) untuk menghasilkan fungsi transfer.
Atau saya menulis algoritme untuk melacak dua tahap. Ini lebih rumit dan tidak lagi menjadi Model Markov yang sebenarnya karena setiap fungsi transfer (yaitu dari Model ME) akan tergantung pada dua tahap sebelumnya dan bukan satu tahap.
Menurut saya, yang kedua akan lebih akurat, meskipun akan lebih rumit.
Saya belum menemukan contoh ini selama pencarian literatur saya. Sudahkah dicoba? Apakah pendekatan dua tahap memberikan peningkatan akurasi keseluruhan?