Jadi dalam pemodelan teks (tanpa pengawasan), Latent Dirichlet Allocation (LDA) adalah versi Bayesian dari Probabilistic Latent Semantic Analysis (PLSA). Intinya, LDA = PLSA + Dirichlet sebelum parameternya. Pemahaman saya adalah bahwa LDA sekarang menjadi algoritma referensi dan diimplementasikan dalam berbagai paket, sementara PLSA seharusnya tidak digunakan lagi.
Tetapi dalam kategorisasi teks (diawasi), kita bisa melakukan hal yang persis sama untuk classifier Naive Bayes multinomial dan menempatkan Dirichlet di atas parameter. Tapi saya tidak berpikir saya pernah melihat ada yang melakukan itu, dan versi "estimasi titik" dari Multinomial Naive Bayes tampaknya adalah versi yang diterapkan di sebagian besar paket. Apakah ada alasan untuk itu?
sumber
Saya menduga sebagian besar implementasi NB memungkinkan untuk estimasi probabilitas bersyarat dengan koreksi Laplace , yang memberikan solusi MAP untuk pengklasifikasi NB Bayesian (dengan sebelumnya Dirichlet tertentu). Sebagaimana @Zhubarb (+1) tunjukkan, perawatan Bayesian dari pengklasifikasi NB telah diturunkan dan diimplementasikan (tesis / makalah Rennie layak dibaca). Namun, asumsi independensi NB hampir selalu salah, dalam hal membuat model lebih bergantung pada asumsi tersebut (melalui perawatan Bayesian penuh) mungkin bukan hal yang baik untuk dilakukan.
sumber
Saya tidak percaya apa yang Anda gambarkan itu benar. Model probabilistik untuk LDA dan MNB berbeda.
Satu perbedaan utama antara keduanya adalah bahwa dalam model generatif untuk LDA, ketika sebuah kata diambil, pertama-tama topik untuk kata itu dipilih, dan kemudian sebuah kata dari distribusi topik tersebut dipilih. Iow setiap kata dalam dokumen dapat diambil dari topik yang berbeda.
Dalam model generatif untuk MNB, dokumen tersebut diberikan satu kelas dan semua kata dalam dokumen tersebut diambil dari distribusi (yang sama) untuk kelas itu.
sumber