Apa model generatif dan diskriminatif? Bagaimana mereka digunakan dalam Pemrosesan Bahasa Alami?

Pertanyaan ini menanyakan tentang algoritma generatif vs diskriminatif, tetapi dapatkah seseorang memberikan contoh perbedaan antara formulir-formulir ini ketika diterapkan pada Pemrosesan Bahasa Alami? Bagaimana model generatif dan diskriminatif digunakan dalam NLP?

Katakanlah Anda sedang memprediksi topik dokumen yang diberikan kata-katanya.

Model generatif menggambarkan seberapa besar kemungkinan masing-masing topik, dan seberapa besar kata-kata diberikan topik. Beginilah katanya dokumen sebenarnya "dihasilkan" oleh dunia - sebuah topik muncul menurut beberapa distribusi, kata-kata muncul karena topik itu, Anda punya dokumen. Mengklasifikasikan dokumen kata W ke dalam topik T adalah masalah memaksimalkan kemungkinan bersama: P (T, W) = P (W | T) P (T)

Model diskriminatif beroperasi dengan hanya menggambarkan seberapa besar suatu topik diberikan kata-kata. Itu tidak mengatakan apa-apa tentang seberapa besar kemungkinan kata-kata atau topik itu sendiri. Tugasnya adalah untuk memodelkan P (T | W) secara langsung dan menemukan T yang memaksimalkan ini. Pendekatan-pendekatan ini tidak peduli tentang P (T) atau P (W) secara langsung.