Model generatif vs diskriminatif (dalam konteks Bayesian)

Apa perbedaan antara model generatif dan diskriminatif (diskriminan) (dalam konteks pembelajaran dan inferensi Bayesian)?

dan apa yang berkaitan dengan prediksi, teori keputusan atau pembelajaran tanpa pengawasan?

Keduanya digunakan dalam pembelajaran terawasi di mana Anda ingin mempelajari aturan yang memetakan input x ke output y, diberikan sejumlah contoh pelatihan dari formulir . Model generatif (misalnya, Bayes naif) secara eksplisit memodelkan distribusi probabilitas gabungan dan kemudian menggunakan aturan Bayes untuk menghitung . Di sisi lain, model diskriminatif (misalnya, regresi logistik) langsung memodelkan .$\{(x_i,y_i)\}$$p(x,y)$$p(y|x)$$p(y|x)$

Beberapa orang berpendapat bahwa model diskriminatif lebih baik dalam arti langsung memodelkan jumlah yang Anda pedulikan , jadi Anda tidak perlu menghabiskan upaya pemodelan Anda pada input x (Anda perlu menghitung juga dalam model generatif). Namun, model generatif memiliki kelebihannya sendiri seperti kemampuan menangani data yang hilang, dll. Untuk beberapa perbandingan, Anda dapat melihat makalah ini: Pada pengelompokan Diskriminatif vs. Generatif: Perbandingan regresi logistik dan Bayes naif$(y)$$p(x|y)$

Mungkin ada kasus ketika satu model lebih baik dari yang lain (misalnya, model diskriminatif biasanya cenderung melakukan lebih baik jika Anda memiliki banyak data; model generatif mungkin lebih baik jika Anda memiliki beberapa data tambahan yang tidak berlabel). Bahkan, ada model hybird juga yang mencoba menghadirkan yang terbaik dari kedua dunia. Lihat makalah ini sebagai contoh: Hibrida berprinsip model generatif dan diskriminatif

Satu tambahan untuk jawaban di atas:

Karena diskriminan hanya peduli pada P (Y | X), sedangkan generatif hanya peduli pada P (X, Y) dan P (X), untuk memprediksi P (Y | X) dengan baik, model generatif memiliki tingkat kebebasan yang lebih rendah. dalam model dibandingkan dengan model diskriminan. Jadi model generatif lebih kuat , lebih rentan terhadap overfitting, sedangkan diskriminan adalah sebaliknya.

Itu menjelaskan jawaban di atas

Mungkin ada kasus ketika satu model lebih baik dari yang lain (misalnya, model diskriminatif biasanya cenderung melakukan lebih baik jika Anda memiliki banyak data; model generatif mungkin lebih baik jika Anda memiliki beberapa data tambahan yang tidak berlabel).