Apa perbedaan dalam estimasi Bayesian dan estimasi kemungkinan maksimum?

Tolong jelaskan kepada saya perbedaan dalam estimasi Bayesian dan estimasi kemungkinan maksimum?

Ini adalah pertanyaan yang sangat luas dan jawaban saya di sini hanya mulai sedikit menggores permukaan. Saya akan menggunakan aturan Bayes untuk menjelaskan konsep.

Mari kita asumsikan bahwa satu set parameter distribusi probabilitas, , terbaik menjelaskan dataset D . Kami mungkin ingin memperkirakan parameter θ dengan bantuan Peraturan Bayes:$\theta$$D$$\theta$

Penjelasannya mengikuti:

Perkiraan Kemungkinan Maksimum

$\theta$$p(D|\theta)$$\hat{\theta}$$\hat{\theta}$

$\frac{p(\theta)}{p(D)}$$p(\theta)$$\theta$

Perkiraan Bayesian

$p(\theta|D)$$\theta$

$\theta$$p(\theta|D)$$\theta$$\theta$$\theta$

$evidence$

Ini mengarah pada konsep 'konjugasi prior' dalam estimasi Bayesian. Untuk fungsi kemungkinan yang diberikan, jika kita memiliki pilihan mengenai bagaimana kita mengekspresikan kepercayaan kita sebelumnya, kita harus menggunakan formulir yang memungkinkan kita untuk melakukan integrasi yang ditunjukkan di atas. Gagasan konjugasi prior dan bagaimana mereka secara praktis diimplementasikan dijelaskan dengan cukup baik dalam posting ini oleh COOlSerdash.

Saya pikir Anda berbicara tentang estimasi titik seperti dalam inferensi parametrik, sehingga kita dapat mengasumsikan model probabilitas parametrik untuk mekanisme menghasilkan data tetapi nilai aktual dari parameter tidak diketahui.

Estimasi kemungkinan maksimum mengacu pada penggunaan model probabilitas untuk data dan mengoptimalkan fungsi kemungkinan gabungan dari data yang diamati melalui satu atau lebih parameter. Oleh karena itu terlihat bahwa estimasi parameter paling konsisten dengan data yang diamati relatif terhadap parameter lain di ruang parameter. Perhatikan fungsi kemungkinan seperti itu tidak selalu dipandang sebagai "kondisional" pada parameter karena parameter tersebut bukan variabel acak, oleh karena itu agak lebih canggih untuk memahami kemungkinan berbagai hasil membandingkan dua parameterisasi yang berbeda. Ternyata ini adalah pendekatan filosofis yang sehat.

Estimasi Bayesian sedikit lebih umum karena kita belum tentu memaksimalkan analog Bayesian dari kemungkinan (kerapatan posterior). Namun, tipe estimasi analog (atau estimasi mode posterior) dipandang sebagai memaksimalkan probabilitas parameter posterior yang tergantung pada data. Biasanya, perkiraan Bayes yang diperoleh sedemikian rupa berperilaku hampir persis seperti ML. Perbedaan utama adalah bahwa inferensi Bayes memungkinkan metode eksplisit untuk memasukkan informasi sebelumnya.

Juga 'Sejarah Epik Kemungkinan Maksimum membuat pembacaan yang menerangi

http://arxiv.org/pdf/0804.2996.pdf

Perkiraan Bayesian adalah inferensi Bayesian sedangkan MLE adalah jenis metode inferensi frequentist.

$f(x_1,...,x_n; \theta) = \frac{f(\theta; x_1,...,x_n) * f(x_1,...,x_n)}{f(\theta)}$$likelihood = \frac{posterior * evidence}{prior}$$p(\theta) = 1/6$

Alternatif MLE dalam inferensi Bayesian disebut maksimum estimasi a posteriori (MAP), dan sebenarnya MLE adalah kasus khusus MAP di mana yang sebelumnya seragam, seperti yang kita lihat di atas dan sebagaimana dinyatakan dalam Wikipedia :

Dari sudut pandang inferensi Bayesian, MLE adalah kasus khusus dari estimasi a posteriori maksimum (MAP) yang mengasumsikan distribusi parameter yang seragam sebelumnya.

Untuk detailnya, silakan merujuk ke artikel yang luar biasa ini: MLE vs MAP: hubungan antara Kemungkinan Maksimum dan Estimasi Posteriori Maksimum .

Dan satu perbedaan lagi adalah bahwa kemungkinan maksimum adalah overfitting-rawan, tetapi jika Anda mengadopsi pendekatan Bayesian masalah over-fitting dapat dihindari.