Apakah MLE dengan regularisasi adalah metode bayesian?

8

Biasanya dikatakan bahwa prior pada statistik bayesian dapat dianggap sebagai faktor regularisasi karena mereka menghukum solusi di mana sebelumnya menempatkan kepadatan probabilitas rendah.

Kemudian, diberikan model sederhana ini yang parameter MLE-nya adalah:

argmaxμ N(y;μ,σ)

dan saya menambahkan sebelumnya: parameternya bukan parameter MLE tetapi parameter MAP.

argmaxμ N(y;μ,σ)N(μ;0,σ0)

Pertanyaan : Apakah ini berarti bahwa jika saya memperkenalkan beberapa regularisasi dalam model saya, saya melakukan analisis bayesian (bahkan jika hanya menggunakan estimasi titik)?

Atau ini tidak masuk akal membuat perbedaan "ontologis" pada titik ini karena metode untuk menemukan MLE atau MAP adalah sama (bukan?)?

Alberto
sumber

Jawaban:

10

Ini berarti bahwa analisis tersebut memiliki interpretasi Bayesian, tetapi itu tidak berarti bahwa analisis tersebut mungkin juga tidak memiliki interpretasi yang sering. Perkiraan MAP mungkin dipandang sebagai pendekatan Bayesian parsial, dengan pendekatan Bayesian yang lebih lengkap untuk mempertimbangkan distribusi posterior atas parameter. Ini masih merupakan pendekatan Bayesian, karena definisi probabilitas akan menjadi "tingkat masuk akal", daripada frekuensi jangka panjang.

Dikran Marsupial
sumber
5

Jika Anda menggunakan norma L2, yaitu, hukuman kuadrat pada fungsi kemungkinan log, hukuman sangat mirip dengan prosedur Bayesian dengan Gaussian sebelum dengan rata-rata nol untuk koefisien regresi non-intersep. Tetapi tidak seperti prosedur Bayesian penuh yang faktor dalam ketidakpastian tentang jumlah hukuman (analog dengan memperlakukan varians dari efek acak seolah-olah itu adalah konstanta yang diketahui), prosedur kemungkinan maksimum dipensien berpura-pura bahwa hukuman optimal telah ditentukan sebelumnya dan bukan parameter yang tidak dikenal. Jadi itu menghasilkan batas kepercayaan yang agak terlalu sempit.

Frank Harrell
sumber
2
+1 poin bagus, tidak memperhitungkan ketidakpastian dalam hiper-parameter adalah Empiris Bayes.
Dikran Marsupial