Bagaimana keseragaman memimpin sebelumnya dengan perkiraan yang sama dari kemungkinan maksimum dan mode posterior?

9

Saya mempelajari berbagai metode estimasi titik dan membaca bahwa ketika menggunakan estimasi MAP vs ML, ketika kami menggunakan "uniform uniform", perkiraannya sama. Adakah yang bisa menjelaskan apa itu "seragam" sebelumnya dan memberikan beberapa contoh (sederhana) tentang kapan penduga MAP dan ML akan sama?

machine-learning probability bayesian estimation maximum-likelihood pengguna1516425
sumber
4
@AndreSilva MAP = Maksimum a posteriori - mode posterior
Glen_b -Reinstate Monica
Lihat di sini: math.stackexchange.com/questions/1327752/…
Royi

Jawaban:

10

Ini adalah distribusi yang seragam (baik kontinu atau diskrit).

Lihat juga

http://en.wikipedia.org/wiki/Point_estimation#Bayesian_point-estimation

dan

http://en.wikipedia.org/wiki/Maximum_a_posteriori_estimation#Description

Jika Anda menggunakan seragam sebelum set yang berisi MLE, maka MAP = MLE selalu. Alasan untuk ini adalah bahwa di bawah struktur sebelumnya ini, distribusi posterior dan kemungkinan proporsional.

MAPMLE
sumber
2
Ini jawaban yang bagus menurut saya. Mungkin perlu ditambahkan bahwa alasan bahwa distribusi posterior dan kemungkinannya proporsional adalah bahwa distribusi posterior itu sendiri proporsional dengan produk dari kemungkinan dan sebelumnya. Ketika prior mengambil nilai yang sama di mana-mana, seperti dalam distribusi seragam, maka distribusi posterior hanya sebanding dengan kemungkinan.
TooTone
1
@ToTone Saya juga akan menambahkan poin tentang ketidaksesuaian.
Stéphane Laurent
Uniform sebelum dapat dilihat sebagai memberikan set pengguna atau probabilitas yang sama untuk setiap kelas yang Anda coba prediksi. Sebagai contoh, jika kita memiliki dua masalah kelas dan distribusi untuk contoh positif adalah 10% (yaitu probabilitas sebelumnya 0,1), kita dapat mengatur seragam sebelum untuk kasus positif menjadi 0,5 untuk mengatasi efek ketidakseimbangan aslinya. distribusi.
soufanom
2
Pada pernyataan, di bawah seragam sebelum MAP dan ML bertabrakan hanya jika seragam sebelumnya adalah seluruh nilai parameter yang valid. Yaitu jika parameternya kontinu dan yang sebelumnya hanya seragam di [0, 1] tidak akan tahan.
Royi
@Drazick: ucapan yang baik. Sebenarnya "lebih buruk" dari itu, yaitu (nilai) MAP tergantung pada pilihan ukuran yang mendominasi, seperti yang dijelaskan dalam makalah Druihlet dan Marin ini .
Xi'an
1

MLE adalah estimasi kejadian yang diberikan parameter, sedangkan MAP adalah estimasi parameter yang diberikan peristiwa. Ketika kita menggunakan teorema Bayes lebih lanjut sambil memperkirakan MAP, ia bermuara pada mana adalah satu-satunya istilah tambahan sehubungan dengan MLE. Estimasi rata-rata dan varians dari MAP akan sama dengan estimasi mean dan varians dari MLE sebagai Prior tetap sama setiap waktu dan tidak berubah sama sekali. Jadi itu hanya bertindak sebagai konstanta dan dengan demikian tidak memainkan peran dalam mempengaruhi nilai mean dan varians.P ( θ )P(D|θ)P(θ)P(θ)

gg1782191
sumber
(-1) Estimasi kemungkinan maksimum (dari suatu parameter) adalah perkiraan dari suatu parameter, bukan 'estimasi kejadian peristiwa tertentu'. Sisa dari jawabannya agak membingungkan / membingungkan, juga, misalnya tidak jelas apa yang dimaksud dengan 'maksud dan perbedaan'.
Juho Kokkala
@Tim, Bisakah Anda memberikan bukti (atau garis besar) yang ditampilkan The mean and variance estimate of MAP will be same as mean and variance estimate of MLE? Terima kasih
curious_dan
@curious_dan Bayes theorem adalah , jika seragam, maka ia berkurang menjadi , jadi Anda hanya memaksimalkan kemungkinan, sehingga sama dengan MLE. p ( θ ) ∝ 1 p ( θ | X ) ∝ p ( X | θ ) × 1p(θ|X)∝p(X|θ)p(θ)p(θ)∝1p(θ|X)∝p(X|θ)×1
Tim
terima kasih, @Tim --- Saya dapat melihat mengapa ini berlaku untuk nilai maksimum / yang diharapkan, tetapi tidak jelas bagi saya variansnya akan sama
curious_dan
@curious_dan varian apa? Ini berlaku untuk parameter apa pun yang Anda perkirakan.
Tim