Apakah selalu ada maximizer untuk masalah MLE?

23

Saya ingin tahu apakah selalu ada maximizer untuk masalah estimasi kemungkinan maksimum (log-)? Dengan kata lain, apakah ada beberapa distribusi dan beberapa parameternya, di mana masalah MLE tidak memiliki maximizer?

Pertanyaan saya berasal dari klaim seorang insinyur bahwa fungsi biaya (kemungkinan atau log-kemungkinan, saya tidak yakin yang dimaksudkan) di MLE selalu cekung dan karena itu selalu memiliki maximizer.

Terima kasih dan salam!

maximum-likelihood optimization Tim
sumber

8

(+1) Apakah Anda yakin tidak ada kualifikasi yang tidak dinyatakan dalam pertanyaan Anda? Seperti berdiri, pernyataan insinyur itu salah dalam begitu banyak cara yang berbeda hampir sulit untuk mengetahui di mana untuk memulai. :)

kardinal

@ kardinal: Saya pada dasarnya menuliskan apa yang saya dengar. Tapi saya akui saya mungkin melewatkan sesuatu.

Tim

5

Contoh tandingan (konveksitas): Misalkan menjadi iid . Meskipun ada MLE yang unik, baik kemungkinan maupun log-kemungkinannya cembung dalam .

X_{1}, X_{2}, \dots, X_{n}

$X_1,X_2,\ldots,X_n$

N (0, σ^{2})

$\mathcal N(0,\sigma^2)$

σ^{2}

$\sigma^2$

kardinal

3

@Tim Regresi logistik adalah contoh dasar di mana MLE tidak selalu ada. Selain itu, untuk beberapa fungsi tautan, kemungkinan log tidak cekung.

30

Mungkin insinyur itu memikirkan keluarga eksponensial kanonik: dalam parametrization alami mereka, ruang parameternya cembung dan log-likelihoodnya cekung (lihat Thm 1.6.3 dalam Statistik Matematika Bickel & Doksum , Volume 1 ). Juga, di bawah beberapa kondisi teknis ringan (pada dasarnya bahwa model menjadi "peringkat penuh", atau ekuivalen, bahwa parameter alami dapat diidentifikasi), fungsi log-kemungkinan adalah cekung ketat, yang menyiratkan di sana ada maximizer unik. (Corollary 1.6.2 dalam referensi yang sama.) [Juga, catatan kuliah yang dikutip oleh @biostat menunjukkan hal yang sama.]

Perhatikan bahwa parametriisasi alami dari keluarga eksponensial kanonik biasanya berbeda dari parametriisasi standar. Jadi, sementara @ cardinal menunjukkan bahwa kemungkinan log untuk keluarga tidak cembung pada , itu akan cekung dalam parameter alami, yaitu dan . $\mathcal{N}(\mu,\sigma^2)$ $\sigma^2$ $\eta_1 = \mu / \sigma^2$ $\eta_2 = -1/\sigma^2$

DavidR
sumber

2

(+1) Jawaban yang bagus. Seperti yang diisyaratkan dalam komentar saya kepada OP, ini adalah jawaban yang saya harapkan akan diposting (bahkan sampel berlawanan dipilih dengan cermat dengan mengingat hal ini). :)

kardinal

2

Dapatkah Anda menunjukkan ini dalam Model Gaussian Multivarian?

Royi

6

Fungsi kemungkinan sering mencapai maksimum untuk estimasi parameter bunga. Namun demikian, kadang-kadang MLE tidak ada, seperti untuk distribusi campuran Gaussian atau fungsi nonparametrik, yang memiliki lebih dari satu puncak (bi atau multi-moda). Saya sering menghadapi masalah estimasi parameter genetika populasi yang tidak diketahui yaitu, tingkat rekombinasi, efek seleksi alam.

Salah satu alasannya juga @ cardinal menunjukkan bahwa ruang parametrik tidak terbatas.

Selain itu, saya akan merekomendasikan artikel berikut , lihat bagian 3 (untuk fungsi) dan Gbr.3. Namun, ada informasi dokumen yang cukup berguna dan berguna tentang MLE.

Biostat
sumber

3

Saya pikir saya pasti salah paham dengan contoh yang Anda berikan. Apa fungsi kuadrat yang memiliki lebih dari satu puncak?

kardinal

@ cardinal: Biarkan saya mencoba menjelaskan. Poin Anda tentang parameter tidak terikat adalah salah satu alasan mengapa fungsi kemungkinan tidak mencapai maksimum bahkan dalam contoh sederhana dari distribusi normal. Namun, poin saya adalah dari perspektif optimisasi bahwa ada masalah populer maxima lokal dan global. Saya sering menghadapi masalah ini dalam genetika populasi sambil memperkirakan tingkat rekombinasi. Selain itu lihat artikel ini bagian 3 (untuk fungsi) dan Gbr 3. URL artikel: citeseerx.ist.psu.edu/viewdoc/…

Biostat

Jadi, apakah Anda mengatakan "fungsi kuadratik dengan lebih dari satu puncak" adalah referensi ke, misalnya, model campuran Gaussian, mungkin? Jika demikian, hasil edit mungkin dapat menghilangkan kebingungan.

kardinal

Sekarang diperbarui.

Biostat

2

(+1) Untuk pembaruan. Perhatikan bahwa dalam model campuran Gaussian, baik kemungkinan tak terbatas dan beberapa maksima lokal hadir, secara umum. Untuk memperburuk keadaan, kemungkinan menjadi tidak terbatas pada solusi patologis khususnya. Secara umum, multiple maxima mungkin tidak seburuk masalah. Dalam beberapa kasus, maxima ini bertemu satu sama lain dengan cukup cepat sehingga memilih salah satu dari mereka masih dapat menghasilkan penaksir yang wajar (bahkan, efisien) dari parameter yang diminati secara asimptotik.

kardinal

3

Saya akui saya mungkin melewatkan sesuatu, tapi -

Jika ini merupakan masalah estimasi, dan tujuannya adalah untuk memperkirakan parameter yang tidak diketahui, dan parameter diketahui berasal dari beberapa set yang tertutup dan dibatasi, dan fungsi kemungkinan kontinu, maka harus ada nilai untuk parameter ini yang memaksimalkan fungsi kemungkinan. Dengan kata lain, maksimum harus ada. (Tidak perlu unik, tetapi setidaknya satu maksimum harus ada. Tidak ada jaminan bahwa semua maxima lokal akan menjadi global maxima, tetapi itu bukan kondisi yang diperlukan agar maksimum ada.)

Saya tidak tahu apakah fungsi kemungkinan selalu cembung, tapi itu bukan kondisi yang diperlukan agar ada maksimum.

Jika saya mengabaikan sesuatu, saya akan senang mendengar apa yang saya lewatkan.

DW
sumber

4

Tanpa asumsi tambahan, pernyataan yang diberikan tentang maxima itu salah. Sebagai contoh, jika ruang parameter ditutup dan dibatasi dan fungsi kemungkinan kontinu dalam parameter, maka maksimum harus ada. Jika tidak ada satu pun dari kondisi tambahan ini, hasilnya tidak perlu berlaku. Mengenai cembung, ia gagal bahkan dalam contoh yang paling sederhana dan umum. :)

kardinal

2

(+1) Keterbatasan ruang parameter tidak berlaku dalam banyak kasus sederhana, bahkan. Tapi, untuk tujuan praktis, kita umumnya tahu parameter kita dibatasi. :)

kardinal

3

Mungkin seseorang akan menemukan contoh sederhana berikut bermanfaat.

$\theta$ $\theta \in (0,1)$ $(0,1)$ $\theta$

{\begin{cases} θ & kepala \\ 1 - θ & ekor \end{cases} .

$\begin{cases} \theta & \text{heads} \\ 1-\theta & \text{tails} \end{cases} .$

θ

$\theta$

(0, 1)

$(0,1)$

mef
sumber

Apakah selalu ada maximizer untuk masalah MLE?

Jawaban: