Saya memiliki beberapa pertanyaan konseptual sederhana yang ingin saya klarifikasi mengenai MLE (Estimasi Kemungkinan Maksimum), dan tautan apa yang dimilikinya, jika ada, ke EM (Ekspektasi Maksimalisasi).
Seperti yang saya pahami, jika seseorang berkata "Kami menggunakan MLE", apakah itu secara otomatis berarti bahwa mereka memiliki model eksplisit dari data PDF mereka? Menurut saya jawabannya adalah ya. Dengan kata lain, jika suatu saat seseorang mengatakan "MLE", adalah wajar untuk bertanya kepada mereka apa PDF yang mereka asumsikan. Apakah ini benar?
Terakhir, pada EM, pemahaman saya adalah bahwa dalam EM, kita sebenarnya tidak tahu - atau perlu tahu, PDF yang mendasari data kami. Ini pemahaman saya.
Terima kasih.
Jawaban:
Metode MLE dapat diterapkan dalam kasus di mana seseorang mengetahui bentuk fungsional dasar pdf (misalnya, itu Gaussian, atau log-normal, atau eksponensial, atau apa pun), tetapi bukan parameter yang mendasarinya; misalnya, mereka tidak tahu nilai dan σ dalam pdf: f ( x | μ , σ ) = 1μ σ atau apa pun jenis pdf lain yang mereka asumsikan. Tugas metode MLE adalah memilih yang terbaik (yaitu, yang paling masuk akal) nilai untuk parameter yang tidak diketahui, mengingat pengukuran tertentu Datax1,x2,x3,. . . yang sebenarnya diamati. Jadi untuk menjawab pertanyaan pertama Anda, ya, Anda selalu berhak menanyakan kepada seseorangbentukpdf apa yang mereka asumsikan untuk perkiraan kemungkinan maksimum; memang, taksiran nilai parameter yang mereka katakan kepada Anda bahkan tidak berarti kecuali mereka pertama kali berkomunikasi konteks itu.
sumber
MLE membutuhkan pengetahuan tentang paling tidak distribusi marjinal. Saat menggunakan MLE, kami biasanya mengestimasi parameter distribusi bersama dengan membuat asumsi awal, lalu memfaktorkan distribusi bersama sebagai produk dari marginal, yang kami tahu. Ada variasi, tetapi ini adalah gagasan dalam banyak kasus. Jadi MLE adalah metode parametrik.
Algoritma EM adalah metode untuk memaksimalkan fungsi kemungkinan yang muncul sebagai bagian dari algoritma MLE. Ini sering (biasanya?) Digunakan untuk solusi numerik.
Setiap kali kita menggunakan MLE, kita memerlukan setidaknya distribusi marjinal, dan beberapa asumsi tentang bagaimana sambungan itu terkait dengan marginal (kemerdekaan, dll.). Karena itu kedua metode ini mengandalkan pengetahuan distribusi.
sumber