EM tidak diperlukan daripada menggunakan beberapa teknik numerik karena EM juga merupakan metode numerik. Jadi itu bukan pengganti Newton-Raphson. EM adalah untuk kasus khusus ketika Anda memiliki nilai yang hilang dalam matriks data Anda. Pertimbangkan sampel yang memiliki kerapatan bersyarat f X | Θ ( x | θ ) . Kemudian log-kemungkinan ini adalah
l ( θ ; X ) = l o g f X | ΘX= ( X1, . . . , Xn)fX| Θ( x | θ )
Sekarang anggaplah Anda tidak memiliki set data lengkap sehingga X terdiri dari data yang diamati Y dan hilang (atau laten) variabel Z , sehingga X = ( Y , Z ) . Maka kemungkinan log untuk data yang diamati adalah
l o b s ( θ , Y ) = l o g ∫ f X | Θ ( Y , z | θ ) ν z (
l ( θ ; X) = L o gfX| Θ( X| θ)
XYZX= ( Y, Z)
Secara umum Anda tidak dapat menghitung integral ini secara langsung dan Anda tidak akan mendapatkan solusi bentuk-tertutup untuk
l o b s ( θ , Y ) . Untuk tujuan ini, Anda menggunakan metode EM. Ada dua langkah yang diulang untuk
saya kali. Dalam langkah ini
( i + 1 ) t h ini adalah langkah harapan di mana Anda menghitung
Q ( θ | θ ( i ) ) = E θ ( i ) [ l ( θlo b s( θ , Y) = L o g∫fX| Θ( Y, z| θ) νz( dz)
lo b s( θ , Y)saya( I + 1 )t h
di mana
θ ( i ) adalah estimasi
Θ di
i t h langkah. Kemudian hitung langkah maksimisasi di mana Anda memaksimalkan
Q ( θ | θ ( i ) ) sehubungan dengan
θ dan mengatur
θ ( i + 1 ) = m a x Q ( θ | θ i )Q ( θ | θ( i )) = Eθ( i )[ l ( θ ; X| Y]
θ( i )Θsayat hQ ( θ | θ( i ))θθ( I + 1 )= m a x Q ( θ | θsaya). Anda kemudian ulangi langkah-langkah ini sampai metode menyatu ke beberapa nilai yang akan menjadi estimasi Anda.
Jika Anda memerlukan informasi lebih lanjut tentang metode ini, propertinya, bukti atau aplikasinya cukup lihat artikel Wiki yang sesuai .
EM digunakan karena seringkali tidak layak atau tidak mungkin untuk secara langsung menghitung parameter dari suatu model yang memaksimalkan probabilitas suatu dataset mengingat model tersebut.
sumber