Algoritma EM Praktekkan Masalah

9

Ini adalah masalah latihan untuk ujian tengah semester. Masalahnya adalah contoh algoritma EM. Saya mengalami masalah dengan bagian (f). Saya membuat daftar bagian (a) - (e) untuk penyelesaian dan jika saya melakukan kesalahan sebelumnya.

Misalkan X1,,Xn menjadi variabel acak eksponensial independen dengan laju θ . Sayangnya, nilai aktual Xtidak diamati, dan kami hanya mengamati apakah nilai X berada dalam interval tertentu. Misalkan G1j=1{Xj<1} , G2j=1{1<Xj<2} , dan G3j=1{Xj>2} untukj=1,,n. Data yang diamati terdiri dari(G1j,G2j,G3j).

(a) Berikan kemungkinan data yang diamati:

L(θ|G)=j=1nPr{Xj<1}G1jPr{1<Xj<2}G2jPr{Xj>2}G3j=j=1n(1eθ)G1j(eθe2θ)G2j(e2θ)G3j

(B) Berikan kemungkinan data lengkap

L(θ|X,G)=j=1n(θeθxj)G1j(θeθxj)G2j(θeθxj)G3j

(C) Turunkan kerapatan prediksi variabel laten f(xj|G,θ)

f(xj|G,θ)=fX,G(xj,g)fG(g)=θeθxj1{xjregion r s.t. Grj=1}(1eθ)g1j(eθe2θ)g2j(e2θ)g3j

(d) E-langkah. Berikan fungsi Q(θ,θi)

Q(θ,θi)=EX|G,θi[logf(x|G,θ)]=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)N2log(eθe2θ)N3loge2θ=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)N2log(eθ(1eθ))+2θN3=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)+θN2N2log(1eθ)+2θN3

di mana N1=j=1ng1j,N2=j=1ng2j,N3=j=1ng3j

(e) Berikan ekspresi untuk untuk r = 1 , 2 , 3 .E[Xj|Grj=1,θi]r=1,2,3

Saya akan daftar hasil saya yang saya yakin benar tetapi derivasi akan agak lama untuk pertanyaan yang sudah terlalu lama:

E[Xj|G1j=1,θi]=(11eθi)(1θieθi(1+1/θi))E[Xj|G2j=1,θi]=(1eθie2θi)(eθi(1+1/θi)e2θi(2+1/θi))E[Xj|G3j=1,θi]=(1e2θi)(e2θi(2+1/θi))

Ini adalah bagian yang saya tempati, dan mungkin karena kesalahan sebelumnya:

(f) Langkah-M. Temukan yang memaksimalkan Q ( θ , θ i )θQ(θ,θi)

Dari hukum total harapan kami memiliki MakaE[Xj|G,θi]=(1θieθi(1+1/θi))+(eθi(1+1/θi)e2θi(2+1/θi))+(e2θi(2+1/θi))=1/θi

Q(θ,θi)=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)+θN2N2log(1eθ)+2θN3=nlogθθnθiN1log(1eθ)+θN2N2log(1eθ)+2θN3Q(θ,θi)θ=nθnθi(N1+N2)eθ1eθ+N2+2N3

Selanjutnya saya harus menetapkan ini sama dengan nol dan selesaikan untuk , tetapi saya telah mencoba ini untuk waktu yang sangat lama dan saya tidak bisa menyelesaikannya untuk θ !θθ

bdeonovic
sumber
Saya menafsirkan sebagai kekuatan θ selama satu menit. Paling membingungkan. Biasanya jumlah iterasi (langkah nomor) dimasukkan dalam tanda kurung [ i ] atau tanda kurung ( i ) sehingga θ ( i ) tidak bingung dengan i kekuatan -th θ i . Mungkin yang terbaik untuk setidaknya mengatakan itulah yang ada dalam pertanyaan (dengan asumsi saya sekarang sudah benar). θiθ[i](i)θ(i)iθi
Glen_b -Reinstate Monica
1
Ya Glen, maaf tentang itu, memang th iterate dari algoritma EM. i
bdeonovic

Jawaban:

5

θXGrjG

Pada bagian (d) harus mengambil harapan dari kemungkinan log data lengkap, bukan kemungkinan log data yang diamati.

XjXj(i)

jsk
sumber
@Benjamin Bagaimana masalahnya? Apakah saya dapat membantu Anda memahami bagaimana melakukannya?
jsk
Terima kasih atas komentarnya. Saya lelah tadi malam jadi saya pergi tidur, tapi saya akan mengatasi ini lagi pagi ini setelah sarapan :)
bdeonovic
Saya pikir saya sudah menemukan jawabannya! Terima kasih lagi! Ini sebenarnya dalam persiapan untuk final yang saya miliki hari ini, sehingga sangat membantu mengklarifikasi beberapa hal tentang EM.
bdeonovic
Sama-sama. Semoga final Anda berjalan baik hari ini!
jsk
4

Didasarkan pada komentar @ jsk saya akan mencoba untuk memperbaiki kesalahan saya:

L(θ|X,G)=j=1nθeθxj

Q(θ,θi)=nlogθθj=1nE[Xj|G,θi]=nlogθθ(j=1ng1j1eθi)(1θieθi(1+1/θi))θ(j=1ng2jeθi(1eθi))(eθi(1+1/θi)e2θi(2+1/θi))θ(j=1ng3je2θi)(e2θi(2+1/θi))=nlogθθN1AθN2BθN3CQ(θ,θi)θ=nθN1AN2BN3C=set0

θθ(i+1)=nN1A+N2B+N3C

bdeonovic
sumber