Ini adalah masalah latihan untuk ujian tengah semester. Masalahnya adalah contoh algoritma EM. Saya mengalami masalah dengan bagian (f). Saya membuat daftar bagian (a) - (e) untuk penyelesaian dan jika saya melakukan kesalahan sebelumnya.
Misalkan X1,…,Xn menjadi variabel acak eksponensial independen dengan laju θ . Sayangnya, nilai aktual Xtidak diamati, dan kami hanya mengamati apakah nilai X berada dalam interval tertentu. Misalkan G1j=1{Xj<1} , G2j=1{1<Xj<2} , dan G3j=1{Xj>2} untukj=1,…,n. Data yang diamati terdiri dari(G1j,G2j,G3j).
(a) Berikan kemungkinan data yang diamati:
L(θ|G)=∏j=1nPr{Xj<1}G1jPr{1<Xj<2}G2jPr{Xj>2}G3j=∏j=1n(1−e−θ)G1j(e−θ−e−2θ)G2j(e−2θ)G3j
(B) Berikan kemungkinan data lengkap
L(θ|X,G)=∏j=1n(θe−θxj)G1j(θe−θxj)G2j(θe−θxj)G3j
(C) Turunkan kerapatan prediksi variabel laten f(xj|G,θ)
f(xj|G,θ)=fX,G(xj,g)fG(g)=θe−θxj1{xj∈region r s.t. Grj=1}(1−e−θ)g1j(e−θ−e−2θ)g2j(e−2θ)g3j
(d) E-langkah. Berikan fungsi Q(θ,θi)
Q(θ,θi)=EX|G,θi[logf(x|G,θ)]=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)−N2log(e−θ−e−2θ)−N3loge−2θ=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)−N2log(e−θ(1−e−θ))+2θN3=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)+θN2−N2log(1−e−θ)+2θN3
di mana N1=∑nj=1g1j,N2=∑nj=1g2j,N3=∑nj=1g3j
(e) Berikan ekspresi untuk untuk r = 1 , 2 , 3 .E[Xj|Grj=1,θi]r=1,2,3
Saya akan daftar hasil saya yang saya yakin benar tetapi derivasi akan agak lama untuk pertanyaan yang sudah terlalu lama:
E[Xj|G1j=1,θi]E[Xj|G2j=1,θi]E[Xj|G3j=1,θi]=(11−e−θi)(1θi−e−θi(1+1/θi))=(1e−θi−e−2θi)(e−θi(1+1/θi)−e−2θi(2+1/θi))=(1e−2θi)(e−2θi(2+1/θi))
Ini adalah bagian yang saya tempati, dan mungkin karena kesalahan sebelumnya:
(f) Langkah-M. Temukan yang memaksimalkan Q ( θ , θ i )θQ(θ,θi)
Dari hukum total harapan kami memiliki
MakaE[Xj|G,θi]=(1θi−e−θi(1+1/θi))+(e−θi(1+1/θi)−e−2θi(2+1/θi))+(e−2θi(2+1/θi))=1/θi
Q(θ,θi)∂Q(θ,θi)∂θ=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)+θN2−N2log(1−e−θ)+2θN3=nlogθ−θnθi−N1log(1−e−θ)+θN2−N2log(1−e−θ)+2θN3=nθ−nθi−(N1+N2)e−θ1−e−θ+N2+2N3
Selanjutnya saya harus menetapkan ini sama dengan nol dan selesaikan untuk , tetapi saya telah mencoba ini untuk waktu yang sangat lama dan saya tidak bisa menyelesaikannya untuk θ !θθ
Jawaban:
Pada bagian (d) harus mengambil harapan dari kemungkinan log data lengkap, bukan kemungkinan log data yang diamati.
sumber
Didasarkan pada komentar @ jsk saya akan mencoba untuk memperbaiki kesalahan saya:
sumber