Konvergensi dari Algoritma EM dengan distribusi campuran bivariat

Saya memiliki model campuran yang saya ingin menemukan penduga kemungkinan maksimum dari diberikan satu set data dan satu set data yang diamati sebagian . Saya telah mengimplementasikan langkah-E (menghitung ekspektasi dari diberikan dan parameter saat ini ), dan langkah-M, untuk meminimalkan kemungkinan log negatif yang diberikan pada diharapkan .$x$$z$$z$$x$$\theta^k$$z$

Seperti yang saya mengerti, kemungkinan maksimum meningkat untuk setiap iterasi, ini berarti bahwa kemungkinan log negatif harus menurun untuk setiap iterasi? Namun, seperti yang saya iterate, algoritma tersebut memang tidak menghasilkan penurunan nilai kemungkinan log negatif. Sebaliknya, itu mungkin menurun dan meningkat. Misalnya ini adalah nilai-nilai dari kemungkinan log negatif hingga konvergensi:

Apakah di sini saya salah paham?

Juga, untuk data yang disimulasikan ketika saya melakukan kemungkinan maksimum untuk variabel laten (tidak teramati) yang sebenarnya, saya memiliki kesesuaian yang hampir sempurna, yang menunjukkan tidak ada kesalahan pemrograman. Untuk algoritma EM, seringkali konvergen dengan solusi suboptimal yang jelas, terutama untuk subset spesifik dari parameter (yaitu proporsi variabel klasifikasi). Diketahui bahwa algoritma dapat konvergen ke titik minimum lokal atau stasioner, apakah ada heuristik pencarian konvensional atau juga untuk meningkatkan kemungkinan menemukan minimum global (atau maksimum) . Untuk masalah khusus ini saya percaya ada banyak klasifikasi yang salah karena, dari campuran bivariat, salah satu dari dua distribusi mengambil nilai dengan probabilitas satu (ini adalah campuran dari masa hidup di mana kehidupan yang sebenarnya ditemukan olehz $T=z T_0 + (1-z)\infty$ mana menunjukkan milik dari salah satu distribusi. Indikator tentu saja disensor dalam kumpulan data. $z$$z$

Saya menambahkan angka kedua ketika saya mulai dengan solusi teoretis (yang harus mendekati optimal). Namun, seperti dapat dilihat kemungkinan dan parameter menyimpang dari solusi ini menjadi salah satu yang jelas lebih rendah.

sunting: Data lengkapnya dalam bentuk mana adalah waktu yang diamati untuk subjek , menunjukkan apakah waktu dikaitkan dengan peristiwa aktual atau jika itu disensor benar (1 menunjukkan peristiwa dan 0 menunjukkan penyensoran benar), adalah waktu pemotongan pengamatan (mungkin 0) dengan indikator pemotongan dan akhirnya adalah indikator populasi yang dimiliki pengamatan (karena bivariatnya, kita hanya perlu mempertimbangkan 0 dan 1). t i i δ i L i τ i z $\mathbf{x_i}=(t_i,\delta_i,L_i,\tau_i,z_i)$$t_i$$i$$\delta_i$$L_i$$\tau_i$$z_i$

Untuk kita memiliki fungsi kerapatan , juga dikaitkan dengan fungsi distribusi ekor . Untuk acara yang menarik tidak akan terjadi. Meskipun tidak ada terkait dengan distribusi ini, kami mendefinisikannya sebagai , dengan demikian dan . Ini juga menghasilkan distribusi campuran lengkap berikut:$z=1$$f_z(t)=f(t|z=1)$$S_z(t)=S(t|z=1)$$z=0$$t$$\inf$$f(t|z=0)=0$$S(t|z=0)=1$

$f(t) = \sum_{i=0}^{1}p_if(t|z=i) = pf(t|z=1)$ dan $S(t) = 1 - p + pS_z(t)$

Kami melanjutkan untuk mendefinisikan bentuk umum dari kemungkinan:

$L(\theta;\mathbf{x_i}) = \Pi_i \frac{f(t_i;\theta)^{\delta_i}S(t_i;\theta)^{1-\delta_i}}{S(L_i)^{\tau_i}}$

Sekarang, hanya diamati sebagian ketika , jika tidak maka tidak diketahui. Kemungkinan penuh menjadi$z$$\delta=1$

$L(\theta,p;\mathbf{x_i}) = \Pi_i \frac{\big((p f_z(t_i;\theta))^{z_i}\big)^{\delta_i}\big((1-p)^{(1-z_i)}(p S_z(t_i;\theta))^{z_i}\big)^{1-\delta_i}}{\big((1-p)^{(1-z_i)}(p S_z(L_i;\theta))^{z_i}\big)^{\tau_i}}$

di mana adalah berat dari distribusi yang sesuai (mungkin terkait dengan beberapa kovariat dan koefisien masing-masing oleh beberapa fungsi tautan). Dalam kebanyakan literatur ini disederhanakan ke kemungkinan loglik berikut$p$

$\sum \Big( z_i \ln(p) + (1-p) \ln(1-p) - \tau_i\big(z_i \ln(p) + (1-z_i)\ln(1-p)\big) + \delta_i z_i f_z(t_i;\theta) + (1-\delta_i) z_i S_z(t_i;\theta) - \tau_i S_z(L_i;\theta)\Big)$

Untuk langkah-M , fungsi ini dimaksimalkan, meskipun tidak secara keseluruhan dalam 1 metode pemaksimalan. Sebaliknya kami tidak berpendapat bahwa ini dapat dipisahkan menjadi bagian .$l(\theta,p; \cdot) = l_1(\theta,\cdot) + l_2(p,\cdot)$

Untuk k: th + 1 E-step , kita harus menemukan nilai yang diharapkan dari variabel laten yang tidak teramati (sebagian) . Kami menggunakan fakta bahwa untuk , lalu .$z_i$$\delta=1$$z=1$

$E(z_i|\mathbf{x_i},\theta^{(k)},p^{(k)}) = \delta_i + (1-\delta_i) P(z_i=1;\theta^{(k)},p^{(k)}|\mathbf{x_i})$

Di sini kita memiliki, oleh$P(z_i=1;\theta^{(k)},p^{(k)}|\mathbf{x_i}) =\frac{P(\mathbf{x_i};\theta^{(k)},p^{(k)}|z_i=1)P(z_i=1;\theta^{(k)},p^{(k)})}{P(\mathbf{x_i};\theta^{(k)},p^{(k)})}$

yang memberi kita$P(z_i=1;\theta^{(k)},p^{(k)}|\mathbf{x_i})=\frac{pS_z(t_i;\theta^{(k)})}{1 - p + pS_z(t_i;\theta^{(k)})}$

(Catat di sini bahwa , jadi tidak ada peristiwa yang diamati, dengan demikian probabilitas data diberikan oleh fungsi distribusi tail.$\delta_i=0$$\mathbf{x_i}$

Tujuan dari EM adalah untuk memaksimalkan kemungkinan data yang dicatat,

Sayangnya, ini cenderung sulit untuk dioptimalkan sehubungan dengan . Sebaliknya, EM berulang kali membentuk dan memaksimalkan fungsi bantu$\theta$

Jika memaksimalkan , EM menjamin hal itu$\theta^{t+1}$$Q(\theta, \theta^t)$

Jika Anda ingin tahu persis mengapa ini terjadi, Bagian 11.4.7 dari Machine Learning Murphy : Sebuah Perspektif Probabilistik memberikan penjelasan yang baik. Jika implementasi Anda tidak memenuhi ketidaksetaraan ini, Anda telah membuat kesalahan di suatu tempat. Mengatakan hal-hal seperti

Saya hampir pas, menunjukkan tidak ada kesalahan pemrograman

berbahaya. Dengan banyak optimasi dan algoritma pembelajaran, sangat mudah untuk membuat kesalahan namun masih sering mendapatkan jawaban yang benar. Intuisi yang saya sukai adalah bahwa algoritma ini dimaksudkan untuk menangani data yang berantakan, sehingga tidak mengherankan bahwa mereka juga menangani bug!

Ke bagian lain dari pertanyaan Anda,

apakah ada pencarian heuristik konvensional atau juga untuk meningkatkan kemungkinan menemukan minimum global (atau maksimum)

Restart acak adalah pendekatan termudah; Paling mudah berikutnya mungkin disimulasikan anil atas parameter awal. Saya juga pernah mendengar varian EM yang disebut deterministic annealing , tetapi saya belum menggunakannya secara pribadi sehingga tidak bisa memberi tahu Anda banyak tentang itu.