Mendapat algoritma K-means sebagai batas Maksimalisasi Ekspektasi untuk Campuran Gaussian

Christopher Bishop mendefinisikan nilai yang diharapkan dari fungsi kemungkinan log data lengkap (yaitu dengan asumsi bahwa kita diberikan data yang dapat diamati X serta data laten Z) sebagai berikut:

$$\mathbb{E}_\textbf{Z}[\ln p(\textbf{X},\textbf{Z} \mid \boldsymbol{\mu}, \boldsymbol{\Sigma}, \boldsymbol{\pi})] = \sum_{n=1}^N \sum_{k=1}^K \gamma(z_{nk})\{\ln \pi_k + \ln \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)\} \tag 1$$

di mana didefinisikan sebagai:$\gamma(z_{nk})$

$$\frac{\pi_k \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)}{\sum_{j=1}^K \pi_j \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_j, \boldsymbol{\Sigma}_j)} \tag 2$$

Idenya, seperti dijelaskan, adalah untuk mempertimbangkan Gaussian Mixture Model di mana matriks kovarians dari komponen campuran diberikan oleh $\epsilon \textbf{I}$ , di mana $\epsilon$ adalah parameter varians yang dibagi oleh semua komponen, seperti bahwa:

$$p(\textbf x \mid \boldsymbol \mu_k, \boldsymbol \Sigma_k) = \frac{1}{(2 \pi \epsilon)^\frac{M}{2}} \exp\big\{{-\frac{1}{2 \epsilon} \|\textbf x - \boldsymbol \mu_k\|^2}\big\} \tag 3$$

dan karenanya, $\gamma(z_{nk})$ sekarang didefinisikan sebagai:

$$\frac{\pi_k \exp\{ - \| \textbf x_n - \boldsymbol \mu_k\|^2 / 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \| \textbf x_n - \boldsymbol \mu_j\|^2 / 2 \epsilon\}} \tag 4$$

The Argumen sekarang adalah sebagai berikut:

jika kita mempertimbangkan batas , kita melihat bahwa dalam penyebut istilah untuk adalah yang terkecil, akan menjadi nol paling lambat, dan karenanya tanggung jawab untuk titik data semua pergi ke nol kecuali untuk istilah j, di mana tanggung jawab akan disatukan. Dengan demikian, dalam batas ini, kami memperoleh penugasan yang sulit dari titik data ke cluster, seperti pada algoritma berarti, sehingga$\epsilon \to 0$$\| \textbf x_n - \boldsymbol \mu_j\|^2$$\gamma(z_{nk})$$\textbf x_n$$\gamma(z_{nk})$$K$$\gamma(z_{nk}) \to r_{nk}$

di mana didefinisikan sebagai:$r_{nk}$

$$\begin{equation*} f(n) = \begin{cases} 1 & \text{if } k = \text{arg } \text{min}_j \|\textbf x_n - \boldsymbol \mu_j\|^2\\ 0 & \text{otherwise}\\ \tag 5 \end{cases} \end{equation*}$$

Pertanyaan saya adalah bagaimana argumen di atas berlaku? Yaitu, apa artinya suatu istilah untuk menjadi nol ? Dan bagaimana cara mengambil batas di eqn menghasilkan tanggung jawab biner?$\textbf{most slowly}$$\epsilon \to 0$$4$

Mari kita menulis Kemudian Jika kita menggunakan kita memiliki mana kecuali untuk mana

$$\|\textbf x_n - \boldsymbol \mu_k\|^2=\delta_k\,.$$ $$\frac{\pi_k \exp\{ - \| \textbf x_n - \boldsymbol \mu_k\|^2 / 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \| \textbf x_n - \boldsymbol \mu_j\|^2 / 2 \epsilon\}}=\frac{\pi_k \exp\{ - \delta_k/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \delta_j/ 2 \epsilon\}}$$ $$\delta^*=\min_n\delta_n\,,$$ $$\begin{align*} \frac{\pi_k \exp\{ - \delta_k/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \delta_j/ 2 \epsilon\}}&=\frac{\pi_k \exp\{(\delta^*- \delta_k)/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}} \end{align*}$$ $\delta^*-\delta_k<0$$k=k^*$$\delta^*-\delta_{k^*}=0$ . Jadi, untuk semua , sejak, untuk , sementara $k\ne k^*$ $$\lim_{\epsilon\to 0} \frac{\pi_k \exp\{(\delta^*- \delta_k)/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=\lim_{\epsilon\to 0} \frac{\pi_k \exp\{(\delta^*- \delta_k)/ 2 \epsilon\}}{\pi_{k^*}+\sum_{j\ne k^*} \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=0$$ $a>0$ $$\lim_{\epsilon\to 0}\exp\{-a/\epsilon \}=0$$ $$\lim_{\epsilon\to 0} \frac{\pi_{k^*} \exp\{(\delta^*- \delta_{k^*})/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=\lim_{\epsilon\to 0} \frac{\pi_{k^*} \times 1}{\pi_{k^*}+\sum_{j\ne k^*} \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=1$$