Estimator Kemungkinan Maksimum - Gaussian Multivarian

Konteks

Multivariate Gaussian sering muncul dalam Pembelajaran Mesin dan hasil berikut digunakan di banyak buku dan kursus ML tanpa derivasi.

Data yang diberikan dalam bentuk matriks $\mathbf{X}$ dimensi $m \times p$ , jika kita mengasumsikan bahwa data mengikuti distribusi Gaussian $p$ variatif dengan rata-rata parameter $\mu$ ( $p \times 1$ ) dan matriks kovarian $\Sigma$ ( $p \times p$ ) Estimator Kemungkinan Maksimum adalah diberikan oleh:

• $\hat \mu = \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}}$
• $\hat \Sigma = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T$

Saya memahami bahwa pengetahuan tentang Gaussian multivarian merupakan prasyarat untuk banyak program ML, tetapi akan sangat membantu untuk memiliki derivasi lengkap dalam jawaban yang lengkap sekali dan untuk semua karena saya merasa banyak pelajar mandiri memantul di sekitar statistik. stackexchange dan situs web math.stackexchange mencari jawaban.

---

Pertanyaan

Berapakah derivasi penuh Estimator Kemungkinan Maksimum untuk Gaussian multivarian

---

Contoh:

Catatan kuliah ini (halaman 11) tentang Analisis Diskriminan Linier, atau yang ini memanfaatkan hasil dan mengasumsikan pengetahuan sebelumnya.

Ada juga beberapa posting yang sebagian dijawab atau ditutup:

• Penduga kemungkinan maksimum untuk distribusi normal multivariat
• Perlu bantuan untuk memahami Estimasi Kemungkinan Maksimum untuk distribusi normal multivarian?

Memperoleh Estimator Kemungkinan Maksimum

Asumsikan bahwa kita memiliki vektor acak, masing-masing ukuran p : X ( 1 ) , X ( 2 ) , . . . , X ( m ) di mana setiap vektor acak dapat diartikan sebagai pengamatan (titik data) di seluruh variabel p . Jika setiap X ( i ) iid sebagai vektor Gaussian multivarian:$m$$p$$\mathbf{X^{(1)}, X^{(2)},...,X^{(m)}}$$p$$\mathbf{X}^{(i)}$

$$\mathbf{X^{(i)}} \sim \mathcal{N}_p(\mu, \Sigma)$$

Di mana parameter tidak diketahui. Untuk mendapatkan estimasi mereka, kita dapat menggunakan metode kemungkinan maksimum dan memaksimalkan fungsi kemungkinan log.$\mu, \Sigma$

Perhatikan bahwa dengan kemerdekaan vektor acak, kepadatan gabungan dari data adalah produk dari kepadatan individu, yaitu ∏ m i = 1 f X ( i ) ( x ( i ) ; μ , Σ ) . Mengambil logaritma memberikan fungsi log-likelihood$\mathbf{ \{X^{(i)}}, i = 1,2,...,m\}$$\prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} ; \mu , \Sigma })$

$$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \log \prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} | \mu , \Sigma }) \\ & = \log \ \prod_{i=1}^m \frac{1}{(2 \pi)^{p/2} |\Sigma|^{1/2}} \exp \left( - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \\ & = \sum_{i=1}^m \left( - \frac{p}{2} \log (2 \pi) - \frac{1}{2} \log |\Sigma| - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \end{aligned}$$

$$\begin{aligned} l(\mu, \Sigma ; ) & = - \frac{mp}{2} \log (2 \pi) - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \end{aligned}$$

berasal μ$\hat \mu$

Untuk mengambil turunan sehubungan dengan dan menyamakan dengan nol, kami akan menggunakan identitas kalkulus matriks berikut:$\mu$

jikaw tidak bergantung padaAdanAadalah simetris.$\mathbf{ \frac{\partial w^T A w}{\partial w} = 2Aw}$$\mathbf{w}$$\mathbf{A}$$\mathbf{A}$

$$\begin{aligned} \frac{\partial }{\partial \mu} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \sum_{i=1}^m \mathbf{ \Sigma^{-1} ( \mu - x^{(i)} ) } = 0 \\ & \text{Since $\Sigma$ is positive definite} \\ 0 & = m \mu - \sum_{i=1}^m \mathbf{ x^{(i)} } \\ \hat \mu &= \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}} \end{aligned}$$

Yang sering disebut sampel mean vector.

berasal Σ$\hat \Sigma$

Turunkan MLE untuk matriks kovarians membutuhkan lebih banyak pekerjaan dan penggunaan aljabar linear dan properti kalkulus berikut:

• Jejak tidak berubah di bawah permutasi siklik dari produk matriks: $tr[ACB] = tr[CAB] = tr[BCA]$
• Karena adalah skalar, kita dapat mengambil jejaknya dan mendapatkan nilai yang sama: x t A x = t r [ x T A x ] = t r [ x t x A $x^TAx$$x^tAx = tr[x^TAx] = tr[x^txA]$
• $\frac{\partial}{\partial A} tr[AB] = B^T$
• $\frac{\partial}{\partial A} \log |A| = A^{-T}$

Menggabungkan sifat-sifat ini memungkinkan kita untuk menghitung

$$\frac{\partial}{\partial A} x^tAx =\frac{\partial}{\partial A} tr[x^TxA] = [xx^t]^T = x^{TT}x^T = xx^T$$

Yang merupakan produk luar dari vektor dengan dirinya sendiri.$x$

Kita sekarang dapat menulis kembali fungsi log-likelihood dan menghitung turunan wrt (catatan C konstan)$\Sigma^{-1}$$C$

$$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \text{C} - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \\ & = \text{C} + \frac{m}{2} \log |\Sigma^{-1}| - \frac{1}{2} \sum_{i=1}^m tr[ \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)^T \Sigma^{-1} } ] \\ \frac{\partial }{\partial \Sigma^{-1}} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \frac{m}{2} \Sigma - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \ \ \text{Since $\Sigma^T = \Sigma$} \end{aligned}$$

Menyamakan dengan nol dan menyelesaikan untuk $\Sigma$

$$\begin{aligned} 0 &= m \Sigma - \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \\ \hat \Sigma & = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T \end{aligned}$$

Sumber

• https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-readings/chapter13.pdf
• http://ttic.uchicago.edu/~shubhendu/Slides/Estimation.pdf

$\widehat{\Sigma}$$\Sigma$

$$\begin{eqnarray} \ell(\mu, \Sigma) &=& C - \frac{m}{2}\log|\Sigma|-\frac{1}{2} \sum_{i=1}^m \text{tr}\left[(\mathbf{x}^{(i)}-\mu)^T \Sigma^{-1} (\mathbf{x}^{(i)}-\mu)\right]\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| + \sum_{i=1}^m\text{tr} \left[(\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T\Sigma^{-1} \right]\right)\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| +\text{tr}\left[ S_\mu \Sigma^{-1} \right] \right) \end{eqnarray}$$ $S_\mu = \sum_{i=1}^m (\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T$$\text{tr}$$\partial \ell /\partial \Sigma$ $$\frac{\partial}{\partial \Sigma} \log |\Sigma| = \Sigma^{-T}=\Sigma^{-1}$$ $$\frac{\partial}{\partial X}\text{tr}\left( A X^{-1} B\right) = -(X^{-1}BAX^{-1})^T.$$ $B=I$ $$\frac{\partial}{\partial \Sigma}\text{tr}\left[S_\mu \Sigma^{-1}\right] = -\left( \Sigma^{-1} S_\mu \Sigma^{-1}\right)^T = -\Sigma^{-1} S_\mu \Sigma^{-1}$$ $\Sigma$$S_\mu$ $$\frac{\partial}{\partial \Sigma}\ell(\mu, \Sigma) \propto m \Sigma^{-1} - \Sigma^{-1} S_\mu \Sigma^{-1}.$$ $$\widehat{\Sigma} = \frac{1}{m}S_\mu.$$

$\Lambda = \Sigma^{-1}$$\partial/{\partial \Sigma^{-1}}$$\partial/\partial \Sigma$