Bagaimana memahami bahwa MLE of Variance bias dalam distribusi Gaussian?

Saya membaca PRML dan saya tidak mengerti gambarnya. Bisakah Anda memberikan beberapa petunjuk untuk memahami gambar dan mengapa MLE varians dalam distribusi Gaussian bias?

rumus 1.55: rumus 1.56 σ 2 M L E =

$$\mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n$$ $$\sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2$$

Intuisi

Biasnya "berasal dari" (sama sekali bukan istilah teknis) fakta bahwa bias untuk . Pertanyaan alami adalah, "baik, apa intuisi mengapa bias untuk "? Intuisi adalah bahwa dalam mean sampel non-kuadrat, kadang-kadang kita kehilangan nilai sebenarnya dengan menaksir berlebihan dan kadang-kadang dengan taksiran lebih rendah. Tetapi, tanpa kuadratkan, kecenderungan untuk menaksir terlalu tinggi dan kurang menaksir akan membatalkan satu sama lain. Namun, ketika kami menyamakan kecenderungan untuk di bawah perkiraan (kehilangan nilai sebenarnya dariμ 2 E [ ˉ x 2 ] μ 2 μ ˉ x$E[\bar{x}^2]$$\mu^2$$E[\bar{x}^2]$$\mu^2$$\mu$$\bar{x}$$\mu$dengan angka negatif) juga akan kuadrat dan dengan demikian menjadi positif. Dengan demikian, tidak lagi dibatalkan dan ada sedikit kecenderungan untuk memperkirakan terlalu tinggi.

Jika intuisi di balik mengapa bias untuk masih belum jelas, cobalah untuk memahami intuisi di balik ketidaksetaraan Jensen (penjelasan intuitif yang baik di sini ) dan menerapkannya pada .μ 2 E [ x 2$x^2$$\mu^2$$E[x^2]$

Mari kita buktikan bahwa MLE varians untuk sampel iid bias. Kemudian kami akan secara analitis memverifikasi intuisi kami.

Bukti

Biarkan .$\hat{\sigma}^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2$

Kami ingin menunjukkan .$E[\hat{\sigma}^2] \neq \sigma^2$

$$E[\hat{\sigma}^2] = E[\frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2] = \frac{1}{N}E[\sum_{n = 1}^N (x_n^2 - 2x_n\bar{x} + \bar{x}^2)] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2]$$

Menggunakan fakta bahwa dan ,$\sum_{n = 1}^N x_n = N\bar{x}$$\sum_{n = 1}^N \bar{x}^2 = N\bar{x}^2$

$$\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - 2N\bar{x}^2 + N\bar{x}^2]=\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - N\bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2] - E[\bar{x}^2] = \frac{1}{N}\sum_{n = 1}^N E[x_n^2] - E[\bar{x}^2] \\= E[x_n^2] - E[\bar{x}^2]$$

Dengan langkah terakhir mengikuti sejak karena sama di karena berasal dari distribusi yang sama.$E[x_n^2]$$n$

Sekarang, ingat definisi varian yang mengatakan . Dari sini, kita mendapatkan yang berikut ini$\sigma^2_x = E[x^2] - E[x]^2$

$$E[x_n^2] - E[\bar{x}^2] = \sigma^2_x + E[x_n]^2 - \sigma^2_\bar{x} - E[x_n]^2 = \sigma^2_x - \sigma^2_\bar{x} = \sigma^2_x - Var(\bar{x}) = \sigma^2_x - Var(\frac{1}{N}\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n)$$

Perhatikan bahwa kami telah dengan tepat menguadratkan konstanta ketika mengeluarkannya dari . Berikan perhatian khusus untuk itu!$\frac{1}{N}$$Var()$

$$\sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2N \sigma^2_x = \sigma^2_x - \frac{1}{N}\sigma^2_x = \frac{N-1}{N}\sigma^2_x$$

yang tentu saja tidak sama dengan .$\sigma_x^2$

Verifikasi Secara Analitik Intuisi kita

Kita dapat memverifikasi intuisi dengan mengasumsikan kita tahu nilai dan menghubungkannya dengan bukti di atas. Karena kita sekarang tahu , kita tidak perlu lagi memperkirakan dan karenanya kita tidak pernah memperkirakannya dengan . Mari kita lihat bahwa ini "menghapus" bias di .$\mu$$\mu$$\mu^2$$E[\bar{x}^2]$$\hat{\sigma}^2$

Biarkan .$\hat{\sigma}_\mu^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \mu)^2$

Dari bukti di atas, mari kita ambil dari mengganti dengan nilai sebenarnya .ˉ x$E[x_n^2] - E[\bar{x}^2]$$\bar{x}$$\mu$

$$E[x_n^2] - E[\mu^2] = E[x_n^2] - \mu^2 = \sigma^2_x + E[x_n]^2 - \mu^2= \sigma^2_x$$

yang tidak bias!