Mengapa mean squared error merupakan cross-entropy antara distribusi empiris dan model Gaussian?

Dalam 5,5, Deep Learning (oleh Ian Goodfellow, Yoshua Bengio dan Aaron Courville), itu menyatakan itu

Setiap kerugian yang terdiri dari log-likelihood negatif adalah entropi silang antara distribusi empiris yang ditentukan oleh set pelatihan dan distribusi probabilitas yang ditentukan oleh model. Sebagai contoh, mean squared error adalah cross-entropy antara distribusi empiris dan model Gaussian.

Saya tidak bisa mengerti mengapa mereka setara dan penulis tidak memperluas pada intinya.

Biarkan data menjadi . Tulis untuk distribusi empiris. Menurut definisi, untuk setiap fungsi ,$\mathbf{x}=(x_1, \ldots, x_n)$$F(\mathbf{x})$$f$

$$\mathbb{E}_{F(\mathbf{x})}[f(X)] = \frac{1}{n}\sum_{i=1}^n f(x_i).$$

Biarkan model memiliki kerapatan mana didefinisikan pada dukungan model. The cross-entropi dari dan didefinisikan sebagai$M$$e^{f(x)}$$f$$F(\mathbf{x})$$M$

$$H(F(\mathbf{x}), M) = -\mathbb{E}_{F(\mathbf{x})}[\log(e^{f(X)}] = -\mathbb{E}_{F(\mathbf{x})}[f(X)] =-\frac{1}{n}\sum_{i=1}^n f(x_i).\tag{1}$$

Dengan asumsi adalah sampel acak sederhana, kemungkinan log negatifnya adalah$x$

$$-\log(L(\mathbf{x}))=-\log \prod_{i=1}^n e^{f(x_i)} = -\sum_{i=1}^n f(x_i)\tag{2}$$

berdasarkan sifat-sifat logaritma (mereka mengkonversi produk menjadi jumlah). Ekspresi adalah ekspresi kali konstan . Karena fungsi kerugian digunakan dalam statistik hanya dengan membandingkannya, tidak ada bedanya bahwa satu adalah (positif) kali konstan yang lain. Dalam pengertian inilah kemungkinan log negatif "adalah" entropi silang dalam kutipan.$(2)$$n$$(1)$

---

Dibutuhkan sedikit lebih banyak imajinasi untuk membenarkan pernyataan kutipan kedua. Koneksi dengan kesalahan kuadrat jelas, karena untuk "model Gaussian" yang memprediksi nilai pada titik , nilai pada titik tersebut adalah$p(x)$$x$$f$

$$f(x; p, \sigma) = -\frac{1}{2}\left(\log(2\pi \sigma^2) + \frac{(x-p(x))^2}{\sigma^2}\right),$$

yang merupakan kesalahan kuadrat tetapi diubah oleh dan digeser oleh fungsi . Salah satu cara untuk membuat kutipan itu benar adalah dengan menganggapnya tidak menganggap bagian dari "model" - harus ditentukan entah bagaimana terlepas dari data. Dalam hal ini perbedaan antara kesalahan kuadrat rata-rata sebanding dengan perbedaan antara cross-entropies atau log-likelihoods, dengan demikian membuat ketiganya setara untuk tujuan pemasangan model.$(x-p(x))^2$ $1/(2\sigma^2)$$\sigma$$\sigma$$\sigma$

(Namun, biasanya, cocok sebagai bagian dari proses pemodelan, dalam hal ini kutipannya tidak akan benar.)$\sigma = \sigma(x)$

Untuk para pembaca buku Deep Learning, saya ingin menambahkan jawaban yang diterima dengan sangat baik bahwa penulis menjelaskan pernyataan mereka secara rinci di bagian 5.5.1 yaitu Contoh: Regresi Linier sebagai Kemungkinan Maksimum .

Di sana, mereka menuliskan batasan yang disebutkan dalam jawaban yang diterima:

$p(y | x) = \mathcal{N}\big(y; \hat{y}(x; w), \sigma^2\big)$ . Fungsi memberikan prediksi rata-rata Gaussian. Dalam contoh ini, kami mengasumsikan bahwa varians diperbaiki ke beberapa konstanta dipilih oleh pengguna.$\hat{y}(x; w)$$\sigma^2$

Kemudian, mereka menunjukkan bahwa minimalisasi MSE sesuai dengan Estimasi Kemungkinan Maksimum dan dengan demikian minimalisasi lintas-entropi antara distribusi empiris dan .$p(y|x)$