Dekomposisi MSE menjadi Variance dan Bias Squared

Dalam menunjukkan bahwa MSE dapat didekomposisi menjadi varians plus kuadrat Bias, bukti di Wikipedia memiliki langkah, disorot dalam gambar. Bagaimana cara kerjanya? Bagaimana harapan didorong ke dalam produk dari langkah ke 3 ke langkah ke 4? Jika kedua ketentuan tersebut independen, tidakkah harapan tersebut dapat diterapkan pada kedua ketentuan tersebut? dan jika tidak, apakah langkah ini valid? masukkan deskripsi gambar di sini

random-variable expected-value mse statBeginner
sumber

Jawaban:

Triknya adalah adalah konstanta. $\mathbb{E}(\hat{\theta}) - \theta$

AdamO
sumber

Oh begitu. Satu-satunya yang tidak diketahui di sini adalah estimator. Kanan?

statBeginner

Iya nih. Mengambil ekspektasi berarti bahwa penaksir pergi ke apa pun yang diperkirakannya, itulah yang membuat menuju ke 0.

E (\hat{θ} - E (\hat{θ}))

$\mathbf{E}(\hat{\theta} - \mathbf{E}(\hat{\theta}))$

AdamO

Maaf, kalimat itu tidak masuk akal bagi saya. Jika penduga pergi ke apa pun yang ia perkirakan, bukankah itu membuatnya tidak bias? Bisakah dijelaskan dengan mengatakan = = = 0?

E (\hat{θ} - E (\hat{θ}))

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (E (\hat{θ}))

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (\hat{θ})

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\hat{\theta})$

user1158559

@ user1158559 istilah produk di tengah adalah waktu yang konstan sesuatu dengan nilai yang diharapkan 0. Bahkan jika theta-hat bias, itu masih waktu yang konstan 0.

AdamO

E (\hat{θ}) - θ

$\mathbb{E}(\hat{\theta}) - \theta$ adalah variabel dan bukan konstanta. Selain itu, triknya kurang sepele dan dengan sebuah konstanta tidak menjadi 0 sebagai default (misalnya ). Trik sebenarnya terletak pada kenyataan bahwa adalah konstanta (dan dapat diambil dari integral) sehingga

E (c)

$\mathbb{E}(c)$

c

$c$

E ((E (\hat{θ}) - θ)^{2}) \neq 0

$\mathbb{E}((\mathbb{E}(\hat{\theta}) - \theta)^2) \neq 0$

\int x p (x)

$\int x p(x)$

\int (\int x p (x)) p (x) = (\int x p (x)) \int p (x) = (\int x p (x)) 1 = (\int x p (x))

$\int (\int x p(x))p(x) = (\int x p(x)) \int p(x) = (\int x p(x)) 1 = (\int x p(x))$

Sextus Empiricus

Jawaban Adam benar tentang tipuan yang adalah konstanta. Namun itu membantu untuk menemukan hasil akhir, dan tidak jelas menjelaskan pertanyaan tentang langkah spesifik dalam artikel wikipedia (sunting: yang saya lihat sekarang adalah ambigu tentang sorot dan langkah dari baris tiga ke baris empat). $E(\hat{\theta}) - \theta$

(perhatikan pertanyaannya adalah tentang variabel , yang berbeda dari konstanta dalam jawaban Adam. Saya menulis ini salah dalam komentar saya. Memperluas persyaratan untuk kejelasan lebih lanjut: variabelnya adalah perkiraan , konstanta adalah harapan dari perkiraan ini dan nilai sebenarnya ) $\mathbb{E}\left[\hat{\theta}\right] - \hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right] - \theta$ $\hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right]$ $\theta$

Trik 1: Pertimbangkan

variabel $x=\hat{\theta}$

konstanta $a=\mathbb{E}\left[ \hat{\theta} \right]$

dan konstanta $b = \theta$

Kemudian relasi dapat ditulis dengan mudah menggunakan aturan transformasi yang menyatakan momen variabel tentang dalam hal momen variabel tentang . $x$ $b$ $x$ $a$

$\mathbb{E}\left[(x-b)^n\right] = \sum_{i=0}^{n} \binom{n}{i}\mathbb{E}\left[(x-a)^i\right] (a-b)^{n-i}$

Trik 2: Untuk momen kedua rumus di atas memiliki tiga istilah dalam penjumlahan. Kita dapat menghilangkan salah satunya (case ) karena $i=1$ $\mathbb{E}\left[(\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right])\right] = \mathbb{E}\left[ \hat{\theta} \right] - \mathbb{E}\left[\mathbb{E}\left[ \hat{\theta} \right]\right] = 0$

Di sini orang juga dapat membuat argumen dengan sesuatu yang konstan. Yaitu jika adalah konstanta dan menggunakan , yang merupakan konstanta, Anda mendapatkan . $\mathbb{E}(a)=a$ $a$ $a=\mathbb{E}(\theta)$ $\mathbb{E}(\mathbb{E}(\theta))=\mathbb{E}(\theta)$

Lebih intuitif: kami membuat momen tentang , sama dengan momen pusat (dan momen pusat ganjil adalah nol). Kami mendapat sedikit tautologi. Dengan mengurangi rata-rata dari variabel, , kita menghasilkan variabel dengan mean nol. Dan, rata-rata 'variabel dengan rata-rata nol' adalah nol. $x$ $a$ $\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right]$

Artikel wikipedia menggunakan dua trik ini masing-masing di baris ketiga dan keempat.

Harapan tersarang di baris ketiga

$\mathbb{E}\left[(\hat{\theta} -\mathbb{E}(\hat{\theta}))(\mathbb{E}({\hat{\theta}})-\theta) \right]$

disederhanakan dengan mengambil bagian konstan luarnya (trik 1). $(\mathbb{E}({\hat{\theta}})-\theta)$
Istilah diselesaikan (sama dengan nol) dengan menggunakan fakta bahwa variabel memiliki mean nol (trik 2). $\mathbb{E}\left(\hat{\theta} -\mathbb{E}(\hat{\theta})\right)$ $\hat{\theta} -\mathbb{E}(\hat{\theta})$

Sextus Empiricus
sumber

$E(\hat{\theta}) - \theta$ bukan konstanta.

Komentar @ user1158559 sebenarnya adalah yang benar:

E [\hat{θ} - E (\hat{θ})] = E (\hat{θ}) - E [E (\hat{θ})] = E (\hat{θ}) - E (\hat{θ}) = 0

$E[\hat{\theta} - E(\hat{\theta})] = E(\hat{\theta}) - E[E(\hat{\theta})] = E(\hat{\theta}) - E(\hat{\theta}) = 0$

monster kecil
sumber

Saya tidak melihat apa yang ingin Anda perlihatkan. Juga bias mungkin bukan nol tetapi itu tidak berarti bahwa itu tidak konstan.

Michael R. Chernick

Ini bukan konstanta karena mana adalah data pelatihan yang diberikan, yang juga merupakan variabel acak. Dengan demikian, harapannya tidak konstan.

\hat{θ} = f (D)

$\hat{\theta} = f(D)$

D

$D$

little_monster

Juga, fakta bahwa itu bukan konstanta atau tidak tidak dapat menjelaskan bagaimana langkah 4 mungkin dari langkah 3. Di sisi lain, komentar @ user1158559 menjelaskan hal itu.

little_monster

@Michael, ada kebingungan tentang pertanyaan itu. Bagian yang disorot berisi ungkapan ini , tetapi dalam teks pertanyaan disebutkan bahwa itu bukan tentang perubahan dari baris ketiga ke baris keempat, mengubah sarang harapan.

E (\hat{θ} - E (\hat{θ})) = 0

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}) )=0$

Sextus Empiricus