... kerugian [kesalahan kuadrat] yang diharapkan dapat didekomposisi menjadi istilah bias kuadrat (yang menggambarkan seberapa jauh prediksi rata-rata dari model sebenarnya), istilah varians (yang menggambarkan penyebaran prediksi di sekitar rata-rata), dan istilah kebisingan (yang memberikan suara intrinsik data).
Ketika melihat dekomposisi kesalahan kehilangan kuadrat
Saya hanya melihat dua istilah: satu untuk bias dan satu lagi untuk varian estimator atau prediktor, δ ( X 1 : n ) . Tidak ada istilah kebisingan tambahan dalam kerugian yang diharapkan. Sebagaimana seharusnya karena variabilitas adalah variabilitas δ ( X 1 : n ) , bukan dari sampel itu sendiri.
Eθ[(θ−δ(X1:n))2]=(θ−Eθ[δ(X1:n)])2+Eθ[(Eθ[δ(X1:n)]−δ(X1:n))2]
δ(X1:n)δ(X1:n)
- Bisakah dekomposisi bias-varians dilakukan dengan fungsi kerugian selain kerugian kuadrat?
Interpretasi saya terhadap dekomposisi bias + varian kuadrat [dan cara saya mengajarkannya] adalah bahwa ini adalah statistik yang setara dengan Teorema Pythagore, yaitu bahwa jarak kuadrat antara estimator dan titik dalam himpunan tertentu adalah jumlah dari jarak kuadrat antara estimator dan himpunan, ditambah jarak kuadrat antara proyeksi ortogonal pada himpunan dan titik dalam himpunan. Kerugian berdasarkan jarak dengan nFor model data yang diberikan, apakah ada lebih dari satu model yang kehilangan yang diharapkan adalah minimum dari semua model, dan jika demikian, apakah itu berarti bahwa mungkin ada kombinasi yang berbeda dari bias dan varians yang menghasilkan Kerugian minimum yang diharapkan yang sama dari proyeksi orthogonal, yaitu, produk dalam, yaitu, pada dasarnya ruang Hilbert, memenuhi dekomposisi ini.
- Untuk dataset model yang diberikan, apakah ada lebih dari satu model yang kehilangan yang diharapkan adalah minimum dari semua model, dan jika demikian, apakah itu berarti bahwa mungkin ada kombinasi yang berbeda dari bias dan varians yang menghasilkan kerugian yang diharapkan minimum yang sama?
Pertanyaannya tidak jelas: jika secara minimum lebih dari model, yang Anda maksud adalah
maka ada banyak contoh model statistik dan keputusan terkait dengan kerugian yang diharapkan konstan (atau risiko ). Ambil contoh MLE dari rata-rata Normal.
minθEθ[(θ−δ(X1:n))2]
- Bagaimana Anda bisa menghitung bias jika Anda tidak tahu model yang sebenarnya?
Dalam arti umum, bias adalah jarak antara model yang sebenarnya dan model terdekat dalam keluarga distribusi yang diasumsikan. Jika model yang sebenarnya tidak diketahui, bias dapat dipastikan dengan bootstrap.
- Apakah ada situasi di mana lebih masuk akal untuk meminimalkan bias atau varians daripada kerugian yang diharapkan (jumlah bias kuadrat dan varians)?
Ketika mempertimbangkan fungsi kerugian lain seperti
mendorong α ke nol menempatkan sebagian besar evaluasi pada bias sementara mendorong α hingga tak terbatas mengalihkan fokus pada varian.
(θ−Eθ[δ(X1:n)])2+α[(Eθ[δ(X1:n)]−δ(X1:n))2]0<α
αα