Apakah ada representasi grafis tradeoff bias-varians dalam regresi linier?

Trade-off varians bias didasarkan pada pemecahan galat kuadrat rata-rata:

M S E (\hat{y}) = E [y - \hat{y}]^{2} = E [y - E [\hat{y}]]^{2} + E [\hat{y} - E [\hat{y}]]^{2}

$MSE(\hat{y})=E[y-\hat{y}]^2=E[y-E[\hat{y}]]^2+E[\hat{y}-E[\hat{y}]]^2$

Salah satu cara untuk melihat perdagangan bias-varians adalah properti apa dari set data yang digunakan dalam model fit. Untuk model sederhana, jika kita mengasumsikan bahwa regresi OLS digunakan agar sesuai dengan garis lurus, maka hanya 4 angka yang digunakan agar sesuai dengan garis:

Sampel kovarians antara x dan y
Varians sampel x
Rata-rata sampel x
Rata-rata sampel y

Jadi, setiap grafik yang mengarah ke 4 angka yang sama di atas akan mengarah ke garis pas yang sama persis (10 poin, 100 poin, 100000000 poin). Jadi dalam arti itu tidak sensitif terhadap sampel tertentu yang diamati. Ini berarti akan "bias" karena secara efektif mengabaikan bagian dari data. Jika bagian data yang diabaikan itu penting, maka prediksi akan secara konsisten salah. Anda akan melihat ini jika Anda membandingkan garis yang dipasang menggunakan semua data dengan garis yang dipasang yang diperoleh dari menghapus satu titik data. Mereka akan cenderung cukup stabil.

Sekarang model kedua menggunakan setiap memo data yang bisa didapat, dan cocok dengan data sedekat mungkin. Oleh karena itu, posisi yang tepat dari setiap titik data penting, sehingga Anda tidak dapat menggeser data pelatihan tanpa mengubah model yang pas seperti yang Anda bisa untuk OLS. Dengan demikian model ini sangat sensitif terhadap set pelatihan tertentu yang Anda miliki. Model yang dipasang akan sangat berbeda jika Anda melakukan plot titik data drop-one yang sama.

probabilityislogic
sumber

Bias dan varians estimasi parameter model atau nilai output yang diprediksi ? Beberapa orang mengatakan kepada saya bahwa istilah bias dan varians hanya dapat digunakan untuk menggambarkan parameter model , bukan data , itu?

\hat{θ}

$\hat\theta$

\hat{y}

$\hat y$

θ

$\theta$

x, y

$x,y$

alpukat

Saya tidak berpikir ini benar, saya pikir Anda berbicara tentang prediksi ( ) vs estimasi ( ). Keduanya memiliki pengertian bias dan varians - misalnya Anda memiliki "BLUE" untuk parameter regresi dan "BLUP" untuk prediksi titik data masa depan.

\hat{y}

$\hat {y}$

\hat{θ}

$\hat {\theta}$

probabilityislogic

Untuk estimasi parameter , biasnya , tetapi tidak diketahui oleh kita, kan? Selain itu, mengingat kumpulan data, kita tidak tahu seperti apa model yang sebenarnya akan terlihat, misalnya, model sebenarnya di balik data adalah , tetapi kami memilih model regresi linier agar sesuai dengan data, jadi inilah paradoksnya: parameter sebenarnya adalah , yang merupakan tujuan yang harus kita coba perkirakan, tetapi kita berakhir dengan perkiraan , lalu menghitung atau menganalisis dan ?

\hat{θ}

$\hat\theta$

b i a s (\hat{θ}) = θ - E [\hat{θ}]

$bias(\hat\theta)=\theta-E[\hat\theta]$

θ

$\theta$

f (x) = a + b x + c x^{2}

$f(x)=a+bx+cx^2$

h (x) = d + e x

$h(x)=d+ex$

(a, b, c)

$(a,b,c)$

(d, e)

$(d,e)$

b i a s (d)

$bias(d)$

b i a s (e)

$bias(e)$

alpukat

@loganecolss - ini bukan paradoks karena gagasan bias hanya ada "secara lokal" - yaitu, sehubungan dengan model statistik yang diberikan. "Paradoks" ada untuk seseorang yang: 1) mengetahui "model yang sebenarnya", dan 2) memutuskan untuk tidak menggunakannya. Orang itu idiot di buku saya. Jika Anda tidak tahu "model yang sebenarnya" maka tidak ada masalah - kecuali Anda telah menemukan model yang bagus dan memutuskan untuk tidak menggunakannya ...

probabilityislogic

Anda memiliki fantasi mengetahui "model yang sebenarnya" - saya pikir bukan pertanyaan yang tepat untuk diajukan - ini lebih merupakan pertanyaan "apakah model saya saat ini tidak memiliki cukup atau terlalu banyak parameter?" - ini tidak tergantung pada mengetahui apa "model sebenarnya" itu, dan dapat dijawab melalui diagnostik model standar. Misalnya, mengapa "model sejati" Anda merupakan fungsi dari variabel yang telah Anda kumpulkan - dan bukan fungsi seperti mana Anda tidak tahu 1) apa yang nilai-nilai, dan 2) berapa banyak dari mereka ada - yaitu Anda tidak tahu .

f (x, z_{1}, z_{2}, \dots, z_{K})

$f (x, z_1, z_2,\dots, z_{K})$

z_{i}

$z_i$

K

$K$

probabilityislogic

Untuk meringkas dengan apa yang saya pikir saya tahu secara non-matematis:

Bias - prediksi Anda akan salah ketika Anda menggunakan model sederhana dan itu akan terjadi pada dataset apa pun yang Anda gunakan model. Prediksi Anda diperkirakan salah
variance - jika Anda menggunakan model yang kompleks, Anda akan mendapatkan prediksi yang sangat berbeda berdasarkan pada dataset mana yang Anda gunakan

Halaman ini memiliki penjelasan yang cukup bagus dengan diagram yang mirip dengan yang Anda poskan. (Saya melewatkan bagian atas, hanya membaca bagian dengan diagram) http://www.aiaccess.net/English/Glossaries/GlosMod/e_gm_bias_variance.htm (mouseover menunjukkan sampel berbeda jika Anda tidak memperhatikan!)

Raja
sumber

Itu adalah halaman yang menarik dan ilustrasi yang baik, tetapi saya menemukan mereka lebih membingungkan daripada membantu karena (a) "bias" dan "varians" yang dibahas dalam konteks regresi tampaknya tidak menjadi bias dan varians seperti yang didefinisikan pada awal itu. halaman dan (b) sama sekali tidak jelas bahwa pernyataan yang dibuat (tentang bagaimana bias dan varians berubah dengan jumlah parameter) benar.

whuber

Apakah ada representasi grafis tradeoff bias-varians dalam regresi linier?

Jawaban: