Saya membaca bab bias-varians dari unsur-unsur pembelajaran statistik dan saya ragu dalam rumus di halaman 29. Biarkan data muncul dari model sehingga
mana adalah bilangan acak dengan nilai yang diharapkan dan Variance . Biarkan nilai kesalahan model yang diharapkan adalah
mana adalah prediksi dari pelajar kita. Menurut buku itu, kesalahannya adalah
ε = E [ ε ] = 0 E [ ( ε - ε ) 2 ] = E [ ε 2 ] = σ 2 E [ ( Y - f k ( x ) ) 2 ] f k ( x ) x E [ ( Y - f k ( x ) ) 2 ]
Pertanyaan saya adalah mengapa istilah bias bukan 0? mengembangkan rumus kesalahan yang saya lihat
sebagai adalah angka acak independen2 E [ ( f ( x ) - f k ( x ) ) ϵ ] = 2 E [ ( f ( x ) - f k ( x ) ) ] E [ ϵ ] = 0
Dimana saya salah?
Beberapa langkah lagi dari dekomposisi Bias - Variance
Memang, derivasi lengkap jarang diberikan dalam buku teks karena melibatkan banyak aljabar yang tidak menarik. Berikut adalah derivasi yang lebih lengkap menggunakan notasi dari buku "Elemen Pembelajaran Statistik" di halaman 223
Jika kita mengasumsikan bahwa dan dan maka kita dapat memperoleh ekspresi untuk kesalahan prediksi yang diharapkan dari kecocokan regresi pada input menggunakan squared error lossY=f(X)+ϵ E[ϵ]=0 Var(ϵ)=σ2ϵ f ( X ) X = x 0f^(X) X=x0
Untuk kesederhanaan notasi, biarkan , dan ingat bahwa danf^(x0)=f^ f(x0)=f E[f]=f E[Y]=f
Untuk istilah kita dapat menggunakan trik yang sama seperti di atas, menambah dan mengurangi untuk mendapatkanE[(f−f^)2] E[ f^]
Menyatukannya
Beberapa komentar tentang mengapaE[ f^Y] = fE[ f^]
Diambil dari Alecos Papadopoulos di sini
Ingat bahwa adalah prediktor yang kami buat berdasarkan pada titik data sehingga kita dapat menulis untuk mengingatnya.f^ m { ( x( 1 ), y( 1 )) , . . . , ( x( m ), y( m )) } f^= f^m
Di sisi lain adalah prediksi yang kami buat pada titik data baru dengan menggunakan model yang dibangun pada titik data atas. Jadi Mean Squared Error dapat ditulis sebagaiY ( x( m + 1 ), y( m + 1 )) m
Memperluas persamaan dari bagian sebelumnya
Bagian terakhir dari persamaan dapat dilihat sebagai
Karena kami membuat asumsi berikut tentang titik :x( m + 1 )
Sumber lain dengan derivasi penuh
sumber