Dari Pengantar Pembelajaran Statistik oleh James et al., Taksiran lintas-validasi silang (LOOCV) taksiran didefinisikan oleh mana .
Tanpa bukti, persamaan (5.2) menyatakan bahwa untuk regresi kuadrat-terkecil atau polinomial (apakah ini berlaku untuk regresi hanya pada satu variabel tidak diketahui oleh saya), mana " berada yang th nilai dipasang dari kuadrat asli muat ( tidak tahu apa ini berarti, dengan cara , artinya menggunakan semua poin dalam data set?) dan adalah leverage" yang didefinisikan olehyii
Bagaimana seseorang membuktikan ini?
Upaya saya: orang bisa mulai dengan memperhatikan bahwa tetapi terpisah dari ini (dan jika saya ingat, rumus untuk hanya berlaku untuk regresi linier sederhana ...), saya tidak yakin bagaimana melanjutkan dari sini.
sumber
Jawaban:
Aku akan menunjukkan hasilnya untuk regresi linier berganda, apakah regressors adalah polinomial dari atau tidak. Pada kenyataannya, ini menunjukkan sedikit lebih dari apa yang Anda minta, karena itu menunjukkan bahwa setiap residu LOOCV identik dengan residu tertimbang leverage yang sesuai dari regresi penuh, bukan hanya Anda dapat memperoleh kesalahan LOOCV seperti pada (5.2) (ada bisa menjadi cara lain di mana rata-rata setuju, bahkan jika tidak setiap istilah dalam rata-rata adalah sama).Xt
Biarkan saya mengambil kebebasan untuk menggunakan notasi yang sedikit disesuaikan.
Kami pertama menunjukkan bahwa β di mana β adalah estimasi dengan menggunakan semua data dan β (t)perkiraan ketika meninggalkan keluarX(t), observasit. MariXtdidefinisikan sebagai vektor baris sehingga y t=Xt β . U tadalah residual.
Buktinya menggunakan hasil aljabar matriks berikut.
Misalkan menjadi matriks nonsingular, b a vektor dan λ skalar. Jika λA b λ Lalu
(A+λbb′)-1
Bukti (B) segera mengikuti verifikasi
Hasil berikut sangat membantu untuk membuktikan (A)
Bukti (C): Dengan (B) yang kita miliki, menggunakan , ( X ' ( t ) X ( t ) ) - 1∑Tt=1X′tXt=X′X
Jadi kami menemukan
(X ′ ( t ) X(t))-1X ′ t
Now, noteht=Xt(X′X)−1X′t . Multiply through in (A) by Xt , add yt on both sides and rearrange to get, with u^(t) the residuals resulting from using β^(t) (yt−Xtβ^(t) ),
sumber