Bukti formula LOOCV

18

Dari Pengantar Pembelajaran Statistik oleh James et al., Taksiran lintas-validasi silang (LOOCV) taksiran didefinisikan oleh mana .

CV(n)=1ni=1nMSEi
MSEi=(yiy^i)2

Tanpa bukti, persamaan (5.2) menyatakan bahwa untuk regresi kuadrat-terkecil atau polinomial (apakah ini berlaku untuk regresi hanya pada satu variabel tidak diketahui oleh saya), mana " berada yang th nilai dipasang dari kuadrat asli muat ( tidak tahu apa ini berarti, dengan cara , artinya menggunakan semua poin dalam data set?) dan adalah leverage" yang didefinisikan olehyii

CV(n)=1ni=1n(yiy^i1hi)2
y^iihi
hsaya=1n+(xsaya-x¯)2j=1n(xj-x¯)2.

Bagaimana seseorang membuktikan ini?

Upaya saya: orang bisa mulai dengan memperhatikan bahwa tetapi terpisah dari ini (dan jika saya ingat, rumus untuk hanya berlaku untuk regresi linier sederhana ...), saya tidak yakin bagaimana melanjutkan dari sini.

y^saya=β0+saya=1kβkXk+beberapa istilah derajat jumlahnya banyak 2
hsaya
Klarinetis
sumber
Entah persamaan Anda tampaknya menggunakan untuk lebih dari satu hal atau saya sangat bingung. Either way kejelasan tambahan akan baik. saya
Glen_b -Reinstate Monica
@ Glen_b Saya baru belajar tentang LOOCV kemarin, jadi saya mungkin tidak mengerti beberapa hal dengan benar. Dari apa yang saya mengerti, Anda memiliki satu set titik data, katakanlah . Dengan LOOCV, Anda memiliki untuk setiap perbaikan (bilangan bulat positif) beberapa set validasi dan set tes digunakan untuk menghasilkan model yang cocok untuk setiap . Jadi katakanlah, misalnya, kami menyesuaikan model kami menggunakan regresi linier sederhana dengan tiga titik data, . Kami akan (akan dilanjutkan)k V k = { ( x k , y k ) } T k = XV k k X = { ( 0 , 1 ) , ( 1 , 2 ) , ( 2 , 3 ) }X={(xi,yi):iZ+}kVk={(xk,yk)}Tk=XVkkX={(0,1),(1,2),(2,3)}
Klarinetis
@Glen_b dan T 1 = { ( 1 , 2 ) , ( 2 , 3 ) } . Menggunakan poin di T 1 , kita dapat menemukan bahwa menggunakan regresi linier sederhana, kita mendapatkan model y i = X + 1 . Kemudian kami menghitung MSE menggunakan V 1 sebagai set validasi dan dapatkan y 1 = 1V1={(0,1)}T1={(1,2),(2,3)}T1y^i=X+1MSEV1y1=1(hanya menggunakan titik tertentu) dan y , memberikan MSE 1 = 0 . Oke, mungkin menggunakan superscript itu bukan ide terbaik - saya akan mengubahnya di posting asli. y^1(1)=0+1=1MSE1=0
Klarinetis
berikut adalah beberapa catatan kuliah pada derivasi pages.iu.edu/~dajmcdon/teaching/2014spring/s682/lectures/...
Xavier Bourret Sicotte

Jawaban:

17

Aku akan menunjukkan hasilnya untuk regresi linier berganda, apakah regressors adalah polinomial dari atau tidak. Pada kenyataannya, ini menunjukkan sedikit lebih dari apa yang Anda minta, karena itu menunjukkan bahwa setiap residu LOOCV identik dengan residu tertimbang leverage yang sesuai dari regresi penuh, bukan hanya Anda dapat memperoleh kesalahan LOOCV seperti pada (5.2) (ada bisa menjadi cara lain di mana rata-rata setuju, bahkan jika tidak setiap istilah dalam rata-rata adalah sama).Xt

Biarkan saya mengambil kebebasan untuk menggunakan notasi yang sedikit disesuaikan.

Kami pertama menunjukkan bahwa β di mana β adalah estimasi dengan menggunakan semua data dan β (t)perkiraan ketika meninggalkan keluarX(t), observasit. MariXtdidefinisikan sebagai vektor baris sehingga y t=Xt β . U tadalah residual.

β^β^(t)=(u^t1ht)(XX)1Xt,(A)
β^β^(t)X(t)tXty^t=Xtβ^u^t

Buktinya menggunakan hasil aljabar matriks berikut.

Misalkan menjadi matriks nonsingular, b a vektor dan λ skalar. Jika λAbλ Lalu (A+λbb)-1

λ1bA1b
(A+λbb)1=A1(λ1+λbA1b)A1bbA1(B) 

Bukti (B) segera mengikuti verifikasi

{A1(λ1+λbA1b)A1bbA1}(A+λbb)=I.

Hasil berikut sangat membantu untuk membuktikan (A)

(X(t)X(t))1Xt=(11ht)(XX)1Xt. (C)

Bukti (C): Dengan (B) yang kita miliki, menggunakan , ( X ' ( t ) X ( t ) ) - 1t=1TXtXt=XX Jadi kami menemukan (X( t ) X(t))-1Xt

(X(t)X(t))1=(XXXtXt)1=(XX)1+(XX)1XtXt(XX)11Xt(XX)1Xt.
(X(t)X(t))1Xt=(XX)1Xt+(XX)1Xt(Xt(XX)1Xt1Xt(XX)1Xt)=(11ht)(XX)1Xt.

XXβ^=Xy,
(X(t)X(t)+XtXt)β^=X(t)y(t)+Xtyt,
{Ik+(X(t)X(t))1XtXt}β^=β^(t)+(X(t)X(t))1Xt(Xtβ^+u^t).
So,
β^=β^(t)+(X(t)X(t))1Xtu^t=β^(t)+(XX)1Xtu^t1ht,
where the last equality follows from (C).

Now, note ht=Xt(XX)1Xt. Multiply through in (A) by Xt, add yt on both sides and rearrange to get, with u^(t) the residuals resulting from using β^(t) (ytXtβ^(t)),

u^(t)=u^t+(u^t1ht)ht
or
u^(t)=u^t(1ht)+u^tht1ht=u^t1ht
Christoph Hanck
sumber
The definition for X(t) is missing in your answer. I assume this is a matrix X with row Xt removed.
mpiktas
Also mentioning the fact that XX=t=1TXtXt would be helpful too.
mpiktas
@mpiktas, yes, thanks for the pointers. I edited to take the first comment into account. Where exactly would the second help? Or just leave it in your comment?
Christoph Hanck
3
When you start the proof of (C) you write (X(t)X(t))1=(XXXtXt)1. That is a nice trick, but I doubt that casual reader is aware of it.
mpiktas
1
Dua tahun kemudian ... Saya lebih menghargai jawaban ini, sekarang saya telah melalui urutan model linier tingkat pascasarjana. Saya mempelajari kembali materi ini dengan perspektif baru ini. Apakah Anda memiliki referensi yang disarankan (buku teks?) Yang melewati derivasi seperti apa yang Anda miliki dalam jawaban ini secara detail?
Klarinetis