Regresi linier: * Mengapa * Anda dapat mempartisi jumlah kuadrat?

9

Posting ini mengacu pada model regresi linier bivariat, Yi=β0+β1xi . Saya selalu mengambil partisi jumlah total kuadrat (SSTO) menjadi jumlah kuadrat untuk kesalahan (SSE) dan jumlah kuadrat untuk model (SSR) pada iman, tetapi begitu saya mulai benar-benar memikirkannya, saya tidak mengerti mengapa ini bekerja ...

Bagian I do memahami:

yi : Nilai yang diamati dari y

y¯ : Mean dari semua yang diamatiyis

y^i: dipasang / Nilai prediksi y untuk x pengamatan yang diberikan ini

yiy^i : Residual / error (jika kuadrat dan menambahkan untuk semua pengamatan ini SSE)

y^iy¯ : Berapa banyak model dipasang nilai berbeda dari mean (jika kuadrat dan menambahkan untuk semua pengamatan ini SSR)

yiy¯ : Berapa banyak nilai yang diamati berbeda dari rata-rata (jika suared dan dijumlahkan untuk semua pengamatan, ini adalah SSTO).

Aku bisa mengerti mengapa, untuk pengamatan tunggal, tanpa mengkuadratkan apa-apa, . Dan saya bisa mengerti mengapa, jika Anda ingin menambahkan semua pengamatan, Anda harus menguadratkannya atau mereka akan menambahkan hingga 0.(yiy¯)=(y^iy¯)+(yiy^i)

Bagian saya tidak mengerti adalah mengapa (. Misalnya SSTO = SSR + SSE). Tampaknya jika Anda memiliki situasi di mana A = B + C , maka A 2 = B 2 + 2 B C + C 2 , bukan A 2 =(yiy¯)2=(y^iy¯)2+(yiy^i)2A=B+CA2=B2+2BC+C2 . Mengapa bukan itu yang terjadi di sini?A2=B2+C2

bluemouse
sumber
5
Anda meninggalkan penjumlahan di paragraf terakhir Anda. SST = SSR + SSE adalah jumlah di atas , tetapi kesetaraan Anda yang Anda tulis segera sebelum itu tidak benar tanpa tanda penjumlahan di sana. i
Glen_b -Reinstate Monica
1
Dalam paragraf terakhir Anda, Anda ingin (yaitu SSTO = SSR + SSE) tidak (mis. SSTO = SSR + SSE). "eg" adalah singkatan untuk frasa Latin " exempli gratia ," atau "misalnya" dalam bahasa Inggris. "ie" adalah singkatan untuk " id est " dan dapat dibaca dalam bahasa Inggris sebagai "itu."
Matthew Gunn

Jawaban:

9

Tampaknya jika Anda memiliki situasi di mana , maka A 2 = B 2 + 2 B C + C 2 , bukan A 2 = B 2 + C 2 . Mengapa bukan itu yang terjadi di sini?A=B+CA2=B2+2BC+C2A2=B2+C2

Secara konseptual, idenya adalah bahwa karena B dan C adalah ortogonal (yaitu tegak lurus).BC=0BC


Dalam konteks regresi linier sini, residual adalah orthogonal ke direndahkan perkiraan y i - ˉ y . Perkiraan dari regresi linier menciptakan dekomposisi ortogonal y dalam arti yang sama dengan ( 3 , 4 ) = ( 3 , 0 ) + ( 0 , 4 ) adalah dekomposisi ortogonal.ϵi=yiy^iy^iy¯y(3,4)=(3,0)+(0,4)

Versi Aljabar Linier:

Membiarkan:

z=[y1y¯y2y¯yny¯]z^=[y^1y¯y^2y¯y^ny¯]ϵ=[y1y^1y2y^2yny^n]=zz^

Regresi linier (dengan konstanta disertakan) menguraikan ke dalam penjumlahan dua vektor: ramalan dan residuz εzz^ϵ

z=z^+ϵ

Biarkan menunjukkan produk titik . (Lebih umum, dapat menjadi produk dalam .)X , Y E [ X Y ].,.X,Y E[XY]

z,z=z^+ϵ,z^+ϵ=z^,z^+2z^,ϵ+ϵ,ϵ=z^,z^+ϵ,ϵ

Di mana baris terakhir mengikuti dari fakta bahwa (yaitu dan adalah ortogonal). Anda dapat membuktikan dan bersifat ortogonal berdasarkan pada bagaimana regresi kuadrat terkecil dikonstruksi .z^,ϵ=0z^ϵ=zz^z^ϵz^

z^ adalah proyeksi linear dari ke subruang yang ditentukan oleh rentang linier dari regresi , , dll. residual adalah ortogonal untuk seluruh subruang karenanya (yang terletak di rentang , , dll ...) adalah ortogonal ke .zx1x2ϵz^x1x2ϵ


Perhatikan bahwa ketika saya mendefinisikan sebagai produk titik, hanyalah cara penulisan lain (yaitu SSTO = SSR + SSE)Z , z= z , z+ ε , ε Σ i ( y i - ˉ y.,.z,z=z^,z^+ϵ,ϵi(yiy¯)2=i(y^iy¯)2+i(yiy^i)2

Matthew Gunn
sumber
8

Seluruh poin menunjukkan bahwa vektor-vektor tertentu bersifat ortogonal dan kemudian menggunakan teorema Pythagoras.

Mari kita pertimbangkan regresi linier multivariat . Kita tahu bahwa penaksir OLS adalah . Sekarang pertimbangkan estimasiY=Xβ+ϵβ^=(XtX)1XtY

Y^=Xβ^=X(XtX)1XtY=HY (Matriks H juga disebut matriks "topi")

di mana adalah matriks proyeksi ortogonal dari Y ke . Sekarang kita punyaHS(X)

YY^=YHY=(IH)Y

di mana adalah matriks proyeksi ke komplemen ortogonal dari yaitu . Dengan demikian kita tahu bahwa dan adalah ortogonal.(IH)S(X)S(X)YY^Y^

Sekarang pertimbangkan submodelY=X0β0+ϵ

di mana dan juga kami memiliki penaksir OLS dan taksir dan dengan matriks proyeksi ke . Demikian pula kita memiliki dan yang ortogonal. Dan sekarangX=[X0|X1]β0^Y0^H0S(X0)YY0^Y0^

Y^Y0^=HYH0Y=HYH0HY=(IH0)HY

di mana lagi adalah matriks proyeksi ortogonal pada komplemen yang merupakan . Dengan demikian kita memiliki ortogonalitas dan . Jadi pada akhirnya kita miliki(IH0)S(X0)S(X0)Y^Y0^Y0^

||YY^||2=||Y||2||Y^||2=||YY0^||2+||Y0^||2||Y^Y0^||2||Y0^||2

dan akhirnya||YY0^||2=||YY^||2+||Y^Y0^||2

Terakhir, rata-rata hanyalah ketika mempertimbangkan model nol .^ Y 0 Y=β0+eY¯Y0^Y=β0+e

Łukasz Grad
sumber
Terima kasih atas jawaban Anda! Apa itu S () (seperti pada S (X) di posting Anda)?
bluemouse
XS(X) adalah subruang yang dihasilkan oleh kolom matriksX
Łukasz Grad