Posting ini mengacu pada model regresi linier bivariat, . Saya selalu mengambil partisi jumlah total kuadrat (SSTO) menjadi jumlah kuadrat untuk kesalahan (SSE) dan jumlah kuadrat untuk model (SSR) pada iman, tetapi begitu saya mulai benar-benar memikirkannya, saya tidak mengerti mengapa ini bekerja ...
Bagian I do memahami:
: Nilai yang diamati dari y
: Mean dari semua yang diamatis
: dipasang / Nilai prediksi y untuk x pengamatan yang diberikan ini
: Residual / error (jika kuadrat dan menambahkan untuk semua pengamatan ini SSE)
: Berapa banyak model dipasang nilai berbeda dari mean (jika kuadrat dan menambahkan untuk semua pengamatan ini SSR)
: Berapa banyak nilai yang diamati berbeda dari rata-rata (jika suared dan dijumlahkan untuk semua pengamatan, ini adalah SSTO).
Aku bisa mengerti mengapa, untuk pengamatan tunggal, tanpa mengkuadratkan apa-apa, . Dan saya bisa mengerti mengapa, jika Anda ingin menambahkan semua pengamatan, Anda harus menguadratkannya atau mereka akan menambahkan hingga 0.
Bagian saya tidak mengerti adalah mengapa (. Misalnya SSTO = SSR + SSE). Tampaknya jika Anda memiliki situasi di mana A = B + C , maka A 2 = B 2 + 2 B C + C 2 , bukan A 2 = . Mengapa bukan itu yang terjadi di sini?
sumber
Jawaban:
Secara konseptual, idenya adalah bahwa karena B dan C adalah ortogonal (yaitu tegak lurus).BC=0 B C
Dalam konteks regresi linier sini, residual adalah orthogonal ke direndahkan perkiraan y i - ˉ y . Perkiraan dari regresi linier menciptakan dekomposisi ortogonal y dalam arti yang sama dengan ( 3 , 4 ) = ( 3 , 0 ) + ( 0 , 4 ) adalah dekomposisi ortogonal.ϵi=yi−y^i y^i−y¯ y (3,4)=(3,0)+(0,4)
Versi Aljabar Linier:
Membiarkan:
Regresi linier (dengan konstanta disertakan) menguraikan ke dalam penjumlahan dua vektor: ramalan dan residuz εz z^ ϵ
Biarkan menunjukkan produk titik . (Lebih umum, dapat menjadi produk dalam .)⟨ X , Y ⟩ E [ X Y ]⟨.,.⟩ ⟨X,Y⟩ E[XY]
Di mana baris terakhir mengikuti dari fakta bahwa (yaitu dan adalah ortogonal). Anda dapat membuktikan dan bersifat ortogonal berdasarkan pada bagaimana regresi kuadrat terkecil dikonstruksi .⟨z^,ϵ⟩=0 z^ ϵ=z−z^ z^ ϵ z^
Perhatikan bahwa ketika saya mendefinisikan sebagai produk titik, hanyalah cara penulisan lain (yaitu SSTO = SSR + SSE)⟨ Z , z ⟩ = ⟨ z , z ⟩ + ⟨ ε , ε ⟩ Σ i ( y i - ˉ y⟨.,.⟩ ⟨z,z⟩=⟨z^,z^⟩+⟨ϵ,ϵ⟩ ∑i(yi−y¯)2=∑i(y^i−y¯)2+∑i(yi−y^i)2
sumber
Seluruh poin menunjukkan bahwa vektor-vektor tertentu bersifat ortogonal dan kemudian menggunakan teorema Pythagoras.
Mari kita pertimbangkan regresi linier multivariat . Kita tahu bahwa penaksir OLS adalah . Sekarang pertimbangkan estimasiY=Xβ+ϵ β^=(XtX)−1XtY
di mana adalah matriks proyeksi ortogonal dari Y ke . Sekarang kita punyaH S(X)
di mana adalah matriks proyeksi ke komplemen ortogonal dari yaitu . Dengan demikian kita tahu bahwa dan adalah ortogonal.(I−H) S(X) S⊥(X) Y−Y^ Y^
Sekarang pertimbangkan submodelY=X0β0+ϵ
di mana dan juga kami memiliki penaksir OLS dan taksir dan dengan matriks proyeksi ke . Demikian pula kita memiliki dan yang ortogonal. Dan sekarangX=[X0|X1] β0^ Y0^ H0 S(X0) Y−Y0^ Y0^
di mana lagi adalah matriks proyeksi ortogonal pada komplemen yang merupakan . Dengan demikian kita memiliki ortogonalitas dan . Jadi pada akhirnya kita miliki(I−H0) S(X0) S⊥(X0) Y^−Y0^ Y0^
dan akhirnya||Y−Y0^||2=||Y−Y^||2+||Y^−Y0^||2
Terakhir, rata-rata hanyalah ketika mempertimbangkan model nol .^ Y 0 Y=β0+eY¯ Y0^ Y=β0+e
sumber