Saya ingin memahami mengapa, di bawah model OLS, RSS (jumlah sisa kuadrat) didistribusikan ( menjadi jumlah parameter dalam model, jumlah pengamatan).
Saya minta maaf karena mengajukan pertanyaan mendasar seperti itu, tetapi sepertinya saya tidak dapat menemukan jawabannya secara online (atau dalam buku teks saya yang lebih berorientasi pada aplikasi).
regression
distributions
least-squares
Tal Galili
sumber
sumber
Jawaban:
Saya mempertimbangkan model linier berikut:y=Xβ+ϵ .
Vektor residu diperkirakan oleh
di manaQ=I−X(X′X)−1X′ .
Amati bahwa (jejaknya invarian di bawah permutasi siklik) dan bahwa Q ′ = Q = Q 2 . Nilai eigen dari Q adalah 0 dan 1 (beberapa perincian di bawah). Oleh karena itu, ada matriks V kesatuan sedemikian sehingga ( matriks dapat didiagonalisasi oleh matriks kesatuan jika dan hanya jika mereka normal. )tr(Q)=n−p Q′=Q=Q2 Q 0 1 V
Sekarang, mari .K=V′ϵ^
Karena , kami memiliki dan karenanya . DemikianK~N(0,σ2Δ)Kn-p+1=...=Kn=0ϵ^∼N(0,σ2Q) K∼N(0,σ2Δ) Kn−p+1=…=Kn=0
dengan .K⋆=(K1,…,Kn−p)′
Lebih lanjut, karena adalah matriks kesatuan, kita juga punyaV
Demikian
Akhirnya, amati bahwa hasil ini menyiratkan bahwa
Sejak , yang polinomial minimal dari membagi polinomial . Jadi, nilai eigen adalah antara dan . Karena juga merupakan jumlah dari nilai eigen yang dikalikan dengan multiplisitasnya, kita tentu memiliki bahwa adalah nilai eigen dengan multiplisitas dan nol adalah nilai eigen dengan multiplisitas .Q z 2 - z Q 0 1 tr ( Q ) = n - p 1 n - p pQ2−Q=0 Q z2−z Q 0 1 tr(Q)=n−p 1 n−p p
sumber
IMHO, notasi matrikial menyulitkan banyak hal. Bahasa ruang vektor murni lebih bersih. Model dapat ditulis mana memiliki distribusi normal standar pada dan diasumsikan milik subruang vektor .Y = μ + σ G GY=Xβ+ϵ Y=μ+σG G μW⊂ R nRn μ W⊂Rn
Sekarang bahasa geometri dasar mulai berperan. Estimator kuadrat-terkecil dari tidak lain adalah : proyeksi ortogonal dari dapat diamati pada ruang mana diasumsikan dimiliki. Vektor residual adalah : proyeksi pada orthogonal pelengkap dari di . Dimensi adalah . μPWYYWμμ^ μ PWY Y W μ W ⊥ W R n W ⊥ dim ( W ⊥ ) = n - dim ( W )P⊥WY W⊥ W Rn W⊥ dim(W⊥)=n−dim(W)
Akhirnya, dan memiliki distribusi normal standar pada , maka norma kuadratnya memiliki yang distribusi dengan derajat kebebasan.P ⊥ W G W ⊥ χ 2 redup ( W ⊥ )
Demonstrasi ini hanya menggunakan satu teorema, sebenarnya definisi-teorema:
Definisi dan teorema . Vektor acak di memiliki distribusi normal standar pada ruang vektor jika ia mengambil nilainya dalam dan koordinatnya dalam satu ( dalam semua) basis ortonormal dari independen satu dimensi distribusi normal standar U⊂ R n URn U⊂Rn U ⟺ U
(dari definisi-teorema ini, teorema Cochran sangat jelas sehingga tidak layak untuk menyatakannya)
sumber