Mengapa RSS didistribusikan chi square kali np?

28

Saya ingin memahami mengapa, di bawah model OLS, RSS (jumlah sisa kuadrat) didistribusikan ( menjadi jumlah parameter dalam model, jumlah pengamatan).

χ2(np)
pn

Saya minta maaf karena mengajukan pertanyaan mendasar seperti itu, tetapi sepertinya saya tidak dapat menemukan jawabannya secara online (atau dalam buku teks saya yang lebih berorientasi pada aplikasi).

Tal Galili
sumber
3
Perhatikan bahwa jawaban menunjukkan pernyataan tidak tepat: distribusi RSS adalah σ2 (bukan np ) kali distribusi χ2(np) mana σ2 adalah varian sebenarnya dari kesalahan.
whuber

Jawaban:

36

Saya mempertimbangkan model linier berikut: y=Xβ+ϵ .

Vektor residu diperkirakan oleh

ϵ^=yXβ^=(IX(XX)1X)y=Qy=Q(Xβ+ϵ)=Qϵ

di mana Q=IX(XX)1X .

Amati bahwa (jejaknya invarian di bawah permutasi siklik) dan bahwa Q = Q = Q 2 . Nilai eigen dari Q adalah 0 dan 1 (beberapa perincian di bawah). Oleh karena itu, ada matriks V kesatuan sedemikian sehingga ( matriks dapat didiagonalisasi oleh matriks kesatuan jika dan hanya jika mereka normal. )tr(Q)=npQ=Q=Q2Q01V

VQV=Δ=diag(1,,1np times,0,,0p times)

Sekarang, mari .K=Vϵ^

Karena , kami memiliki dan karenanya . DemikianK~N(0,σ2Δ)Kn-p+1=...=Kn=0ϵ^N(0,σ2Q)KN(0,σ2Δ)Knp+1==Kn=0

K2σ2=K2σ2χnp2

dengan .K=(K1,,Knp)

Lebih lanjut, karena adalah matriks kesatuan, kita juga punyaV

ϵ^2=K2=K2

Demikian

RSSσ2χnp2

Akhirnya, amati bahwa hasil ini menyiratkan bahwa

E(RSSnp)=σ2

Sejak , yang polinomial minimal dari membagi polinomial . Jadi, nilai eigen adalah antara dan . Karena juga merupakan jumlah dari nilai eigen yang dikalikan dengan multiplisitasnya, kita tentu memiliki bahwa adalah nilai eigen dengan multiplisitas dan nol adalah nilai eigen dengan multiplisitas .Q z 2 - z Q 0 1 tr ( Q ) = n - p 1 n - p pQ2Q=0Qz2zQ01tr(Q)=np1npp

okram
sumber
1
(+1) Jawaban yang bagus. Orang dapat membatasi perhatian pada ortogonal, bukan kesatuan, karena nyata dan simetris. Juga, apa itu ? Saya tidak melihatnya didefinisikan. Dengan sedikit menyangkal argumen, kita juga dapat menghindari penggunaan normal yang merosot, dalam kasus yang menyebabkan beberapa kekhawatiran bagi mereka yang tidak terbiasa dengannya. Q S C RVQSCR
kardinal
2
@Kardinal. Poin bagus. SCR ('Somme des Carrés Résiduels' dalam bahasa Perancis) seharusnya RSS.
ocram
Terima kasih atas jawaban terinci Ocram! Beberapa langkah mengharuskan saya untuk melihat lebih banyak, tetapi saya memiliki garis besar untuk dipikirkan sekarang - terima kasih!
Tal Galili
@ Glen_b: Oh, saya mengedit beberapa hari yang lalu untuk mengubah SCR ke SRR. Saya tidak ingat bahwa SCR disebutkan dalam komentar saya. Maaf bila membingungkan.
ocram
@ Glen_b: Seharusnya berarti RSS: -S Diedit lagi. Thx
ocram
9

IMHO, notasi matrikial menyulitkan banyak hal. Bahasa ruang vektor murni lebih bersih. Model dapat ditulis mana memiliki distribusi normal standar pada dan diasumsikan milik subruang vektor .Y = μ + σ G GY=Xβ+ϵY=μ+σGG μW R nRnμWRn

Sekarang bahasa geometri dasar mulai berperan. Estimator kuadrat-terkecil dari tidak lain adalah : proyeksi ortogonal dari dapat diamati pada ruang mana diasumsikan dimiliki. Vektor residual adalah : proyeksi pada orthogonal pelengkap dari di . Dimensi adalah . μPWYYWμμ^μPWYYWμW W R n W dim ( W ) = n - dim ( W )PWYWWRnWdim(W)=ndim(W)

Akhirnya, dan memiliki distribusi normal standar pada , maka norma kuadratnya memiliki yang distribusi dengan derajat kebebasan.P W G W χ 2 redup ( W )

PWY=PW(μ+σG)=0+σPWG,
PWGWχ2dim(W)

Demonstrasi ini hanya menggunakan satu teorema, sebenarnya definisi-teorema:

Definisi dan teorema . Vektor acak di memiliki distribusi normal standar pada ruang vektor jika ia mengambil nilainya dalam dan koordinatnya dalam satu ( dalam semua) basis ortonormal dari independen satu dimensi distribusi normal standar U R n URnURnUU

(dari definisi-teorema ini, teorema Cochran sangat jelas sehingga tidak layak untuk menyatakannya)

Stéphane Laurent
sumber