Distribusi kesalahan jumlah kuadrat untuk regresi linier?

Saya tahu bahwa distribusi varians sampel Dari fakta bahwa dapat diekspresikan dalam bentuk matriks, (di mana A: simetris), dan itu bisa lagi diekspresikan dalam: (di mana Q: ortonormal, D: matriks diagonal).

$$\sum\frac{(X_i-\bar{X})^2}{\sigma^2}\sim \chi^2_{(n-1)}$$ $$\sum\frac{(X_i-\bar{X})^2}{n-1}\sim \frac{\sigma^2}{n-1}\chi^2_{(n-1)}$$ $(X-\bar{X})^2$$xAx'$$x'QDQ'x$

Bagaimana dengan , dengan asumsi ? $\sum(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2$$(Y - \beta_0 - \beta_1X)\sim \mathcal{N}(0, \sigma^2)$

Saya pikir

$$\sum\frac{(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2}{\sigma^2}\sim \chi^2_{(n-2)}.$$

Tapi saya tidak tahu bagaimana membuktikan atau menunjukkannya.

Apakah didistribusikan persis seperti ?$\chi^2_{(n-2)}$

Kami dapat membuktikan ini untuk kasus yang lebih umum $p$variabel dengan menggunakan "hat matrix" dan beberapa properti yang berguna. Hasil ini biasanya jauh lebih sulit untuk dinyatakan dalam istilah non-matriks karena penggunaan dekomposisi spektral.

Sekarang dalam versi matriks kuadrat terkecil, matriks topi adalah $H=X(X^TX)^{-1}X^T$ dimana $X$ telah $n$ baris dan $p+1$ kolom (kolom yang untuk $\beta_0$). Asumsikan peringkat kolom lengkap untuk kenyamanan - jika tidak Anda bisa mengganti$p+1$ oleh peringkat kolom $X$berikut ini. Kita dapat menulis nilai yang dipasang sebagai$\hat{Y}_i=\sum_{j=1}^nH_{ij}Y_j$ atau dalam notasi matriks $\hat{Y}=HY$. Dengan menggunakan ini, kita dapat menulis jumlah kuadrat sebagai:

$$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{(Y-\hat{Y})^T(Y-\hat{Y})}{\sigma^2}=\frac{(Y-HY)^T(Y-HY)}{\sigma^2}$$ $$=\frac{Y^T(I_n-H)Y}{\sigma^2}$$

Dimana $I_n$ adalah matriks identitas ketertiban $n$. Langkah terakhir mengikuti dari fakta itu$H$ adalah matriks idepotent, sebagai

$$H^2=[X(X^TX)^{-1}X^T][X(X^TX)^{-1}X^T]=X(X^TX)^{-1}X^T=H=HH^T=H^TH$$

Sekarang properti rapi dari matriks idepotent adalah bahwa semua nilai eigennya harus sama dengan nol atau satu. Membiarkan$e$ menunjukkan vektor eigen yang dinormalisasi $H$ dengan nilai eigen $l$, kita dapat membuktikan ini sebagai berikut:

$$He=le\implies H(He)=H(le)$$ $$LHS=H^2e=He=le\;\;\; RHS=lHe=l^2e$$ $$\implies le=l^2e\implies l=0\text{ or }1$$

(perhatikan itu $e$ tidak boleh nol karena harus memuaskan $e^Te=1$) Sekarang karena $H$ idepoten, $I_n-H$ juga, karena

$$(I_n-H)(I_n-H)=I-IH-HI+H^2=I_n-H$$

Kami juga memiliki properti bahwa jumlah nilai eigen sama dengan jejak matriks, dan

$$tr(I_n-H)=tr(I_n)-tr(H)=n-tr(X(X^TX)^{-1}X^T)=n-tr((X^TX)^{-1}X^TX)$$ $$=n-tr(I_{p+1})=n-p-1$$

Karenanya $I-H$ harus punya $n-p-1$ nilai eigen sama dengan $1$ dan $p+1$ nilai eigen sama dengan $0$.

Sekarang kita dapat menggunakan dekomposisi spektral $I-H=ADA^T$ dimana $D=\begin{pmatrix}I_{n-p-1} & 0_{[n-p-1]\times[p+1]}\\0_{[p+1]\times [n-p-1]} & 0_{[p+1]\times [p+1]}\end{pmatrix}$ dan $A$ bersifat ortogonal (karena $I-H$simetris). Properti selanjutnya yang bermanfaat adalah itu$HX=X$. Ini membantu mempersempit$A$ matriks

$$HX=X\implies(I-H)X=0\implies ADA^TX=0\implies DA^TX=0$$ $$\implies (A^TX)_{ij}=0\;\;\;i=1,\dots,n-p-1\;\;\; j=1,\dots,p+1$$

dan kami mendapatkan:

$$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{Y^TADA^TY}{\sigma^2}=\frac{\sum_{i=1}^{n-p-1}(A^TY)_i^2}{\sigma^2}$$

Sekarang, di bawah model yang kita miliki $Y\sim N(X\beta,\sigma^2I)$ dan menggunakan teori normal standar yang kita miliki $A^TY\sim N(A^TX\beta,\sigma^2A^TA)\sim N(A^TX\beta,\sigma^2I)$ menunjukkan bahwa komponen $A^TY$independen. Sekarang menggunakan hasil yang bermanfaat, kami memilikinya$(A^TY)_i\sim N(0,\sigma^2)$ untuk $i=1,\dots,n-p-1$. Distribusi chi-square dengan$n-p-1$ derajat kebebasan untuk jumlah kesalahan kuadrat segera menyusul.