Mengapa korelasi residu tidak penting saat menguji normalitas?

Ketika (yaitu, berasal dari model regresi linier), $Y = AX + \varepsilon$ $Y$ Dan dalam kasus residu berkorelasi dan tidak independen. Tetapi ketika kita melakukan diagnosa regresi dan ingin menguji asumsi , setiap buku teks menyarankan untuk menggunakan Q-Q plot dan uji statistik pada residu yang dirancang untuk menguji apakah untuk beberapa .

ε \sim N (0, σ^{2} I) \Rightarrow \hat{e} = (I - H) Y \sim N (0, (I - H) σ_{}^{2})

$\varepsilon \sim \mathcal{N}(0, \sigma^2 I) \hspace{1em} \Rightarrow \hspace{1em} \hat{e} = (I - H) Y \sim \mathcal{N}(0, (I - H) \sigma^2_{})$

{\hat{e}}_{1}, \dots, {\hat{e}}_{n}

$\hat{e}_1, \ldots, \hat{e}_n$

ε \sim N (0, σ^{2} I)

$\varepsilon \sim \mathcal{N}(0, \sigma^2 I)$

\hat{e}

$\hat{e}$

\hat{e} \sim N (0, σ^{2} I)

$\hat{e} \sim \mathcal{N}(0, \sigma^2 I)$

σ^{2} \in R

$\sigma^2 \in \mathbb{R}$

Kenapa tidak penting untuk tes ini bahwa residu berkorelasi, dan tidak independen? Hal ini sering disarankan untuk menggunakan standar tetapi itu hanya membuat mereka homoseks, tidak mandiri.

{\hat{e}}_{i}^{'} = \frac{{\hat{e}}_{i}}{\sqrt{1 - h_{i i}}},

$\hat{e}_i' = \frac{\hat{e}_i}{\sqrt{1 - h_{ii}}},$

Untuk mengulangi pertanyaan: Residu dari regresi OLS berkorelasi. Saya mengerti bahwa dalam praktiknya, korelasi ini sangat kecil (sebagian besar waktu? Selalu?), Mereka dapat diabaikan ketika menguji apakah residu berasal dari distribusi normal. Pertanyaan saya adalah, mengapa?

regression residuals non-independent Zoran Loncarevic
sumber

Menjadikan mereka homoseksual.

Scortchi

Apakah Anda bertanya tentang penerapan tes ini ketika residu memiliki korelasi kuat atau Anda hanya khawatir tentang korelasi negatif (sangat kecil dan tidak penting) yang timbul dari prosedur estimasi kuadrat terkecil?

whuber

@whuber saya bertanya tentang korelasi yang timbul dari prosedur estimasi kuadrat terkecil. Jika mereka sedikit dan tidak penting, saya ingin tahu mengapa.

Zoran Loncarevic

Jawaban:

$H$ $X$ $M:=I_{n}-H$

$X\in\mathbb{R}^{n\times k}$ $\hat{e}\in\mathbb{R}^{n}$

$\varepsilon$ $X$ $\varepsilon\perp\operatorname{span}\left(X\right)$ $y=X\beta+\varepsilon=\tilde{y}+\varepsilon$ $\tilde{y}\perp\varepsilon$ $\tilde{y}=X\beta\in\operatorname{span}\left(X\right)$ $y$ $\varepsilon$

$b_{1},\ldots,b_{n}$ $\mathbb{R}^{n}$ $b_{1},\ldots,b_{k}$ $\operatorname{span}\left(X\right)$ $b_{k+1},\ldots,b_{n}$ $\operatorname{span}\left(X\right)^{\perp}$ $\varepsilon=\alpha_{1}b_{1}+\ldots+\alpha_{n}b_{n}$ $\alpha_{i}$ $i\in\left\{1,\ldots,k\right\}$ $X\beta$ $\operatorname{span}\left(X\right)$

$\varepsilon$ $\hat{e}$ $n$ $\hat{e}\in\mathbb{R}^{n}\mapsto e^{*}\in\mathbb{R}^{n-k}$

e^{*} \sim N_{n - k} (0, σ^{2} I_{n - k}),

$\begin{equation} e^{*}\sim\mathcal{N}_{n-k}\left(0,\sigma^{2}I_{n-k}\right) \textrm{,} \end{equation}$

e^{*}

$e^{*}$

e^{*}

$e^{*}$

Dalam makalah singkat Pada Pengujian Gangguan Regresi untuk Normalitas Anda menemukan perbandingan residu OLS dan BLUS. Dalam pengaturan Monte Carlo yang diuji, residu OLS lebih unggul daripada residu BLUS. Tetapi ini harus memberi Anda beberapa titik awal.

Marco Breitig
sumber