Mengapa kemiringan selalu tepat 1 ketika melakukan regresi kesalahan pada residu menggunakan OLS?

Saya sedang bereksperimen dengan hubungan antara kesalahan dan residu menggunakan beberapa simulasi sederhana dalam R. Satu hal yang saya temukan adalah bahwa, terlepas dari ukuran sampel atau varians kesalahan, saya selalu mendapatkan tepat untuk lereng ketika Anda cocok dengan model$1$

$${\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals}$$

Berikut simulasi yang saya lakukan:

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

edan rberkorelasi sangat (tetapi tidak sempurna), bahkan untuk sampel kecil, tapi saya tidak tahu mengapa ini terjadi secara otomatis. Penjelasan matematis atau geometris akan dihargai.

jawaban whuber sangat bagus! (+1) Saya mengatasi masalah menggunakan notasi yang paling akrab bagi saya dan menganggap derivasi (kurang menarik, lebih rutin) mungkin bermanfaat untuk dimasukkan di sini.

Biarkan menjadi model regresi, untuk X ∈ R n × p dan ϵ noise. Kemudian regresi y terhadap kolom X memiliki persamaan normal X T ( y - X β ) = 0 , menghasilkan estimasi β = ( X T X ) - 1 X T y $y = X \beta^* + \epsilon$$X \in \mathbb{R}^{n \times p}$$\epsilon$$y$$X$$X^T\left(y - X \hat\beta\right) = 0,$

$$\hat\beta = \left(X^T X \right)^{-1} X^T y.$$ Oleh karena itu regresi memiliki residual untuk H = X ( X T X ) - 1 X T . $$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$$ $H = X (X^T X)^{-1} X^T$

Kemunduran pada r hasil dalam perkiraan kemiringan yang diberikan oleh ( r T r ) - 1 r T$\epsilon$$r$ karenaI-Hsimetris dan idempoten danϵ∉im(X)hampir pasti.

$$\begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*}$$ $I-H$$\epsilon \not\in \mathrm{im}(X)$

Lebih lanjut, argumen ini juga berlaku jika kita memasukkan intersep ketika kita melakukan regresi kesalahan pada residu jika intersep dimasukkan dalam regresi asli, karena kovariat bersifat ortogonal (yaitu , dari persamaan normal) .$1^T r = 0$

$x$$e$$Y=\beta x + e$$b$$\beta$$r = Y - bx$$O$

$\beta x$$e$$Y$$bx$$Y-bx$$r$

$x$$OY$$(\beta x)Y$$r$$r$$Y$$r$$Y$$e$$r$$e$$r$$r$$r$$1$

---

$r$$e=r+(\beta-b)x$$Y=e+\beta x = r + (2\beta-b)x$$x$$x$$r$$r$$1$$x$$r$