Plot residual: mengapa plot versus nilai pas, tidak diamati nilai ?

Dalam konteks regresi OLS, saya memahami bahwa plot residual (vs nilai pas) secara konvensional dipandang untuk menguji varians konstan dan menilai spesifikasi model. Mengapa residu diplot terhadap fit, dan bukan nilai ? Apa perbedaan informasinya dengan kedua plot ini?$Y$

Saya sedang mengerjakan model yang menghasilkan plot sisa berikut:

Jadi plot vs nilai yang dipasang terlihat bagus dengan cepat, tetapi plot kedua melawan nilai memiliki pola. Saya bertanya-tanya mengapa pola yang diucapkan seperti itu tidak juga terwujud dalam plot residual vs fit ....$Y$

Saya tidak mencari bantuan dalam mendiagnosis masalah dengan model, tetapi hanya mencoba memahami perbedaan (umumnya) antara (1) plot sisa vs cocok & (2) plot sisa vs$Y$

Untuk apa nilainya, saya yakin pola kesalahan pada grafik kedua adalah karena variabel yang dihilangkan yang mempengaruhi DV. Saat ini saya sedang berupaya mendapatkan data itu, yang saya harapkan akan membantu keseluruhan kesesuaian dan spesifikasi. Saya bekerja dengan data real estat: DV = Harga Jual. IVs: Sq.ft rumah, # ruang garasi, tahun dibangun, tahun dibangun . $^2$

Dengan konstruksi istilah kesalahan dalam model OLS tidak berkorelasi dengan nilai-nilai yang diamati dari kovariat X. Ini akan selalu benar untuk data yang diamati bahkan jika model menghasilkan estimasi bias yang tidak mencerminkan nilai sebenarnya dari suatu parameter karena asumsi model dilanggar (seperti masalah variabel yang dihilangkan atau masalah dengan kausalitas terbalik). Nilai-nilai yang diprediksi sepenuhnya merupakan fungsi dari kovariat ini sehingga mereka juga tidak berkorelasi dengan istilah kesalahan. Jadi, ketika Anda memplot residual terhadap nilai prediksi, mereka harus selalu terlihat acak karena memang tidak berkorelasi dengan konstruksi estimator. Sebaliknya, sangat mungkin (dan memang mungkin) istilah kesalahan model untuk dikorelasikan dengan Y dalam praktiknya. Sebagai contoh, dengan variabel X dikotomis, semakin jauh Y sejati adalah dari keduanyaE(Y | X = 1)atau E(Y | X = 0)semakin besar residualnya. Berikut adalah intuisi yang sama dengan data yang disimulasikan dalam R di mana kami tahu modelnya tidak bias karena kami mengontrol proses pembuatan data:

rm(list=ls())
set.seed(21391209)

trueSd <- 10
trueA <- 5
trueB <- as.matrix(c(3,5,-1,0))
sampleSize <- 100

# create independent x-values
x1 <- rnorm(n=sampleSize, mean = 0, sd = 4)
x2 <-  rnorm(n=sampleSize, mean = 5, sd = 10)
x3 <- 3 + x1 * 4 + x2 * 2 + rnorm(n=sampleSize, mean = 0, sd = 10)
x4 <- -50 + x1 * 7 + x2 * .5 + x3 * 2  + rnorm(n=sampleSize, mean = 0, sd = 20)
X = as.matrix(cbind(x1,x2,x3,x4))


# create dependent values according to a + bx + N(0,sd)
Y <-  trueA +  X %*%  trueB  +rnorm(n=sampleSize,mean=0,sd=trueSd)


df = as.data.frame(cbind(Y,X))
colnames(df) <- c("y", "x1", "x2", "x3", "x4")
ols = lm(y~x1+x2+x3+x4, data = df)
y_hat = predict(ols, df)
error = Y - y_hat
cor(y_hat, error) #Zero
cor(Y, error) #Not Zero

Kami mendapatkan hasil yang sama dari korelasi nol dengan model yang bias, misalnya jika kita hilangkan x1.

ols2 = lm(y~x2+x3+x4, data = df)
y_hat2 = predict(ols2, df)
error2 = Y - y_hat2
cor(y_hat2, error2) #Still zero
cor(Y, error2) #Not Zero

Dua fakta yang saya anggap Anda senang dengan saya hanya menyatakan:

$y_i = \hat{y}_i+\hat{e}_i$

$\text{Cov}(\hat{y}_i,\hat{e}_i)=0$

Kemudian:

$\text{Cov}(y_i,\hat{e}_i)=\text{Cov}(\hat{y}_i+\hat{e}_i,\hat{e}_i)$

$\qquad=\text{Cov}(\hat{y}_i,\hat{e}_i) +\text{Cov}(\hat{e}_i,\hat{e}_i)$

$\qquad=0 +\sigma^2_e$

$\qquad=\sigma^2_e$

Jadi, sementara nilai pas tidak berkorelasi dengan residu, pengamatannya adalah .

Akibatnya, ini karena pengamatan dan residu terkait dengan istilah kesalahan.

Ini biasanya membuatnya agak sulit untuk menggunakan plot sisa untuk tujuan diagnostik.