Apakah masuk akal untuk mempelajari plot residu sehubungan dengan variabel dependen?

Saya ingin tahu apakah masuk akal untuk mempelajari plot residual sehubungan dengan variabel dependen ketika saya mendapatkan regresi univariat. Jika masuk akal, apa arti korelasi yang kuat, linier, dan tumbuh antara residual (pada sumbu y) dan nilai estimasi dari variabel dependen (pada sumbu x) artinya?

Misalkan Anda memiliki regresi , di mana . Kemudian, . Semakin tinggi nilai , semakin besar residual. Sebaliknya, plot residual terhadap seharusnya tidak menunjukkan hubungan sistematis. Juga, nilai prediksi harus kira-kira --- sama untuk setiap pengamatan. Jika semua nilai yang diprediksi kira-kira sama, mereka harus tidak berkorelasi dengan kesalahan.β 1 ≈ 0 y i - β 0 ≈ ε i y x y i β$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$\beta_1 \approx 0$$y_i - \beta_0 \approx \epsilon_i$$y$$x$$\hat{y}_i$$\hat{\beta}_0$

Apa yang plot katakan kepada saya adalah bahwa dan pada dasarnya tidak berhubungan (tentu saja, ada cara yang lebih baik untuk menunjukkan ini). Beri tahu kami jika koefisien Anda tidak mendekati 0.y β$x$$y$$\hat{\beta}_1$

Sebagai diagnosa yang lebih baik, gunakan plot residual terhadap upah yang diprediksi atau terhadap nilai . Anda seharusnya tidak mengamati pola yang dapat dibedakan dalam plot ini.$x$

Jika Anda ingin sedikit demonstrasi R, ini dia:

y      <- rnorm(100, 0, 5)
x      <- rnorm(100, 0, 2)
res    <- lm(y ~ x)$residuals
fitted <- lm(y ~ x)$fitted.values
plot(y, res)
plot(x, res)
plot(fitted, res)

Dengan asumsi model yang diperkirakan ditentukan dengan benar ...

Mari masing menunjukkan , matriks P X adalah matriks proyeksi, sehingga P 2 X = P X dan P ' X = P X .$P_X=X(X'X)^{-1}X'$$P_X$$P_X^2=P_X$$P_X'=P_X$

.$Cov(\hat{Y},\hat{e})=Cov(P_XY,(I-P_X)Y)=P_XCov(Y,Y)(I-P_X)'=\sigma^2P_X(I-P_X)=0$

Jadi sebar-plot residu terhadap prediksi variabel dependen seharusnya tidak menunjukkan korelasi

Tapi!

$Cov(Y,\hat{e})=Cov(Y,(I-P_X)Y)=Cov(Y,Y)(I-P_X)'=\sigma^2(I-P_X)$

$\sigma^2(I-P_X)$

Sejauh yang saya tahu Gretl menghasilkan secara default grafik residual terhadap variabel dependen asli (bukan yang diprediksi!).

Apakah mungkin Anda bingung dengan nilai pas / prediksi dengan nilai aktual?

Seperti yang dikatakan @gung dan @biostat, Anda berharap tidak ada hubungan antara nilai yang dipasang dan residu. Di sisi lain, menemukan hubungan linear antara nilai aktual dari variabel dependen / hasil dan residual diharapkan dan tidak terlalu informatif.

Ditambahkan untuk memperjelas kalimat sebelumnya: Tidak sembarang hubungan linier antara residual dan nilai aktual dari hasil yang diharapkan ... Untuk nilai-nilai Y yang diukur rendah, nilai-nilai Y yang diprediksi dari model yang berguna akan cenderung lebih tinggi daripada nilai yang terukur aktual, dan sebaliknya.

Jawaban yang ditawarkan memberi saya beberapa ide tentang apa yang terjadi di sini. Saya percaya mungkin ada beberapa kesalahan yang dilakukan secara tidak sengaja. Lihat apakah cerita berikut ini masuk akal: Untuk memulai, saya pikir mungkin ada hubungan yang kuat antara X & Y dalam data (berikut adalah beberapa kode dan plot):

set.seed(5)
wage <- rlnorm(1000, meanlog=2.3, sdlog=.5)
something_else <- .7*wage + rnorm(1000, mean=0, sd=1)
plot(wage, something_else, pch=3, col="red", main="Plot X vs. Y")

Tetapi karena kesalahan Y diprediksi hanya dari mean. Menggabungkan ini, residu dari model hanya rata-rata diplot terhadap X, meskipun apa yang dimaksudkan adalah plot terhadap nilai-nilai yang sesuai (kode & plot):

meanModel <- lm(something_else~1)
windows()
plot(wage, meanModel$residuals, pch=3, col="red", 
    main="Plot of residuals from Mean only Model against X")
abline(h=0, lty="dotted")

Kita dapat memperbaikinya dengan mencocokkan model yang sesuai dan memplot residu dari itu (kode & plot):

appropriateModel <- lm(something_else~wage)
windows()
plot(appropriateModel$fitted.values, appropriateModel$residuals, pch=3, col="red",
main="Plot of residuals from the appropriate\nmodel against fitted values")
lines(lowess(appropriateModel$residuals~appropriateModel$fitted.values))

Ini sepertinya jenis kesalahan yang saya buat ketika saya mulai.

Grafik ini menunjukkan bahwa model yang Anda pasang tidak baik. Seperti @gung katakan dalam komentar pertama pada pertanyaan utama bahwa seharusnya tidak ada hubungan antara respon yang dipredikatkan dan residual.

"Seorang analis harus mengharapkan model regresi untuk keliru dalam memprediksi respons secara acak; model harus memprediksi nilai yang lebih tinggi dari yang sebenarnya dan lebih rendah dari yang sebenarnya dengan probabilitas yang sama. Lihat ini "

Saya akan merekomendasikan respons plot pertama vs variabel independen untuk melihat hubungan di antara mereka. Mungkin masuk akal untuk menambahkan istilah polinomial dalam model.

Bukankah ini yang terjadi jika tidak ada hubungan antara variabel X & Y? Dari melihat grafik ini, tampaknya Anda pada dasarnya memprediksi Y dengan artinya.

Saya pikir OP diplotkan residual vs variabel respons asli (bukan variabel respons yang dipasang dari model). Saya melihat plot seperti ini sepanjang waktu, dengan pola yang persis sama. Pastikan Anda memplot residual vs nilai yang dipasang, karena saya tidak yakin inferensi berarti apa yang dapat Anda kumpulkan dari residual vs Y asli. Tapi saya pasti bisa salah.