Apa korelasi yang diharapkan antara residual dan variabel dependen?

26

Dalam regresi linier berganda, saya dapat memahami korelasi antara residual dan prediktor adalah nol, tetapi apa korelasi yang diharapkan antara residual dan variabel kriteria? Haruskah diharapkan nol atau berkorelasi tinggi? Apa artinya itu?

regression residuals Jfly
sumber

4

Apa yang dimaksud dengan "variabel kriteria" ??

whuber

2

@whuber saya menduga Jfly mengacu pada respon / hasil / dependen / dll. variabel. davidmlane.com/hyperstat/A101702.html Sangat menarik untuk melihat banyak nama variabel seperti pergi oleh: en.wikipedia.org/wiki/…

Jeromy Anglim

@Jeromy Terima kasih! Saya sudah menduga itu artinya tetapi tidak yakin. Itu istilah baru bagi saya - dan bagi Wikipedia, jelas.

Whuber

Saya akan berpikir ini akan menjadi sama dengan

E [R^{2}]

$E[R^2]$ atau yang serupa, seperti

R^{2} = [c o r r (y, \hat{y})]^{2}

$R^2=[corr(y,\hat{y})]^2$

probabilityislogic

y = f (x) + e

$y = f(x) + e$ , di mana

f

$f$ adalah fungsi regresi,

e

$e$ adalah kesalahan, dan

C o v (f (x), e) = 0

$Cov(f(x),e) = 0$ . Kemudian

C o r r (y, e) = S D (e) / S D (y) = \sqrt{1 - R^{2}}

$Corr(y,e) = SD(e)/SD(y) = \sqrt{1-R^2}$ . Itu statistik sampel; nilai yang diharapkan akan serupa tetapi berantakan.

Ray Koopman

20

Dalam model regresi:

y_{i} = x_{i}^{'} β + u_{i}

$y_i=\mathbf{x}_i'\beta+u_i$

asumsi umum adalah bahwa , adalah sampel iid. Dengan asumsi bahwa dan memiliki peringkat penuh, penaksir kuadrat terkecil biasa: $(y_i,\mathbf{x}_i,u_i)$ $i=1,...,n$ $E\mathbf{x}_iu_i=0$ $E(\mathbf{x}_i\mathbf{x}_i')$

\hat{β} = {(\sum_{i = 1}^{n} x_{i} x_{i}^{'})}^{- 1} \sum_{i = 1} x_{i} y_{i}

$\widehat{\beta}=\left(\sum_{i=1}^n\mathbf{x}_i\mathbf{x}_i'\right)^{-1}\sum_{i=1}\mathbf{x}_iy_i$

konsisten dan asimptotik normal. Kovarians yang diharapkan antara residual dan variabel responnya adalah:

E y_{i} u_{i} = E (x_{i}^{'} β + u_{i}) u_{i} = E u_{i}^{2}

$Ey_iu_i=E(\mathbf{x}_i'\beta+u_i)u_i=Eu_i^2$

Jika kita lebih lanjut mengasumsikan bahwa dan , kita dapat menghitung kovarians diharapkan antara dan residu regresinya: $E(u_i|\mathbf{x}_1,...,\mathbf{x}_n)=0$ $E(u_i^2|\mathbf{x}_1,...,\mathbf{x}_n)=\sigma^2$ $y_i$

\begin{aligned} E y_{i} {\hat{u}}_{i} & = E y_{i} (y_{i} - x_{i}^{'} \hat{β}) \\ = E (x_{i}^{'} β + u_{i}) (u_{i} - x_{i} (\hat{β} - β)) \\ = E (u_{i}^{2}) (1 - E x_{i}^{'} {(\sum_{j = 1}^{n} x_{j} x_{j}^{'})}^{- 1} x_{i}) \end{aligned}

$\begin{align*} Ey_i\widehat{u}_i&=Ey_i(y_i-\mathbf{x}_i'\widehat{\beta})\\\\ &=E(\mathbf{x}_i'\beta+u_i)(u_i-\mathbf{x}_i(\widehat{\beta}-\beta))\\\\ &=E(u_i^2)\left(1-E\mathbf{x}_i' \left(\sum_{j=1}^n\mathbf{x}_j\mathbf{x}_j'\right)^{-1}\mathbf{x}_i\right) \end{align*}$

Sekarang untuk mendapatkan korelasi kita perlu menghitung dan . Ternyata itu $\text{Var}(y_i)$ $\text{Var}(\hat{u}_i)$

Var ({\hat{u}}_{i}) = E (y_{i} {\hat{u}}_{i}),

$\text{Var}(\hat u_i)=E(y_i\hat{u}_i),$

karenanya

Corr (y_{i}, {\hat{u}}_{i}) = \sqrt{1 - E x_{i}^{'} {(\sum_{j = 1}^{n} x_{j} x_{j}^{'})}^{- 1} x_{i}}

$\text{Corr}(y_i,\hat u_i)=\sqrt{1-E\mathbf{x}_i' \left(\sum_{j=1}^n\mathbf{x}_j\mathbf{x}_j'\right)^{-1}\mathbf{x}_i}$

Sekarang istilah berasal dari diagonal dari topi matriks , di mana . Matriks adalah idempoten, karenanya memenuhi properti berikut $\mathbf{x}_i' \left(\sum_{j=1}^n\mathbf{x}_j\mathbf{x}_j'\right)^{-1}\mathbf{x}_i$ $H=X(X'X)^{-1}X'$ $X=[\mathbf{x}_i,...,\mathbf{x}_N]'$ $H$

trace (H) = \sum_{i} h_{i i} = rank (H),

$\text{trace}(H)=\sum_{i}h_{ii}=\text{rank}(H),$

di mana adalah istilah diagonal . The adalah jumlah variabel independen linear di , yang biasanya jumlah variabel. Mari kita sebut itu . Jumlah adalah ukuran sampel . Jadi kita memiliki istilah nonnegatif yang seharusnya berjumlah hingga . Biasanya jauh lebih besar daripada , maka banyak $h_{ii}$ $H$ $\text{rank}(H)$ $\mathbf{x}_i$ $p$ $h_{ii}$ $N$ $N$ $p$ $N$ $p$ $h_{ii}$ akan mendekati nol, yang berarti bahwa korelasi antara residual dan variabel respon akan mendekati 1 untuk bagian pengamatan yang lebih besar.

Istilah juga digunakan dalam berbagai diagnosa regresi untuk menentukan pengamatan berpengaruh. $h_{ii}$

mpiktas
sumber

10

+1 Ini persis analisis yang tepat. Tetapi mengapa Anda tidak menyelesaikan pekerjaan dan menjawab pertanyaan? OP bertanya apakah korelasi ini "tinggi" dan apa artinya .

Whuber

Jadi Anda bisa mengatakan bahwa korelasinya kira-kira

\sqrt{1 - \frac{p}{N}}

$\sqrt{1-\frac{p}{N}}$

probabilityislogic

1

Korelasi berbeda untuk setiap pengamatan, tapi ya Anda bisa mengatakan itu, asalkan X tidak memiliki outlier.

mpiktas

21

Korelasi tergantung pada . Jika tinggi, itu berarti bahwa banyak variasi dalam variabel dependen Anda dapat dikaitkan dengan variasi dalam variabel independen Anda, dan BUKAN istilah kesalahan Anda. $R^2$ $R^2$

Namun, jika rendah, maka itu berarti bahwa banyak variasi dalam variabel dependen Anda tidak terkait dengan variasi dalam variabel independen Anda, dan karenanya harus terkait dengan istilah kesalahan. $R^2$

Pertimbangkan model berikut:

, di mana dan tidak berkorelasi. $Y=X\beta+\varepsilon$ $Y$ $X$

Dengan asumsi kondisi keteraturan yang cukup untuk ditahan CLT.

akan konvergen ke, karenadantidak berkorelasi. Oleh karena itu akan selalu nol. Dengan demikian,. danberkorelasi sempurna !!! $\hat{\beta}$ $0$ $X$ $Y$ $\hat{Y}=X\hat{\beta}$ $\varepsilon:=Y-\hat{Y}=Y-0=Y$ $\varepsilon$ $Y$

Memegang semua yang lain tetap, meningkatkan akan mengurangi korelasi antara kesalahan dan ketergantungan. Korelasi yang kuat belum tentu menyebabkan alarm. Ini bisa berarti proses yang mendasarinya berisik. Namun, rendah (dan karenanya korelasi yang tinggi antara kesalahan dan dependen) mungkin disebabkan oleh kesalahan spesifikasi model. $R^2$ $R^2$

Mat
sumber

Saya menemukan jawaban ini membingungkan, sebagian melalui penggunaan dari "

" untuk berdiri baik untuk istilah kesalahan dalam model dan residu

. Titik kebingungan lainnya adalah referensi untuk "menyatu" meskipun tidak ada urutan apa pun dalam bukti yang konvergensi mungkin berlaku. Asumsi bahwa

dan

tidak berkorelasi tampaknya istimewa dan tidak menggambarkan keadaan umum. Semua ini mengaburkan apa pun yang mungkin ingin dijawab oleh jawaban ini atau klaim mana yang umumnya benar.

ε

$\varepsilon$

Y - \hat{Y}

$Y-\hat Y$

X

$X$

Y

$Y$

whuber

17

Saya menemukan topik ini cukup menarik dan jawaban saat ini sayangnya tidak lengkap atau sebagian menyesatkan - terlepas dari relevansi dan popularitas tinggi pertanyaan ini.

Dengan definisi kerangka OLS klasik harus ada ada hubungan antara dan $y ̂$ $\hat u$ , karena residu yang diperoleh per konstruksi berkorelasi dengan berasal OLS estimator. Varians meminimalkan properti di bawah homoskedasticity memastikan bahwa kesalahan residual tersebar secara acak di sekitar nilai yang dipasang. Ini dapat secara formal ditunjukkan oleh: $y ̂$

Cov (y ̂, u ̂ | X) = Cov (P y, M y | X) = Cov (P y, (I - P) y | X) = P Cov (y, y) (I - P)^{'}

$\text{Cov}(y ̂,u ̂|X)=\text{Cov}(Py,My|X)=\text{Cov}(Py,(I-P)y|X)=P\text{Cov}(y,y)(I-P)'$

= P σ^{2} - P σ^{2} = 0

$=Pσ^2-Pσ^2=0$

Di mana dan adalah matriks idempoten didefinisikan sebagai: dan . $M$ $P$ $P=X(X' X)X'$ $M=I-P$

Hasil ini didasarkan pada eksogenitas yang ketat dan homoskedastisitas, dan praktis berlaku dalam sampel besar. Intuisi untuk uncorrelatedness mereka adalah sebagai berikut: Nilai-nilai fitted pada yang berpusat di sekitar yang dianggap sebagai independen dan identik didistribusikan. Namun, setiap penyimpangan dari exogeneity dan homoskedasticity ketat asumsi dapat menyebabkan variabel penjelas menjadi endogen dan memacu korelasi laten antara dan . $y ̂$ $X$ $u ̂$ $u ̂$ $y ̂$

Sekarang korelasi antara residual "asli" adalah cerita yang sama sekali berbeda: $u ̂$ $y$

Cov (y, u ̂ | X) = Cov (y M y | X) = Cov (y, (1 - P) y) = Cov (y, y) (1 - P) = σ^{2} M

$\text{Cov}(y,u ̂|X)=\text{Cov}(yMy|X)=\text{Cov}(y,(1-P)y)=\text{Cov}(y,y)(1-P)=σ^2 M$

$\hat{u}$

Var (u ̂) = σ^{2} M = Cov (y, u ̂ | X)

$\text{Var}(u ̂ )=σ^2 M=\text{Cov}(y,u ̂|X)$

$y$ $\hat{u}$

⟹ {Cov}_{s c a l a r} (y, u ̂ | X) = Var (u ̂ | X) = (\sum u_{i}^{2}) / N

$\implies \text{Cov}_{scalar}(y,u ̂|X)=\text{Var}(u ̂|X)=\left(∑u_i^2 \right)/N$

(= dengan merangkum entri diagonal dari matriks kovarians dan dibagi dengan N)

$y$ $\hat{u}$ $\beta_{\hat{u},y}=1$ $\text{Var}(u ̂|X)$

$σ^2 M$ $y$ $σ^2 I$ $\text{Corr}(y,u ̂ )$

Corr (y, u ̂) = \frac{Var (u ̂)}{\sqrt{Var (\hat{u}) Var (y)}} = \sqrt{\frac{Var (u ̂)}{Var (y)}} = \sqrt{\frac{Var (u ̂)}{σ^{2}}}

$\text{Corr}(y,u ̂ )=\frac{\text{Var}(u ̂ )}{\sqrt{\text{Var}(\hat{u})\text{Var}(y)}}=\sqrt{\frac{\text{Var}(u ̂ )}{\text{Var}(y)} }=\sqrt{\frac{\text{Var}(u ̂ )}{σ^2 }}$

$\text{Corr}(y,u ̂ )$ $y$ $\hat{y}$ $\hat{u}$

Corr (y, u ̂) = \frac{1}{\sqrt{1 + \frac{Var (\hat{y)}}{Var (u ̂)}}}

$\text{Corr}(y,u ̂ )=\frac{1}{\sqrt{1+\frac{\text{Var}(\hat{y)}}{\text{Var}(u ̂ )}}}$

$\text{Var}(u ̂ )\approx 0$ $\text{Var}(\hat{y})$

$y$ $u ̂$ $y$

$y$ $u ̂$ $u ̂$ $u$

Sebagai contoh, saya ingin menunjukkan pernyataan yang dibuat oleh poster sebelumnya di sini. Dikatakan bahwa,

"Jika residu Anda berkorelasi dengan variabel independen Anda, maka model Anda heteroskedastik ..."

$u ̂$ $x_k$

X^{'} u_{i} = X^{'} M y = X^{'} (I - P) y = X^{'} y - X^{'} P y

$X'u_i=X'My=X'(I-P)y=X'y-X'Py$

= X^{'} y - X^{'} X (X^{'} X) X^{'} y = X^{'} y - X^{'} y = 0

$=X'y-X'X(X'X)X'y=X'y-X'y=0$

⟹ X^{'} u_{i} = 0 ⟹ Cov (X^{'}, u_{i} | X) = 0 ⟹ Cov (x_{k i}, u_{i} | x_{k} i) = 0

$\implies X'u_i=0 \implies \text{Cov}(X',u_i|X)=0 \implies \text{Cov}(x_{ki},u_i|x_ki)=0$

$y$ $u ̂$ $X$ $X$ , seperti yang sering terjadi dengan penduga FGSL. Ini berbeda dengan mengevaluasi korelasi polos. Saya harap ini membantu membuat masalah menjadi lebih jelas.

Majte
sumber

1

\frac{v a r (\hat{u})}{v a r (y)} = \frac{S S E}{T S S} = 1 - R^{2}

$\frac{var(\hat{u})}{var(y)}=\frac{SSE}{TSS}=1-R^2$

c o r r (y, \hat{u}) = \sqrt{1 - R^{2}}

$corr(y,\hat{u})=\sqrt{1-R^2}$

2

Yang saya temukan menarik tentang jawaban ini adalah bahwa korelasinya selalu positif.

probabilityislogic

V a r (y)

$Var(y)$

@probabilityislogic: Tidak yakin apakah saya dapat mengikuti langkah Anda. Maka akan berada di bawah squareroot 1+ (1/1-R ^ 2), yaitu (2-R ^ 2) / (1-R ^ 2)? Namun yang benar adalah tetap positif. Intuisi adalah bahwa jika Anda memiliki garis melalui sebar scatter, dan Anda mundur garis ini pada kesalahan dari garis itu, harus jelas bahwa sebagai nilai y dari garis itu meningkatkan nilai residu meningkat juga. Ini karena residu bergantung secara positif pada y oleh konstruksi.

Majte

@mpiktas: Dalam hal ini, matriks menjadi skalar karena kita berhadapan hanya dengan satu dimensi.

Majte

6

Jawaban Adam salah. Bahkan dengan model yang sangat cocok dengan data, Anda masih bisa mendapatkan korelasi tinggi antara residual dan variabel dependen. Itulah alasan mengapa tidak ada buku regresi yang meminta Anda memeriksa korelasi ini. Anda dapat menemukan jawabannya di buku "Analisis Terapan Regresi" Dr. Draper.

Jeff
sumber

3

Bahkan jika benar, ini lebih merupakan pernyataan daripada jawaban menurut standar CV, @ Jeff. Maukah Anda mengelaborasi / mendukung klaim Anda? Bahkan cukup nomor halaman & edisi Draper & Smith saja sudah cukup.

gung - Reinstate Monica

4

Jadi, residual adalah varians Anda yang tidak dapat dijelaskan, perbedaan antara prediksi model Anda dan hasil aktual yang Anda modelkan. Dalam praktiknya, beberapa model yang dihasilkan melalui regresi linier akan memiliki semua residu mendekati nol kecuali jika regresi linier digunakan untuk menganalisis proses mekanis atau tetap.

Idealnya, residu dari model Anda harus acak, artinya tidak boleh dikorelasikan dengan variabel independen atau dependen Anda (apa yang Anda sebut variabel kriteria). Dalam regresi linier, istilah kesalahan Anda terdistribusi normal, sehingga residu Anda juga harus didistribusikan secara normal. Jika Anda memiliki pencilan yang signifikan, atau Jika residu Anda berkorelasi dengan variabel dependen Anda atau variabel independen Anda, maka Anda memiliki masalah dengan model Anda.

Jika Anda memiliki pencilan yang signifikan dan distribusi residu yang tidak normal, maka pencilan tersebut mungkin memiringkan bobot Anda (Betas), dan saya akan menyarankan menghitung DFBETAS untuk memeriksa pengaruh pengamatan Anda terhadap bobot Anda. Jika residu Anda berkorelasi dengan variabel dependen Anda, maka ada sejumlah besar varians yang tidak dapat dijelaskan yang tidak Anda perhitungkan. Anda juga dapat melihat ini jika Anda menganalisis pengamatan berulang tentang hal yang sama, karena autokorelasi. Ini dapat diperiksa dengan melihat apakah residu Anda berkorelasi dengan variabel waktu atau indeks Anda. Jika residu Anda berkorelasi dengan variabel independen Anda, maka model Anda heteroskedastik (lihat: http://en.wikipedia.org/wiki/Heteroscedasticity). Anda harus memeriksa (jika Anda belum melakukannya) apakah variabel input Anda terdistribusi secara normal, dan jika tidak, maka Anda harus mempertimbangkan untuk menskalakan atau mengubah data Anda (jenis yang paling umum adalah log dan root-square) untuk membuatnya lebih dinormalisasi.

Dalam hal keduanya, residu Anda, dan variabel independen Anda, Anda harus mengambil QQ-Plot, serta melakukan tes Kolmogorov-Smirnov (implementasi khusus ini kadang-kadang disebut sebagai tes Lilliefors) untuk memastikan bahwa nilai-nilai Anda pas distribusi normal.

Tiga hal yang cepat dan dapat membantu dalam mengatasi masalah ini, sedang memeriksa median residu Anda, harus sedekat mungkin dengan nol (rata-rata hampir selalu menjadi nol sebagai akibat dari bagaimana istilah kesalahan dipasang. dalam regresi linier), tes Durbin-Watson untuk autokorelasi dalam residu Anda (terutama seperti yang saya sebutkan sebelumnya, jika Anda melihat beberapa pengamatan dari hal yang sama), dan melakukan plot residual parsial akan membantu Anda mencari heteroskedastisitas dan outlier.

Adam
sumber

Terima kasih banyak. Penjelasan Anda sangat membantu saya.

Jfly

1

+1 Bagus, jawaban komprehensif. Saya akan nitpick pada 2 poin. "Jika residu Anda berkorelasi dengan variabel independen Anda, maka model Anda heteroskedastik" - Saya akan mengatakan bahwa jika varians residu Anda tergantung pada tingkat variabel independen, maka Anda memiliki heteroskedastisitas. Juga, saya telah mendengar tes Kolmogorov-Smirnov / Lilliefors yang dideskripsikan sebagai "sangat tidak dapat diandalkan," dan dalam praktiknya saya tentu menemukan ini benar. Lebih baik membuat penentuan subyektif berdasarkan plot QQ atau histogram sederhana.

rolando2

4

Klaim bahwa "residu dari model Anda ... tidak boleh dikorelasikan dengan ... variabel dependen Anda" pada umumnya tidak benar, seperti yang dijelaskan dalam jawaban lain di utas ini. Maukah Anda memperbaiki posting ini?

gung - Reinstate Monica

1

(-1) Saya pikir posting ini tidak cukup relevan dengan pertanyaan yang diajukan. Ini bagus sebagai saran umum, tetapi mungkin kasus "jawaban yang benar untuk pertanyaan yang salah".

probabilityislogic

Apa korelasi yang diharapkan antara residual dan variabel dependen?

Jawaban: