Bagaimana menambahkan IV ke-2 membuat IV ke-1 signifikan?

Saya punya pertanyaan yang mungkin sederhana, tapi itu membingungkan saya sekarang, jadi saya berharap Anda dapat membantu saya.

Saya memiliki model regresi kuadrat terkecil, dengan satu variabel independen dan satu variabel dependen. Hubungannya tidak signifikan. Sekarang saya menambahkan variabel independen kedua. Sekarang hubungan antara variabel independen pertama dan variabel dependen menjadi signifikan.

Bagaimana cara kerjanya? Ini mungkin menunjukkan beberapa masalah dengan pemahaman saya, tetapi bagi saya, tapi saya tidak melihat bagaimana menambahkan variabel independen kedua ini dapat membuat yang pertama signifikan.

Meskipun collinearity (dari variabel prediktor) adalah penjelasan yang mungkin, saya ingin menyarankan itu bukan penjelasan yang menerangi karena kita tahu collinearity terkait dengan "informasi umum" di antara para prediktor, sehingga tidak ada yang misterius atau kontra-intuitif tentang sisi tersebut. efek dari memperkenalkan prediktor berkorelasi kedua ke dalam model.

Mari kita perhatikan kasus dua prediktor yang benar-benar ortogonal : sama sekali tidak ada kolinearitas di antara mereka. Perubahan signifikansi yang luar biasa masih bisa terjadi.

Tentukan variabel prediktor dan X 2 dan biarkan Y beri nama predictand. Regresi Y terhadap X 1 akan gagal menjadi signifikan ketika variasi Y sekitar mean tidak lumayan berkurang ketika X 1 digunakan sebagai variabel independen. Ketika variasi itu sangat terkait dengan variabel kedua X 2 , situasi berubah. Ingatlah bahwa regresi berganda Y terhadap X 1 dan X 2 setara dengan$X_1$$X_2$$Y$$Y$$X_1$$Y$$X_1$$X_2$$Y$$X_1$$X_2$

1. Kemunduran dan X 1 secara terpisah terhadap X 2 .$Y$$X_1$$X_2$

2. Regres residu terhadap residu X 1 .$Y$$X_1$

Residual dari langkah pertama telah menghapus pengaruh . Ketika X 2 berkorelasi erat dengan Y , ini dapat mengekspos sejumlah kecil variasi yang sebelumnya telah disembunyikan. Jika ini variasi dikaitkan dengan X 1 , kita memperoleh hasil yang signifikan.$X_2$$X_2$$Y$$X_1$

---

Semua ini mungkin diklarifikasi dengan contoh nyata. Untuk memulai, mari kita gunakan Runtuk menghasilkan dua variabel independen ortogonal bersama dengan beberapa kesalahan acak independen :$\varepsilon$

n <- 32
set.seed(182)
u <-matrix(rnorm(2*n), ncol=2)
u0 <- cbind(u[,1] - mean(u[,1]), u[,2] - mean(u[,2]))
x <- svd(u0)$u
eps <- rnorm(n)

( svdLangkah ini memastikan dua kolom matriks x(mewakili dan X 2 ) adalah ortogonal, mengesampingkan collinearity sebagai penjelasan yang mungkin dari setiap hasil selanjutnya.)$X_1$$X_2$

Selanjutnya, buat sebagai kombinasi linear dari X dan kesalahan. Saya telah menyesuaikan koefisien untuk menghasilkan perilaku kontra-intuitif:$Y$$X$

y <-  x %*% c(0.05, 1) + eps * 0.01

Ini adalah realisasi dari model dengan n = 32 kasus.$Y \sim_{iid} N(0.05 X_1 + 1.00 X_2, 0.01^2)$$n=32$

Lihatlah dua regresi yang dimaksud. Pertama , mundur terhadap X 1 saja:$Y$$X_1$

> summary(lm(y ~ x[,1]))
...
             Estimate Std. Error t value Pr(>|t|)
(Intercept) -0.002576   0.032423  -0.079    0.937
x[, 1]       0.068950   0.183410   0.376    0.710

Nilai p tinggi 0,710 menunjukkan bahwa sama sekali tidak signifikan.$X_1$

Selanjutnya , mundur terhadap X 1 dan X 2 :$Y$$X_1$$X_2$

> summary(lm(y ~ x))
...
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.002576   0.001678  -1.535    0.136    
x1           0.068950   0.009490   7.265 5.32e-08 ***
x2           1.003276   0.009490 105.718  < 2e-16 ***

Tiba-tiba, di hadapan , X 1 adalah sangat signifikan, seperti yang ditunjukkan oleh mendekati nol p-nilai untuk kedua variabel.$X_2$$X_1$

Kita dapat memvisualisasikan perilaku ini dengan cara matriks sebar dari variabel , X 2 , dan Y bersama dengan residual digunakan dalam karakterisasi dua langkah regresi berganda di atas. Karena X 1 dan X 2 bersifat ortogonal, residu X 1 akan sama dengan X 1 dan karenanya tidak perlu digambar ulang. Kami akan menyertakan residu Y terhadap X 2 dalam matriks sebar, memberikan gambar ini:$X_1$$X_2$$Y$$X_1$$X_2$$X_1$$X_1$$Y$$X_2$

lmy <- lm(y ~ x[,2])
d <- data.frame(X1=x[,1], X2=x[,2], Y=y, RY=residuals(lmy))
plot(d)

Berikut ini adalah rendernya (dengan sedikit prettification):

Matriks grafis ini memiliki empat baris dan empat kolom, yang akan saya hitung mundur dari atas dan dari kiri ke kanan.

Memperhatikan:

• $(X_1, X_2)$

• $(X_1, Y)$$Y$$X_1$$\rho$$0.07$

• $(X_2, Y)$$Y$$0.996$

• $Y$$X_2$

  • $Y$$X_2$

  • $X_1$$\rho = 0.80$$X_2$

  • $X_2$

  • $Y$$\rho = 0.09$$Y$$X_1$

$X_1$$0.06895$$0.05$$X_1$$X_2$

Saya pikir masalah ini telah dibahas sebelumnya di situs ini secara menyeluruh, jika Anda tahu di mana mencarinya. Jadi saya mungkin akan menambahkan komentar nanti dengan beberapa tautan ke pertanyaan lain, atau dapat mengedit ini untuk memberikan penjelasan yang lebih lengkap jika saya tidak dapat menemukannya.

Ada dua kemungkinan dasar: Pertama, IV lainnya dapat menyerap beberapa variabilitas residual dan dengan demikian meningkatkan kekuatan uji statistik IV awal. Kemungkinan kedua adalah bahwa Anda memiliki variabel penekan. Ini adalah topik yang sangat berlawanan dengan intuisi, tetapi Anda dapat menemukan beberapa info di sini *, di sini , atau utas CV yang luar biasa ini .

_{* Perhatikan bahwa Anda perlu membaca semua jalan ke bawah untuk sampai ke bagian yang menjelaskan variabel penekan, Anda bisa langsung beralih ke sana, tetapi Anda akan lebih baik dilayani dengan membaca semuanya.}

---

Sunting: seperti yang dijanjikan, saya menambahkan penjelasan yang lebih lengkap tentang poin saya mengenai bagaimana IV lainnya dapat menyerap beberapa variabilitas residual dan dengan demikian meningkatkan kekuatan uji statistik IV awal. @whuber menambahkan contoh yang mengesankan, tetapi saya pikir saya mungkin menambahkan contoh gratis yang menjelaskan fenomena ini dengan cara yang berbeda, yang dapat membantu beberapa orang memahami fenomena lebih jelas. Selain itu, saya menunjukkan bahwa IV kedua tidak harus lebih kuat terkait (walaupun, dalam praktiknya, hampir selalu akan terjadi fenomena ini).

$t$$F$$t$

$$\begin{array}{lllll} &\text{Source} &\text{SS} &\text{df} &\text{MS} &\text{F} \\ \hline &x_1 &\sum(\hat y_i-\bar y)^2 &1 &\frac{\text{SS}_{x_1}}{\text{df}_{x_1}} &\frac{\text{MS}_{x_1}}{\text{MS}_{\rm res}} \\ &\text{Residual} &\sum(y_i-\hat y_i)^2 &N-(1+1) &\frac{\text{SS}_{\rm res}}{\text{df}_{\rm res}} \\ &\text{Total} &\sum(y_i-\bar y)^2 &N-1 \end{array}$$

$\bar y$$y$$y_i$$y$$i$$\hat y_i$$i$$N$

$$\begin{array}{lllll} &\text{Source} &\text{SS} &\text{df} &\text{MS} &\text{F} \\ \hline &x_1 &\sum(\hat y_{x_{1i}\bar x_2}-\bar y)^2 &1 &\frac{\text{SS}_{x_1}}{\text{df}_{x_1}} &\frac{\text{MS}_{x_1}}{\text{MS}_{\rm res}} \\ &x_2 &\sum(\hat y_{\bar x_1x_{2i}}-\bar y)^2 &1 &\frac{\text{SS}_{x_2}}{\text{df}_{x_2}} &\frac{\text{MS}_{x_2}}{\text{MS}_{\rm res}} \\ &\text{Residual} &\sum(y_i-\hat y_i)^2 &N-(2+1) &\frac{\text{SS}_{\rm res}}{\text{df}_{\rm res}} \\ &\text{Total} &\sum(y_i-\bar y)^2 &N-1 \end{array}$$

$\hat y_{x_{1i}\bar x_2}$$i$$x_1$$x_2$$x_2$$\bar x_2$ $x_2$untuk beberapa pengamatan, dalam hal ini tidak ada penyesuaian yang harus dilakukan, tetapi ini biasanya tidak akan terjadi. Perhatikan bahwa metode ini untuk membuat tabel ANOVA hanya valid jika semua variabel ortogonal; ini adalah kasus yang sangat disederhanakan yang dibuat untuk tujuan ekspositori.

$x_2$$y$$\bar y$$x_1$$x_2$$SS_{x_1}$$x_2$$SS_{x_1}$$SS_\text{res}$$\text{df}_{x_2}$$\text{df}_\text{res}$

$F$$x_1$$MS_{x_1}$$MS_\text{res}$$MS_{x_1}$$MS_\text{res}$$x_2$$x_2$$F$$t$$x_2$$x_2$$MS_\text{res}$$F$$x_1$$p$

$x_2$$x_1$$p$$p$R

x1 = rep(1:3, times=15)
x2 = rep(1:3, each=15)
cor(x1, x2)     # [1] 0
set.seed(11628)
y       = 0 + 0.3*x1 + 0.3*x2 + rnorm(45, mean=0, sd=1)
model1  = lm(y~x1)
model12 = lm(y~x1+x2)

anova(model1)
#  ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  5.314  5.3136  3.9568 0.05307 .
# Residuals 43 57.745  1.3429                  
#  ...
anova(model12)
#  ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  5.314  5.3136  4.2471 0.04555 *
# x2         1  5.198  5.1979  4.1546 0.04785 *
# Residuals 42 52.547  1.2511                  
#  ...

$x_2$

set.seed(1201)
y       = 0 + 0.3*x1 + 0.3*x2 + rnorm(45, mean=0, sd=1)
anova(model1)
# ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  3.631  3.6310  3.8461 0.05636 .
# ...
anova(model12)
# ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  3.631  3.6310  4.0740 0.04996 *
# x2         1  3.162  3.1620  3.5478 0.06656 .
# ...

Ini diakui tidak seperti contoh dramatis di pos @ whuber, tetapi mereka dapat membantu orang memahami apa yang sedang terjadi di sini.

Rasanya seperti pertanyaan OP dapat ditafsirkan dalam dua cara berbeda:

1. Secara matematis, bagaimana OLS bekerja, sehingga menambahkan variabel independen dapat mengubah hasil dengan cara yang tidak terduga?

2. Bagaimana cara memodifikasi model saya dengan menambahkan satu variabel mengubah efek variabel lain yang independen dalam model?

Ada beberapa jawaban bagus untuk pertanyaan # 1. Dan pertanyaan # 2 mungkin sangat jelas bagi para ahli sehingga mereka menganggap OP harus mengajukan pertanyaan # 1 sebagai gantinya. Tapi saya pikir pertanyaan # 2 layak mendapat jawaban, yang akan menjadi seperti:

Mari kita mulai dengan sebuah contoh. Katakan bahwa Anda memiliki ketinggian, usia, jenis kelamin, dll, dari sejumlah anak, dan Anda ingin melakukan regresi untuk memprediksi tinggi badan mereka.

Anda mulai dengan model naif yang menggunakan gender sebagai variabel independen. Dan itu tidak signifikan secara statistik. (Bagaimana mungkin, Anda mencampurkan anak usia 3 tahun dan remaja.)

Kemudian Anda menambahkan usia dan tiba-tiba bukan hanya usia yang signifikan, tetapi juga jenis kelamin. Bagaimana bisa?

Tentu saja, dalam contoh saya, Anda dapat dengan jelas melihat bahwa usia adalah faktor penting dalam ketinggian anak / remaja. Mungkin faktor terpenting yang Anda miliki datanya. Gender juga penting, terutama untuk anak-anak yang lebih besar dan orang dewasa, tetapi jenis kelamin saja adalah model yang buruk tentang seberapa tinggi seorang anak.

Usia plus jenis kelamin adalah model yang masuk akal (meskipun, tentu saja disederhanakan) yang memadai untuk tugas itu. Jika Anda menambahkan data lain - interaksi usia dan jenis kelamin, diet, tinggi orang tua, dll - Anda bisa membuat model yang lebih baik, yang tentu saja masih akan disederhanakan dibandingkan dengan sejumlah faktor yang benar-benar menentukan tinggi anak, tetapi sekali lagi semua model adalah versi realitas yang disederhanakan. (Peta dunia dengan skala 1: 1 tidak terlalu berguna untuk seorang musafir.)

Model asli Anda (hanya gender) terlalu disederhanakan - sangat disederhanakan sehingga pada dasarnya rusak. Tetapi itu tidak berarti bahwa gender tidak berguna dalam model yang lebih baik.

EDIT: menambahkan saran gung ulang: istilah interaksi usia dan jenis kelamin.

Utas ini sudah memiliki tiga jawaban bagus (masing-masing +1). Jawaban saya adalah komentar dan ilustrasi yang diperluas ke titik yang dibuat oleh @gung (yang membuat saya perlu waktu untuk mengerti):

Ada dua kemungkinan dasar: Pertama, IV lainnya dapat menyerap beberapa variabilitas residual dan dengan demikian meningkatkan kekuatan uji statistik IV awal. Kemungkinan kedua adalah bahwa Anda memiliki variabel penekan.

$x_1$$x_2$$y$$n$$\mathbb R^n$$\mathbf y$$\mathbf x_1$$\mathbf x_2$(dengan "hat matrix" hanya menjadi proyektor). Pembaca yang tidak terbiasa dengan pendekatan ini dapat melihat misalnya dalam Elemen Pembelajaran Statistik , Bagian 3.2, atau di banyak buku lain.

"Peningkatan"

Gambar berikut menunjukkan kedua kemungkinan yang terdaftar oleh @gung. Pertimbangkan hanya bagian biru pada awalnya (yaitu abaikan semua garis merah):

$\mathbf x_1$$\mathbf x_2$$X$$\mathbf y$$\hat y$

$\mathbf x_2$$\mathbf y$$\mathbf x_1$$\alpha$$90^\circ$$y$$x_1$$x_1$

$x_2$$\mathbf x_1$$\mathbf x_2$$x_1$$x_2$$x_2$$y$$\beta$$\alpha$$90^\circ$$x_1$

Cara lain untuk mengatakannya adalah bahwa tes tersebut sekarang membandingkan panjang OF ke OG, dan bukan dengan OC seperti sebelumnya; OF kecil dan "tidak signifikan" dibandingkan dengan OC, tetapi cukup besar untuk menjadi "signifikan" dibandingkan dengan OG.

Ini adalah persis situasi yang disajikan oleh @whuber, @gung, dan @Wayne dalam jawaban mereka. Saya tidak tahu apakah efek ini memiliki nama standar dalam literatur regresi, jadi saya akan menyebutnya "peningkatan".

Penekanan

$\alpha=90^\circ$$\beta=90^\circ$$x_1$

Tidak demikian dalam penindasan.

$x_3$$x_1$$x_2$$\mathbf x_3$$X$$\mathbf x_1$$x_3$$x_1$$X$$\mathbf y$

$x_1$$x_1$$y$