Apakah mungkin untuk dari regresi pada dua variabel lebih tinggi dari jumlah untuk dua regresi pada variabel individu?

Dalam OLS, apakah mungkin untuk dari regresi pada dua variabel lebih tinggi dari jumlah untuk dua regresi pada variabel individu.$R^2$$R^2$

$R^2(Y \sim A + B) > R^2(Y \sim A) + R^2(Y \sim B)$

Sunting: Ugh, ini sepele; itulah yang saya dapatkan untuk mencoba masalah masalah yang saya pikirkan saat di gym. Maaf sudah membuang-buang waktu lagi. Jawabannya jelas ya.

$Y \sim N(0,1)$

$A \sim N(0,1)$

$B = Y - A$

$R^2(Y \sim A + B) = 1$ , jelas. Tetapi harus 0 dalam batas dan harus 0,5 dalam batas. $R^2(Y \sim A)$$R^2 (Y \sim B)$

Berikut adalah sedikit R yang menetapkan seed acak yang akan menghasilkan dataset yang menunjukkannya dalam tindakan.

set.seed(103)

d <- data.frame(y=rnorm(20, 0, 1),
                a=rnorm(20, 0, 1),
                b=rnorm(20, 0, 1))

m1 <- lm(y~a, data=d)
m2 <- lm(y~b, data=d)
m3 <- lm(y~a+b, data=d)

r2.a <- summary(m1)[["r.squared"]]
r2.b <- summary(m2)[["r.squared"]]
r2.sum <- summary(m3)[["r.squared"]]

r2.sum > r2.a + r2.b

Tidak hanya itu mungkin (seperti yang telah Anda tunjukkan secara analitis) tidak sulit untuk dilakukan. Mengingat 3 variabel yang terdistribusi normal, tampaknya terjadi sekitar 40% dari waktu.

Itu tidak mungkin. Selain itu, jika A dan B berkorelasi sama sekali (jika r mereka bukan nol), rsq dari regresi pada keduanya akan lebih kecil dari jumlah rsq regresi masing-masing.

Perhatikan bahwa bahkan jika A dan B sama sekali tidak berkorelasi, rsq yang disesuaikan (yang menghukum rasio case-to-predictor rendah) mungkin sedikit berbeda antara kedua solusi.

Mungkin Anda ingin berbagi lebih banyak tentang bukti empiris yang membuat Anda jengkel.