Apakah urutan variabel penting dalam regresi linier

Saya sedang menyelidiki interaksi antara dua variabel ( dan ). Ada banyak korelasi linier antara variabel-variabel ini dengan$x_1$$x_2$$r>0.9$ . Dari sifat masalah saya tidak bisa mengatakan apa-apa tentang penyebabnya (apakah menyebabkan x 2 atau sebaliknya). Saya ingin mempelajari penyimpangan dari garis regresi, untuk mendeteksi outlier. Untuk melakukan ini, saya dapat membangun regresi linier x 1 sebagai fungsi x 2 , atau sebaliknya. Dapatkah pilihan urutan variabel saya memengaruhi hasil saya?$x_1$$x_2$$x_1$$x_2$

Itu pasti bisa (sebenarnya, itu bahkan penting berkenaan dengan asumsi pada data Anda - Anda hanya membuat asumsi tentang distribusi hasil yang diberikan kovariat). Dalam terang ini, Anda mungkin mencari istilah seperti "varians prediksi terbalik". Either way, regresi linier tidak mengatakan apa pun tentang sebab akibat! Paling-paling, Anda dapat mengatakan sesuatu tentang sebab akibat melalui desain yang cermat.

Untuk membuat kasus simetris, orang dapat mundur perbedaan antara dua variabel ( ) vs nilai rata-rata mereka.$\Delta x$

Regresi standar meminimalkan jarak vertikal antara titik-titik dan garis, sehingga beralih 2 variabel sekarang akan meminimalkan jarak horizontal (diberi sebar sebaran yang sama). Pilihan lain (yang menggunakan beberapa nama) adalah untuk meminimalkan jarak tegak lurus, ini dapat dilakukan dengan menggunakan komponen utama.

Berikut ini beberapa kode R yang menunjukkan perbedaan:

library(MASS)

tmp <- mvrnorm(100, c(0,0), rbind( c(1,.9),c(.9,1)) )

plot(tmp, asp=1)

fit1 <- lm(tmp[,1] ~ tmp[,2])  # horizontal residuals
segments( tmp[,1], tmp[,2], fitted(fit1),tmp[,2], col='blue' )
o <- order(tmp[,2])
lines( fitted(fit1)[o], tmp[o,2], col='blue' )

fit2 <- lm(tmp[,2] ~ tmp[,1])  # vertical residuals
segments( tmp[,1], tmp[,2], tmp[,1], fitted(fit2), col='green' )
o <- order(tmp[,1])
lines( tmp[o,1], fitted(fit2)[o], col='green' )

fit3 <- prcomp(tmp)
b <- -fit3$rotation[1,2]/fit3$rotation[2,2]
a <- fit3$center[2] - b*fit3$center[1]
abline(a,b, col='red')
segments(tmp[,1], tmp[,2], tmp[,1]-fit3$x[,2]*fit3$rotation[1,2], tmp[,2]-fit3$x[,2]*fit3$rotation[2,2], col='red')

legend('bottomright', legend=c('Horizontal','Vertical','Perpendicular'), lty=1, col=c('blue','green','red'))

Untuk mencari pencilan Anda cukup memplot hasil analisis komponen utama.

Anda mungkin juga ingin melihat:

Bland dan Altman (1986), Metode Statistik untuk Menilai Perjanjian Antara Dua Metode Pengukuran Klinis. Lancet, hlm 307-310

Variabel x1 dan x2 Anda adalah collinear. Di hadapan multikolinearitas, estimasi parameter Anda masih tidak bias, tetapi variansnya besar, yaitu, kesimpulan Anda tentang pentingnya estimasi parameter tidak valid, dan prediksi Anda akan memiliki interval kepercayaan yang besar.

Interpretasi estimasi parameter juga sulit. Dalam kerangka regresi linier, estimasi parameter pada x1 adalah perubahan Y untuk perubahan unit di x1 mengingat setiap variabel eksogen lainnya dalam model dijaga konstan. Dalam kasus Anda, x1 dan x2 sangat berkorelasi, dan Anda tidak dapat menahan x2 konstan ketika x1 berubah.