Apa interpretasi dari kovarians koefisien regresi?

Fungsi lm dalam R dapat mencetak estimasi kovarians dari koefisien regresi. Apa yang diberikan informasi ini kepada kita? Bisakah kita sekarang menafsirkan model lebih baik atau mendiagnosis masalah yang mungkin ada dalam model?

r multiple-regression least-squares mss
sumber

Penafsiran yang sama dengan semua kovariansi lainnya --- kovarian linear? Penggunaan utama adalah untuk menghitung varians dari kontras yang dipilih, misalnya untuk menguji kontras.

kjetil b halvorsen

Jawaban:

Penggunaan paling mendasar dari matriks kovarians adalah untuk mendapatkan kesalahan standar estimasi regresi. Jika peneliti hanya tertarik pada kesalahan standar dari parameter regresi individu sendiri, mereka hanya dapat mengambil akar kuadrat dari diagonal untuk mendapatkan kesalahan standar individu.

Namun, sering kali Anda mungkin tertarik pada kombinasi linear dari parameter regresi. Misalnya, jika Anda memiliki variabel indikator untuk grup yang diberikan, Anda mungkin tertarik pada mean grup, yang mungkin

. $\beta_0 + \beta_{\rm grp}$

Kemudian, untuk menemukan kesalahan standar untuk perkiraan rata-rata grup itu, Anda harus melakukannya

, $\sqrt{X^\top S X}$

di mana adalah vektor dari kontras Anda dan adalah matriks kovarians. Dalam kasus kami, jika kami hanya memiliki tambahan kovariat "grp", maka ( untuk intersep, untuk menjadi bagian dari grup). $X$ $S$ $X = (1,1)$ $1$ $1$

Lebih lanjut, matriks kovarians (atau lebih tepatnya, matriks korelasi, yang secara unik diidentifikasi dari matriks kovarians tetapi tidak sebaliknya) dapat sangat berguna untuk diagnostik model tertentu. Jika dua variabel sangat berkorelasi, salah satu cara untuk memikirkannya adalah bahwa model tersebut mengalami kesulitan mencari tahu variabel mana yang bertanggung jawab atas efek (karena mereka sangat terkait). Ini dapat membantu untuk berbagai macam kasus, seperti memilih himpunan bagian kovariat untuk digunakan dalam model prediksi; jika dua variabel sangat berkorelasi, Anda mungkin hanya ingin menggunakan salah satu dari dua dalam model prediksi Anda.

Cliff AB
sumber

Terima kasih atas penjelasannya. Dalam paragraf terakhir, Anda menjelaskan masalah yang dapat muncul ketika variabel independen sangat collinear. Sepertinya akan lebih mudah untuk melihat kovarians / korelasi

s aktual dari

ada terbalik dalam formula.

X

$X$

β

$\beta$

V a r (\hat{β}) = E ({\hat{ε}}^{2}) {(X^{'} X)}^{- 1}

$Var(\hat\beta)=E(\hat\varepsilon^2)\left(X^\prime X\right)^{-1}$

mss

Ada dua "jenis" koefisien regresi:

Koefisien regresi "benar" (biasanya dilambangkan ) yang menggambarkan proses pembuatan data yang mendasari data. Ini adalah angka tetap, atau "parameter." Contohnya adalah kecepatan cahaya , yang (kami asumsikan) selalu sama di mana-mana di alam semesta yang dapat diakses. $\beta$ $c$
Perkiraan koefisien regresi (biasanya dilambangkan dilambangkan atau ) yang dihitung dari sampel data. Sampel adalah kumpulan variabel acak, sehingga koefisien regresi yang diperkirakan juga merupakan variabel acak. Contohnya adalah perkiraan untuk diperoleh dalam percobaan. $b$ $\hat \beta$ $c$

$X$ $Y$ $\left| \mathrm{Cov}\left(X,Y\right) \right|$ $X$ $Y$ $X$ $Y$

$b$ $b_1$ $b_2$ $b_1$ $b_2$ $b_1$ $b_2$

$b_1$ $b_1$

$\mathrm{Cov}\left(b_1,b_2\right)$

Adapun apa ini sebenarnya digunakan untuk, jawaban Cliff AB adalah ringkasan yang bagus.

shadowtalker
sumber

b_{i}

$b_i$

b_{j}

$b_j$

i \neq j

$i\ne j$

@ terima kasih, dan saya benar-benar menulis "korelasi" pada satu titik. Saya akan membersihkannya ketika saya menutup telepon saya

shadowtalker

Karena saya mungkin tidak akan kembali ke utas ini untuk sementara waktu, +1 terlebih dahulu untuk pengeditan!

whuber

membuat kesalahan yang sama dalam uraian saya!

Cliff AB

@whuber sekarang aku sebenarnya menebak-nebak pemahaman kovariansku. Apakah masalah saya hanya karena saya tidak menekankan fakta bahwa timbangannya bisa berbeda, atau apakah saya kehilangan sesuatu yang lain? Saya menemukan penjelasan "kotak" Anda dan saya tidak melihat apa itu

shadowtalker