Interpretasi matriks varians-kovarian

Asumsikan kita memiliki model linier Model1dan vcov(Model1)memberikan matriks berikut:

             (Intercept)    latitude  sea.distance   altitude
(Intercept)    28.898100 -23.6439000  -34.1523000  0.50790600
latitude      -23.643900  19.7032500   28.4602500 -0.42471450
sea.distance  -34.152300  28.4602500   42.4714500 -0.62612550
altitude        0.507906  -0.4247145   -0.6261255  0.00928242

Untuk contoh ini, apa yang sebenarnya ditampilkan oleh matriks ini? Asumsi apa yang dapat kita buat dengan aman untuk model kita dan itu adalah variabel independen?

Matriks ini menampilkan estimasi varians dan kovarians antara koefisien regresi. Khususnya, untuk matriks desain Anda , dan perkiraan varians, , matriks yang ditampilkan adalah .σ 2 σ 2 ( X ' X ) - $\mathbf{X}$$\widehat{\sigma}^2$$\widehat{\sigma}^2(\mathbf{X}'\mathbf{X})^{-1}$

Entri diagonal adalah varians dari koefisien regresi dan off-diagonal adalah kovarians antara koefisien regresi yang sesuai.

Sejauh asumsi berjalan, terapkan fungsi cov2cor () ke matriks varians-kovarians Anda. Fungsi ini akan mengubah matriks yang diberikan ke matriks korelasi. Anda akan mendapatkan estimasi korelasi antara koefisien regresi. Petunjuk: untuk matriks ini, masing-masing korelasi akan memiliki besaran yang besar.

Untuk mengatakan sesuatu tentang model khususnya, kita perlu estimasi titik koefisien regresi untuk mengatakan sesuatu lebih lanjut.

@ Donie telah memberikan jawaban yang bagus (+1). Biarkan saya menambahkan beberapa poin.

Mengalir diagonal utama dari matriks varians-kovarians adalah varian dari distribusi sampel dari estimasi parameter Anda (yaitu, 's). Dengan demikian, mengambil akar kuadrat dari nilai-nilai tersebut menghasilkan kesalahan standar yang dilaporkan dengan output statistik: $\hat\beta_j$

SEs   = sqrt(diag(vcov(Model1)))
SEs
# [1] 5.37569530 4.43883431 6.51701235 0.09634532

Ini digunakan untuk membentuk interval kepercayaan dan menguji hipotesis tentang beta Anda.

Elemen off-diagonal akan menjadi jika semua variabel ortogonal, tetapi nilai Anda jauh dari . Menggunakan fungsi, atau menstandarisasi kovarian oleh akar kuadrat dari varian variabel konstituen mengungkapkan bahwa semua variabel sangat berkorelasi ( ), sehingga Anda memiliki multikolinieritas substansial . Ini membuat kesalahan standar Anda jauh lebih besar daripada yang seharusnya. Demikian juga, itu berarti bahwa ada banyak informasi tentang distribusi sampling dari beta yang ditinggalkan dari tes hipotesis standar ( ), jadi Anda mungkin ingin menggunakan strategi pengujian sekuensial berdasarkan tipe I jumlah kuadrat . 0 | r | > 0,97 β j / S E ( β j$0$$0$cov2cor()$|r| > .97$$\hat\beta_j/SE(\hat\beta_j)$