Apakah estimasi koefisien regresi tidak berkorelasi?

Pertimbangkan regresi sederhana (normalitas tidak diasumsikan): mana dengan mean 0 dan standar deviasi \ sigma . Apakah Estimasi Kuadrat Terkecil dari a dan b tidak berkorelasi?e

$$Y_i = a + b X_i + e_i,$$ $e_i$σ a $0$$\sigma$$a$$b$

Ini merupakan pertimbangan penting dalam merancang eksperimen, di mana dapat diinginkan untuk tidak memiliki (atau sangat sedikit) korelasi di antara perkiraan $\hat a$ dan dan $\hat b$ . Kurangnya korelasi dapat dicapai dengan mengendalikan nilai-nilai $X_i$ .

---

Untuk menganalisis efek pada estimasi, nilai-nilai (yang merupakan vektor baris dengan panjang ) dirakit secara vertikal menjadi matriks , matriks desain, memiliki baris sebanyak data, dan (jelas ) dua kolom. sesuai dirakit menjadi satu vektor panjang (kolom) . Dalam istilah-istilah ini, menulis untuk koefisien yang dirangkai, modelnya adalah ( 1 , X i ) 2 X Y i y β = ( a , b ) $X_i$$(1,X_i)$$2$$X$$Y_i$$y$$\beta = (a,b)^\prime$

$$\mathbb{E}(Y) = X \cdot \beta$$

The yang (biasanya) diasumsikan variabel acak independen yang varians adalah konstan untuk beberapa diketahui . Pengamatan tergantung diambil menjadi salah satu realisasi dari vektor-dihargai variabel acak .σ 2 σ > 0 y $Y_i$$\sigma^2$$\sigma \gt 0$$y$$Y$

Solusi OLS adalah

$$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$$

dengan asumsi invers matriks ini ada. Dengan demikian, menggunakan properti dasar dari perkalian matriks dan kovarian,

$$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$$

Matriks hanya memiliki dua baris dan dua kolom, sesuai dengan parameter model . Korelasi dengan sebanding dengan elemen-elemen off-diagonal yang oleh Peraturan Cramer sebanding dengan dot produk dari dua kolom . Karena salah satu kolom adalah semua s, yang produk dengan kolom lainnya (terdiri dari ) adalah jumlah mereka, kami menemukan (a,b) a b (X'X) - 1 ,X1X$\left(X^\prime X\right)^{-1}$$(a,b)$$\hat a$$\hat b$$(X^\prime X)^{-1},$$X$$1$$X_i$

b X$\hat a$ dan tidak berkorelasi jika dan hanya jumlah (atau ekuivalen rata-rata) dari adalah nol.$\hat b$$X_i$

Kondisi orthogonality ini sering dicapai dengan memasukkan kembali (dengan mengurangi rata-rata dari masing-masing). Meskipun ini tidak akan mengubah estimasi kemiringan , itu memang mengubah estimasi intersepsi . Apakah itu penting atau tidak tergantung pada aplikasi.b $X_i$$\hat b$$\hat a$

---

Analisis ini berlaku untuk regresi berganda: matriks desain akan memiliki kolom untuk variabel independen (kolom tambahan terdiri dari s) dan akan menjadi vektor dengan panjang , tetapi jika tidak semuanya berjalan seperti sebelumnya. p 1 β p + $p+1$$p$$1$$\beta$$p+1$

Dalam bahasa konvensional, dua kolom disebut orthogonal ketika produk titiknya nol. Ketika satu kolom (katakanlah kolom ) ortogonal ke semua kolom lainnya, itu adalah fakta aljabar yang mudah ditunjukkan bahwa semua entri off-diagonal di baris dan kolom dari adalah nol (yaitu, komponen dan untuk semua adalah nol). Karena itu,X i i i ( X ′ X ) - 1 i j j i j ≠ $X$$X$$i$$i$$i$$(X^\prime X)^{-1}$$ij$$ji$$j\ne i$

Dua perkiraan koefisien regresi berganda dan tidak berkorelasi kapan saja (atau keduanya) dari kolom yang sesuai dari matriks desain ortogonal dengan semua kolom lainnya. β$\hat\beta_i$$\hat\beta_j$

Banyak desain eksperimental standar terdiri dari memilih nilai-nilai variabel independen untuk membuat kolom saling orthogonal. Ini "memisahkan" estimasi yang dihasilkan dengan menjamin - sebelum ada data yang dikumpulkan! - bahwa estimasi tersebut tidak berkorelasi. (Ketika respons memiliki distribusi normal, ini berarti estimasi akan independen, yang sangat menyederhanakan interpretasinya.)