Apakah ada cara untuk menggunakan matriks kovarian untuk mencari koefisien untuk regresi berganda?

Untuk regresi linier sederhana, koefisien regresi dapat dihitung langsung dari matriks varians-kovarians , oleh mana adalah indeks variabel dependen, dan adalah indeks variabel penjelas.$C$

Jika seseorang hanya memiliki matriks kovarians, apakah mungkin untuk menghitung koefisien untuk model dengan beberapa variabel penjelas?

ETA: Untuk dua variabel penjelas, tampak bahwa dan analog dengan . Saya tidak segera melihat cara memperluas ini ke tiga atau lebih variabel.

Ya, matriks kovarians dari semua variabel - penjelas dan respons - berisi informasi yang diperlukan untuk menemukan semua koefisien, asalkan istilah intersep (konstan) dimasukkan dalam model. (Meskipun kovarian tidak memberikan informasi tentang istilah konstan, ia dapat ditemukan dari sarana data.)

Analisis

Biarkan data untuk variabel penjelas diatur sebagai vektor kolom berdimensi dan variabel respon menjadi vektor kolom , dianggap sebagai realisasi dari variabel acak . Estimasi kuadrat terkecil biasa dari koefisien dalam model$n$$x_1, x_2, \ldots, x_p$$y$$Y$$\hat\beta$

diperoleh dengan merakit vektor kolom ke dalam array dan menyelesaikan sistem persamaan linear$p+1$$X_0 = (1, 1, \ldots, 1)^\prime, X_1, \ldots, X_p$$n \times p+1$$X$

Ini setara dengan sistem

Eliminasi gaussian akan menyelesaikan sistem ini. Ini melanjutkan dengan berdampingan dengan matriks dan vektor ke dalam array dan mengurangi baris. $p+1\times p+1$$\frac{1}{n}X^\prime X$$p+1$$\frac{1}{n}X^\prime y$$p+1 \times p+2$$A$

Langkah pertama akan memeriksa . Menemukan ini bukan nol, maka hasil untuk mengurangi kelipatan yang tepat dari baris pertama dari baris yang tersisa untuk nol keluar entri yang tersisa di kolom pertama. Multiples ini akan menjadi dan jumlahnya dikurangi dari entri akan sama dengan . Ini hanya rumus untuk kovarians dan . Selain itu, angka yang tersisa di posisi sama dengan$\frac{1}{n}(X^\prime X)_{11} = \frac{1}{n}X_0^\prime X_0 = 1$$A$$\frac{1}{n}X_0^\prime X_i = \overline X_i$$A_{i+1,j+1} = X_i^\prime X_j$$\overline X_i \overline X_j$$X_i$$X_j$$i+1, p+2$$\frac{1}{n}X_i^\prime y - \overline{X_i}\overline{y}$, kovarian dengan .$X_i$$y$

Dengan demikian, setelah langkah pertama eliminasi Gaussian sistem dikurangi menjadi pemecahan

dan jelas - karena semua koefisien adalah kovarian - solusi itu dapat ditemukan dari matriks kovarians dari semua variabel.

(Ketika tidak dapat dibalik, solusinya dapat ditulis . Rumus yang diberikan dalam pertanyaan adalah kasus khusus dari ini ketika dan Menulis formula seperti itu secara eksplisit akan menjadi lebih dan lebih kompleks dengan tumbuh. Selain itu, mereka lebih rendah untuk perhitungan numerik, yang paling baik dilakukan dengan memecahkan sistem persamaan daripada dengan membalikkan matriks )$C$$C^{-1}(\text{Cov}(X_i, y))^\prime$$p=1$$p=2$$p$$C$

Istilah konstan akan menjadi perbedaan antara rata-rata dan nilai rata-rata yang diprediksi dari taksiran, .$y$$X\hat{\beta}$

Contoh

Sebagai ilustrasi, Rkode berikut membuat beberapa data, menghitung kovariansi mereka, dan memperoleh estimasi koefisien kuadrat terkecil hanya dari informasi itu. Ini membandingkannya dengan estimasi yang diperoleh dari estimator kuadrat-terkecil lm.

#
# 1. Generate some data.
#
n <- 10        # Data set size
p <- 2         # Number of regressors
set.seed(17)
z <- matrix(rnorm(n*(p+1)), nrow=n, dimnames=list(NULL, paste0("x", 1:(p+1))))
y <- z[, p+1]
x <- z[, -(p+1), drop=FALSE]; 
#
# 2. Find the OLS coefficients from the covariances only.
#
a <- cov(x)
b <- cov(x,y)
beta.hat <- solve(a, b)[, 1]  # Coefficients from the covariance matrix
#
# 2a. Find the intercept from the means and coefficients.
#
y.bar <- mean(y)
x.bar <- colMeans(x)
intercept <- y.bar - x.bar %*% beta.hat  

Output menunjukkan kesepakatan antara dua metode:

(rbind(`From covariances` = c(`(Intercept)`=intercept, beta.hat),
       `From data via OLS` = coef(lm(y ~ x))))

                  (Intercept)        x1        x2
From covariances     0.946155 -0.424551 -1.006675
From data via OLS    0.946155 -0.424551 -1.006675