Komputasi kesalahan standar untuk masalah regresi linier tanpa menghitung invers

Apakah ada cara yang lebih cepat untuk menghitung kesalahan standar untuk masalah regresi linier, daripada dengan membalik ? Di sini saya berasumsi kita mengalami regresi:$X'X$

di mana adalah matriks dan adalah vektor.$X$$n\times k$$y$$n\times 1$

Untuk menemukan solusi masalah kuadrat terkecil, tidak praktis untuk melakukan apa pun dengan , Anda dapat menggunakan dekomposisi QR atau SVD pada matriks secara langsung. Atau sebagai alternatif, Anda dapat menggunakan metode gradien. Tetapi bagaimana dengan kesalahan standar? Kita benar-benar hanya memerlukan diagonal (dan tentu saja solusi LS untuk menghitung estimasi kesalahan standar ). Apakah ada metode khusus untuk perhitungan kesalahan standar?$X'X$$X$$(X'X)^{-1}$$\varepsilon$

Misalkan Anda memecahkan masalah kuadrat terkecil Anda menggunakan dekomposisi nilai singular (SVD) , yang diberikan oleh$X$

di mana dan adalah kesatuan, dan diagonal.$U$$V$$\Sigma$

Kemudian

$(X'X)^{-1}$ ada jika adalah peringkat penuh (atau memiliki nilai singular yang positif), dalam hal ini$X$

(Lihat jawaban yang saya berikan pada pertanyaan terkait tentang Math.SE. )

Jika Anda sudah memiliki dan , menghitung membutuhkan pembalikan dan kuadratkan matriks diagonal ( operasi untuk matriks ), penskalaan kolom (atau baris) dari matriks ( operasi), dan satu matriks tunggal berkembang biak (sayangnya ). Metode ini akan berperilaku baik secara numerik.$\Sigma$$V$$(X'X)^{-1}$$n$$n \times n$$n^2$$\mathcal{O}(n^{3})$

Ada metode cepat untuk mendapatkan elemen diagonal dari kebalikan dari matriks jarang (lihat karya oleh kelompok Yousef Saad dan karya Lin Lin, dkk ). Namun, dalam kasus Anda, mungkin tidak jarang (bahkan jika ), dan bahkan jika itu, kemungkinan besar akan cukup terkondisi sehingga metode cepat ini akan menghasilkan hasil yang tidak akurat.$X'X$$X$