Apa pentingnya matriks topi,

Apa pentingnya matriks topi, $H=X(X^{\prime}X )^{-1}X^{\prime}$ , dalam analisis regresi?

Apakah hanya untuk perhitungan yang lebih mudah?

Dalam studi regresi linier, titik awal dasar adalah proses menghasilkan data $\textbf{y= XB + u} \quad$ di mana dan deterministik. Setelah meminimalkan kriteria kuadrat terkecil, orang menemukan estimator untuk , yaitu . Setelah memasukkan estimator dalam rumus awal, seseorang mendapat sebagai model linier dari proses pembuatan data. Sekarang, seseorang dapat mengganti estimator untuk dan mendapatkan$\textbf{u} \sim N(0,\sigma^2 \boldsymbol I)$$\textbf{X}$$\widehat {\textbf{B} }$$\textbf{B}$$\widehat {\textbf{B}}= ( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}$$\widehat {\textbf{y}}=\textbf{X}\widehat {\textbf{B}}$$\widehat {\textbf{B}}$$\widehat {\textbf{y}}=\textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}.$

Jadi, sebenarnya adalah matriks proyeksi. Bayangkan Anda mengambil semua variabel di . Variabelnya adalah vektor dan rentang ruang. Oleh karena itu, jika Anda mengalikan dengan , Anda memproyeksikan nilai yang diamati di ke ruang yang direntang oleh variabel dalam . Ini memberikan satu perkiraan untuk dan itulah alasan mengapa itu disebut hat matrix dan mengapa ia memiliki kepentingan yang demikian. Bagaimanapun, regresi linier tidak lebih dari sebuah proyeksi dan dengan matriks proyeksi kita tidak bisa hanya menghitung estimasi untuk$\textbf{H} = \textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '$$\textbf{X}$$\textbf{H}$$\textbf{y}$$\textbf{y}$$\textbf{X}$$\textbf{y}$$\textbf{y}$tetapi juga untuk dan dapat misalnya memeriksa apakah benar-benar terdistribusi normal.$\textbf{u}$

Saya menemukan gambar yang bagus di internet dan memvisualisasikan proyeksi ini. Harap dicatat, digunakan sebagai ganti . Selain itu, gambar ini menekankan vektor dari istilah kesalahan adalah ortogonal terhadap proyeksi dan karenanya tidak berkorelasi dengan perkiraan untuk$\beta$$\textbf{B}$$\textbf{y}$

Matriks topi sangat berguna karena beberapa alasan:

1. Alih-alih memiliki , kita mendapatkan mana adalah matriks topi. Ini memberi kita bahwa adalah pemetaan linear dari nilai-nilai yang diamati.y =PyP$\widehat{y}=Z\widehat{\beta}$$\widehat{y}=Py$$P$$\widehat{y}$
2. Dari matriks hat , mudah untuk menghitung residual . Kita melihat bahwa .ε ε = y - y = y - P y = ( I n - P )$P$$\widehat{\epsilon}$$\widehat{\epsilon}=y-\widehat{y}=y-Py=\left(I_n-P\right)y$

Ini tidak lebih dari menemukan solusi "terdekat" untuk Ax = b di mana b tidak dalam ruang kolom A. Kami memproyeksikan b ke ruang kolom, dan menyelesaikan untuk Ax (topi) = p di mana p adalah proyeksi b ke ruang kolom.