Apakah urutan variabel penjelas penting ketika menghitung koefisien regresi mereka?

Awalnya saya pikir urutannya tidak penting, tetapi kemudian saya membaca tentang proses ortogonisasi gram-schmidt untuk menghitung beberapa koefisien regresi, dan sekarang saya sedang berpikir dua kali.

Menurut proses gram-schmidt, variabel penjelas selanjutnya diindeks di antara variabel-variabel lainnya, semakin kecil vektor residualnya karena vektor residual variabel sebelumnya dikurangi dari itu. Akibatnya, koefisien regresi variabel penjelas juga lebih kecil.

Jika itu benar, maka vektor residual dari variabel yang dimaksud akan lebih besar jika diindeks lebih awal, karena vektor residual yang lebih sedikit akan dikurangi dari itu. Ini berarti bahwa koefisien regresi juga akan lebih besar.

Ok, jadi saya diminta untuk mengklarifikasi pertanyaan saya. Jadi saya telah memposting tangkapan layar dari teks yang membuat saya bingung sejak awal. Oke, ini dia.

Pemahaman saya adalah bahwa setidaknya ada dua opsi untuk menghitung koefisien regresi. Opsi pertama dilambangkan (3.6) pada tangkapan layar di bawah ini.

Ini adalah pilihan kedua (saya harus menggunakan beberapa tangkapan layar).

Kecuali saya salah membaca sesuatu (yang pasti mungkin), tampaknya ketertiban penting dalam opsi kedua. Apakah itu penting dalam opsi pertama? Mengapa atau mengapa tidak? Atau apakah kerangka referensi saya sangat kacau sehingga ini bahkan bukan pertanyaan yang valid? Juga, apakah ini semua terkait dengan Tipe I Jumlah Kuadrat vs Tipe II Jumlah Kuadrat?

Terima kasih banyak sebelumnya, saya sangat bingung!

Saya percaya kebingungan mungkin timbul dari sesuatu yang sedikit lebih sederhana, tetapi memberikan peluang bagus untuk meninjau beberapa hal terkait.

Perhatikan bahwa teks tersebut tidak mengklaim bahwa semua koefisien regresi dapat dihitung melalui vektor residual berturut-turut sebagai tetapi lebih dari itu hanya yang terakhir , , yang dapat dihitung dengan cara ini!$\newcommand{\bhat}{\hat{\beta}}\newcommand{\m}{\mathbf}\newcommand{\z}{\m{z}}\bhat_i$Β

$$\bhat_i \stackrel{?}{=} \frac{\langle \m y, \z_i \rangle}{\|\z_i\|^2}\>,$$ $\bhat_p$

Skema ortogonisasi yang berurutan (bentuk Gram-Schmidt) adalah (hampir) menghasilkan sepasang matriks dan sehingga mana adalah dengan kolom ortonormal dan adalah segitiga atas. Saya mengatakan "hampir" karena algoritma ini hanya menentukan hingga norma-norma kolom, yang secara umum tidak akan menjadi satu, tetapi dapat dibuat memiliki norma satuan dengan menormalkan kolom dan membuat penyesuaian sederhana yang sesuai dengan koordinat matriks .G X = Z $\newcommand{\Z}{\m{Z}}\newcommand{\G}{\m{G}}\Z$$\G$Z n × p G = ( g i j ) p × p Z

$$\m X = \Z \G \>,$$ $\Z$$n \times p$$\G = (g_{ij})$$p \times p$$\Z$$\G$

Dengan asumsi, tentu saja, bahwa memiliki peringkat , solusi kuadrat terkecil yang unik adalah vektor yang memecahkan sistem p ≤ n β X T X β = X T $\m X \in \mathbb R^{n \times p}$$p \leq n$$\bhat$

$$\m X^T \m X \bhat = \m X^T \m y \>.$$

Mengganti dan menggunakan (dengan konstruksi), kita mendapatkan yang setara dengan Z T Z = I G T G β = G T Z T $\m X = \Z \G$$\Z^T \Z = \m I$

$$\G^T \G \bhat = \G^T \Z^T \m y \> ,$$ $$\G \bhat = \Z^T \m y \>.$$

Sekarang, berkonsentrasilah pada baris terakhir dari sistem linear. Satu-satunya elemen bukan nol dari di baris terakhir adalah . Jadi, kita dapatkan Tidak sulit melihat (verifikasi ini sebagai pemeriksaan pemahaman!) Bahwadan ini menghasilkan solusi. ( Caveat lector : Saya telah menggunakan telah dinormalisasi untuk memiliki norma satuan, sedangkan dalam buku tidak memilikinya . Ini menjelaskan fakta bahwa buku tersebut memiliki norma kuadrat dalam penyebut, sedangkan saya hanya memiliki norma.)$\G$$g_{pp}$

$$g_{pp} \bhat_p = \langle \m y, \z_p \rangle \>.$$ $g_{pp} = \|\z_p\|$$\z_i$

Untuk menemukan semua koefisien regresi, seseorang perlu melakukan langkah substitusi balik sederhana untuk dipecahkan bagi individu . Misalnya, untuk baris , dan sebagainya Seseorang dapat melanjutkan prosedur ini dengan bekerja "mundur" dari baris terakhir sistem hingga yang pertama, mengurangi jumlah bobot dari koefisien regresi yang sudah dihitung dan kemudian membaginya dengan istilah terkemuka untuk mendapatkan .(p-1$\bhat_i$$(p-1)$

$$g_{p-1,p-1} \bhat_{p-1} + g_{p-1,p} \bhat_p = \langle \m z_{p-1}, \m y \rangle \>,$$ g i i β $$\bhat_{p-1} = g_{p-1,p-1}^{-1} \langle \m z_{p-1}, \m y \rangle \> - g_{p-1,p-1}^{-1} g_{p-1,p} \bhat_p .$$ $g_{ii}$$\bhat_i$

Poin di bagian ESL adalah kita dapat menyusun ulang kolom untuk mendapatkan matriks baru dengan kolom asli ke- sekarang menjadi yang terakhir. Jika kita kemudian menerapkan prosedur Gram-Schmidt pada matriks baru, kita mendapatkan orthogonalization baru sehingga solusi untuk koefisien asli ditemukan oleh solusi sederhana di atas. Ini memberi kami interpretasi untuk koefisien regresi . Ini adalah regresi univariat dari pada vektor residual yang diperoleh dengan "mundur" kolom yang tersisa dari matriks desain dari .X ( r ) r β r β r y x$\m X$$\m X^{(r)}$$r$$\bhat_r$$\bhat_r$$\m y$$\m x_r$

Dekomposisi QR umum

Prosedur Gram-Schmidt hanyalah salah satu metode menghasilkan QR dekomposisi . Memang, ada banyak alasan untuk lebih menyukai pendekatan algoritmik lainnya daripada prosedur Gram-Schmidt.$\m X$

Refleksi Householder dan rotasi Givens memberikan pendekatan yang lebih stabil secara numerik untuk masalah ini. Perhatikan bahwa pengembangan di atas tidak berubah dalam kasus umum penguraian QR. Yakni, biarkan menjadi salah dekomposisi QR dari . Kemudian, dengan menggunakan penalaran dan manipulasi aljabar yang persis sama seperti di atas, kita memiliki solusi kuadrat-terkecil memenuhi yang disederhanakan menjadi Karena mR adalah segitiga atas, maka teknik substitusi backs yang sama berfungsi. Kami pertama-tama menyelesaikannya untuk

$$\m X = \m Q \m R \>,$$ $\m X$$\bhat$ $$\m R^T \m R \bhat = \m R^T \m Q^T \m y \>,$$ $$\m R \bhat = \m Q^T \m y \> .$$ $\m R$$\bhat_p$dan kemudian bekerja mundur dari bawah ke atas. Pilihan yang digunakan algoritma dekomposisi QR umumnya bergantung pada pengontrolan ketidakstabilan numerik dan, dari perspektif ini, Gram-Schmidt umumnya bukan pendekatan kompetitif.

Gagasan penguraian ini sebagai matriks ortogonal dikali sesuatu yang lain dapat digeneralisasi sedikit lebih jauh juga untuk mendapatkan bentuk yang sangat umum untuk vektor pas , tetapi saya khawatir respons ini sudah menjadi terlalu lama .$\m X$$\hat{\m y}$

Saya telah melihat-lihat buku ini dan sepertinya latihan 3.4 mungkin berguna dalam memahami konsep menggunakan GS untuk menemukan semua koefisien regresi (bukan hanya koefisien akhir - jadi saya mengetikkan solusi. Semoga ini adalah solusi. berguna.$\beta_j$$\beta_p$

Latihan 3.4 dalam ESL

Tunjukkan bagaimana vektor koefisien kuadrat terkecil dapat diperoleh dari satu langkah tunggal dari prosedur Gram-Schmidt. Mewakili solusi Anda dalam hal dekomposisi QR dari . $X$

Larutan

Ingatlah bahwa dengan satu langkah tunggal prosedur Gram-Schmidt, kita dapat menulis matriks sebagai mana berisi kolom ortogonal , dan adalah matriks diagonal-atas dengan yang ada pada diagonal, dan . Ini adalah cerminan dari fakta bahwa menurut definisi,$X$

$$X = Z \Gamma,$$ $Z$$z_j$$\Gamma$$\gamma_{ij} = \frac{\langle z_i, x_j \rangle}{\| z_i \|^2}$ $$x_j = z_j + \sum_{k=0}^{j-1} \gamma_{kj} z_k.$$

Sekarang, dengan dekomposisi , kita dapat menulis , di mana adalah matriks ortogonal dan adalah matriks segitiga atas. Kami memiliki dan , di mana adalah matriks diagonal dengan. $QR$$X = QR$$Q$$R$$Q = Z D^{-1}$$R = D\Gamma$$D$$D_{jj} = \| z_j \|$

Sekarang, dengan definisi , kita memiliki Sekarang, menggunakan dekomposisi , kami telah$\hat \beta$

$$(X^T X) \hat \beta = X^T y.$$ $QR$ $$\begin{align*} (R^T Q^T) (QR) \hat \beta &= R^T Q^T y \\ R \hat \beta &= Q^T y \end{align*}$$

$R$ adalah segitiga atas, kita dapat menulis sesuai dengan hasil kami sebelumnya. Sekarang, dengan substitusi balik, kita dapat memperoleh urutan koefisien regresi . Sebagai contoh, untuk menghitung , kita memiliki

$$\begin{align*} R_{pp} \hat \beta_p &= \langle q_p, y \rangle \\ \| z_p \| \hat \beta_p &= \| z_p \|^{-1} \langle z_p, y \rangle \\ \hat \beta_p &= \frac{\langle z_p, y \rangle}{\| z_p \|^2} \end{align*}$$ $\hat \beta_j$$\hat \beta_{p-1}$ $$\begin{align*} R_{p-1, p-1} \hat \beta_{p-1} + R_{p-1,p} \hat \beta_p &= \langle q_{p-1}, y \rangle \\ \| z_{p-1} \| \hat \beta_{p-1} + \| z_{p-1} \| \gamma_{p-1,p} \hat \beta_p &= \| z_{p-1} \|^{-1} \langle z_{p-1}, y \rangle \end{align*}$$ dan kemudian menyelesaikan untuk . Proses ini dapat diulang untuk semua , sehingga mendapatkan koefisien regresi dalam satu langkah dari prosedur Gram-Schmidt.$\hat \beta_{p-1}$$\beta_j$

Mengapa tidak mencobanya dan membandingkannya? Sesuaikan satu set koefisien regresi, kemudian ubah urutannya dan cocokkan lagi dan lihat apakah ada perbedaan (selain kesalahan pembulatan yang mungkin).

Seperti yang ditunjukkan oleh @mpiktas, tidak jelas apa yang Anda lakukan.

Saya dapat melihat menggunakan GS untuk menyelesaikan dalam persamaan kuadrat terkecil . Tapi kemudian Anda akan melakukan GS pada matriks , bukan data asli. Dalam hal ini koefisien harus sama (selain kemungkinan kesalahan pembulatan).( x ′ x ) B = ( x ′ y ) ( x ′ x $B$$(x'x)B=(x'y)$$(x'x)$

Pendekatan lain dari GS dalam regresi adalah menerapkan GS ke variabel prediktor untuk menghilangkan kolinearitas di antara mereka. Kemudian variabel ortogonalized digunakan sebagai prediktor. Dalam hal ini urutan masalah dan koefisien akan berbeda karena interpretasi koefisien tergantung pada urutan. Pertimbangkan 2 prediktor dan dan lakukan GS pada mereka dalam urutan itu kemudian gunakan sebagai prediktor. Dalam hal itu koefisien pertama (setelah intersepsi) menunjukkan efek pada dengan sendirinya dan koefisien kedua adalah efek pada setelah disesuaikan untukx 2 x 1 y x 2 y x 1 x 2 y x 1 x 1 x $x_1$$x_2$$x_1$$y$$x_2$$y$$x_1$. Sekarang jika Anda membalik urutan x maka koefisien pertama menunjukkan efek pada dengan sendirinya (mengabaikan daripada menyesuaikan untuk itu) dan yang kedua adalah efek menyesuaikan untuk .$x_2$$y$$x_1$$x_1$$x_2$