Regresi sudut terkecil menjaga korelasinya menurun dan terikat secara monoton?

Saya mencoba memecahkan masalah untuk regresi sudut terkecil (LAR). Ini adalah masalah 3.23 pada halaman 97 dari Hastie et al., Elemen Pembelajaran Statistik, 2. ed. (Pencetakan ke-5) .

Pertimbangkan masalah regresi dengan semua variabel dan respons memiliki mean nol dan standar deviasi. Anggap juga bahwa setiap variabel memiliki korelasi absolut identik dengan respons:

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p$

Biarkan menjadi koefisien kuadrat terkecil dari di dan biarkan untuk \ alpha \ dalam [0,1] .$\hat{\beta}$$\mathbf{y}$$\mathbf{X}$$\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}$$\alpha\in[0,1]$

Saya diminta untuk menunjukkan bahwa

$$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = 1, ..., p$$ dan saya mengalami masalah dengan itu. Perhatikan bahwa ini pada dasarnya dapat mengatakan bahwa korelasi masing-masing $x_j$ dengan residual tetap sama besarnya ketika kita maju ke arah $u$ .

Saya juga tidak tahu bagaimana menunjukkan bahwa korelasinya sama dengan:

$\lambda(\alpha) = \frac{(1-\alpha)}{\sqrt{(1-\alpha)^2 + \frac{\alpha (2-\alpha)}{N} \cdot RSS}} \cdot \lambda$

Pointer apa pun akan sangat dihargai!

Ini adalah masalah 3.23 pada halaman 97 dari Hastie et al., Elemen Pembelajaran Statistik , 2. ed. (Pencetakan ke-5) .

Kunci dari masalah ini adalah pemahaman yang baik tentang kuadrat terkecil biasa (yaitu, regresi linier), khususnya ortogonalitas dari nilai yang dipasang dan residu.

Lemma ortogonalitas : Misalkan adalah matriks desain , vektor respons dan parameter (benar). Dengan asumsi adalah peringkat penuh (yang akan kita bahas), perkiraan OLS dari adalah . Nilai yang dipasang adalah . Kemudian . Artinya, nilai-nilai yang dipasang adalah ortogonal terhadap residu. Ini mengikuti sejak .n × p $X$$n \times p$$y$X β β = ( X T X ) - 1 X T y y = X ( X T X ) - 1 X T y ⟨ y , y - y ⟩ = y T ( y - y ) = 0 X T ( y $\beta$$X$$\beta$$\hat{\beta} = (X^T X)^{-1} X^T y$$\hat{y} = X (X^T X)^{-1} X^T y$$\langle \hat{y}, y-\hat{y} \rangle = \hat{y}^T (y - \hat{y}) = 0$$X^T (y - \hat{y}) = X^T y - X^T X (X^T X)^{-1} X^T y = X^T y - X^T y = 0$

Sekarang, mari menjadi vektor kolom sehingga adalah th kolom . Kondisi yang diasumsikan adalah:x j j $x_j$$x_j$$j$$X$

• j$\frac{1}{N} \langle x_j, x_j \rangle = 1$ untuk setiap , ,$j$$\frac{1}{N} \langle y, y \rangle = 1$
• 1p$\frac{1}{N} \langle x_j, 1_p \rangle = \frac{1}{N} \langle y, 1_p \rangle = 0$ mana menunjukkan vektor yang panjangnya , dan$1_p$$p$
• $\frac{1}{N} | \langle x_j, y \rangle | = \lambda$ untuk semua .$j$

Perhatikan bahwa secara khusus , pernyataan terakhir dari lemma ortogonalitas identik dengan untuk semua .$\langle x_j, y - \hat{y} \rangle = 0$$j$

---

Korelasi terikat

Sekarang, . Jadi, dan suku kedua di sebelah kanan adalah nol oleh lemma ortogonalitas , jadi seperti yang diinginkan. Nilai absolut dari korelasi itu adil ⟨ x j , y - u ( a ) ⟩ = ⟨ x j , ( 1 - α ) y + α y - $u(\alpha) = \alpha X \hat{\beta} = \alpha \hat{y}$

$$\langle x_j, y - u(a) \rangle = \langle x_j, (1-\alpha) y + \alpha y - \alpha \hat{y} \rangle = (1-\alpha) \langle x_j, y \rangle + \alpha \langle x_j, y - \hat{y} \rangle ,$$ ρ j(α)= $$\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle | = (1-\alpha) \lambda ,$$ $$\hat{\rho}_j(\alpha) = \frac{\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle |}{\sqrt{\frac{1}{N} \langle x_j, x_j \rangle }\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }} = \frac{(1-\alpha)\lambda}{\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }}$$

Catatan : Sisi kanan di atas tidak bergantung pada dan pembilangnya sama dengan kovarians karena kita mengasumsikan bahwa semua dan berpusat (jadi, khususnya, tidak perlu pengurangan rata-rata dari rata-rata) ).x j$j$$x_j$$y$

Apa gunanya? Ketika meningkatkan vektor respons, dimodifikasi sehingga ia beringsut menuju solusi kuadrat-terkecil ( terbatas! ) Yang diperoleh dengan menggabungkan hanya parameter pertama dalam model. Ini secara bersamaan memodifikasi parameter yang diestimasi karena mereka adalah produk dalam sederhana dari prediktor dengan vektor respons (yang dimodifikasi). Modifikasi mengambil bentuk khusus. Itu menjaga (besarnya) korelasi antara prediktor dan respons yang dimodifikasi sama sepanjang proses (meskipun nilai korelasinya berubah). Pikirkan tentang apa yang dilakukan secara geometris dan Anda akan memahami nama prosedurnya!$\alpha$$p$

---

Bentuk eksplisit dari korelasi (absolut)

Mari kita fokus pada istilah dalam penyebut, karena pembilang sudah dalam bentuk yang diperlukan. Kami memiliki

$$\langle y - u(\alpha), y - u(\alpha) \rangle = \langle (1-\alpha) y + \alpha y - u(\alpha), (1-\alpha) y + \alpha y - u(\alpha) \rangle .$$

Mengganti dalam dan menggunakan linearitas produk dalam, kita dapatkan$u(\alpha) = \alpha \hat{y}$

$$\langle y - u(\alpha), y - u(\alpha) \rangle = (1-\alpha)^2 \langle y, y \rangle + 2\alpha(1-\alpha) \langle y, y - \hat{y} \rangle + \alpha^2 \langle y-\hat{y}, y-\hat{y} \rangle .$$

Perhatikan itu

• $\langle y, y \rangle = N$ dengan asumsi,
• $\langle y, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y} \rangle + \langle \hat{y}, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y}\rangle$ , dengan menerapkan lemma ortogonal (lagi-lagi) ke suku kedua di tengah; dan,
• $\langle y - \hat{y}, y - \hat{y} \rangle = \mathrm{RSS}$ menurut definisi.

Menyatukan semua ini, Anda akan melihat bahwa kami mendapatkannya

$$\hat{\rho}_j(\alpha) = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 + \frac{\alpha(2-\alpha)}{N} \mathrm{RSS}}} = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 (1 - \frac{\mathrm{RSS}}{N}) + \frac{1}{N} \mathrm{RSS}}}$$

Untuk menyelesaikannya, dan jadi jelas bahwa secara monoton menurun dalam dan sebagai . ρ j(α)α ρ j(α)↓0α↑$1 - \frac{\mathrm{RSS}}{N} = \frac{1}{N} (\langle y, y, \rangle - \langle y - \hat{y}, y - \hat{y} \rangle ) \geq 0$$\hat{\rho}_j(\alpha)$$\alpha$$\hat{\rho}_j(\alpha) \downarrow 0$$\alpha \uparrow 1$

---

Epilog : Berkonsentrasilah pada ide-ide di sini. Sebenarnya hanya ada satu. The ortogonalitas lemma melakukan hampir semua pekerjaan untuk kita. Sisanya hanyalah aljabar, notasi, dan kemampuan untuk membuat dua yang terakhir ini bekerja.