Di bawah kondisi apa regresi ridge mampu memberikan peningkatan dibandingkan regresi kuadrat terkecil biasa?

Ridge perkiraan regresi parameter $\boldsymbol \beta$ dalam model linear $\mathbf y = \mathbf X \boldsymbol \beta$ oleh β λ = ( X ⊤ X + λ I ) - 1 X ⊤ y , di mana λ adalah parameter regularisasi. Sudah diketahui bahwa sering berkinerja lebih baik daripada regresi OLS (dengan λ = 0 ) ketika ada banyak prediktor yang berkorelasi.

$$\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y,$$ $\lambda$$\lambda=0$

Teorema eksistensi untuk regresi ridge mengatakan bahwa ada selalu ada parameter $\lambda^* > 0$ sehingga rata-kuadrat-kesalahan β λ secara ketat lebih kecil dari rata-kuadrat-kesalahan dari OLS estimasi β O L S = β 0 . Dengan kata lain, nilai optimal λ selalu tidak nol. Ini tampaknya pertama kali terbukti di Hoerl dan Kennard, 1970 dan diulangi dalam banyak catatan kuliah yang saya temukan online (misalnya di sini dan di sini ). Pertanyaan saya adalah tentang asumsi teorema ini:$\hat{\boldsymbol \beta}_\lambda$$\hat{\boldsymbol \beta}_\mathrm{OLS}=\hat{\boldsymbol \beta}_0$$\lambda$

1. Apakah ada asumsi tentang matriks kovarians $\mathbf X^\top \mathbf X$ ?

2. Adakah asumsi tentang dimensi $\mathbf X$ ?

Secara khusus, apakah teorema itu masih benar jika prediktornya ortogonal (yaitu $\mathbf X^\top \mathbf X$ diagonal), atau bahkan jika $\mathbf X^\top \mathbf X=\mathbf I$ ? Dan apakah masih benar jika hanya ada satu atau dua prediktor (katakanlah, satu prediktor dan intersep)?

Jika teorema tidak membuat asumsi seperti itu dan tetap benar bahkan dalam kasus-kasus ini, maka mengapa regresi ridge biasanya direkomendasikan hanya dalam kasus prediktor berkorelasi, dan tidak pernah (?) Direkomendasikan untuk regresi sederhana (yaitu tidak berganda)?

---

Ini terkait dengan pertanyaan saya tentang pandangan Unified pada susut: apa hubungan (jika ada) antara paradoks Stein, regresi ridge, dan efek acak dalam model campuran? , tetapi tidak ada jawaban yang menjelaskan poin ini sampai sekarang.

Jawaban untuk 1 dan 2 adalah tidak, tetapi diperlukan kehati-hatian dalam menafsirkan teorema keberadaan.

Varians dari Penaksir Ridge

Biarkan menjadi estimasi ridge di bawah penalti k , dan biarkan β menjadi parameter sebenarnya untuk model Y = X β $\hat{\beta^*}$$k$$\beta$ . Mari λ 1 , ... , λ p menjadi nilai eigen dari X T X . Dari persamaan Hoerl & Kennard 4.2-4.5, risikonya, (dalam halnorma L 2 kesalahan yang diharapkan) adalah$Y = X \beta + \epsilon$$\lambda_1, \dotsc, \lambda_p$$X^T X$
$L^2$

mana sejauh yang saya tahu, ( X T X+k I p ) -2= ( X T X+k I p ) -1 ( X T X+k I p ) -1. Mereka berkomentar bahwaγ1memiliki interpretasi varian produk dalam ^ β ∗ -β, sedangkanγ

$$\begin{align*} E \left( \left[ \hat{\beta^*} - \beta \right]^T \left[ \hat{\beta^*} - \beta \right] \right)& = \sigma^2 \sum_{j=1}^p \lambda_j/ \left( \lambda_j +k \right)^2 + k^2 \beta^T \left( X^T X + k \mathbf{I}_p \right)^{-2} \beta \\ & = \gamma_1 (k) + \gamma_2(k) \\ & = R(k) \end{align*}$$ $\left( X^T X + k \mathbf{I}_p \right)^{-2} = \left( X^T X + k \mathbf{I}_p \right)^{-1} \left( X^T X + k \mathbf{I}_p \right)^{-1}.$$\gamma_1$$\hat{\beta^*} - \beta$$\gamma_2$ adalah produk dalam bias.

Misalkan , lalu R ( k ) = p σ 2 + k 2 β T$X^T X = \mathbf{I}_p$ Misalkan R′(k)=2

$$R(k) = \frac{p \sigma^2 + k^2 \beta^T \beta}{(1+k)^2}.$$ menjadi turunan dari risiko w / r / tk. Karena limk→0+R′(k)=-2pσ2<0, kami menyimpulkan bahwa ada beberapak∗>0sehinggaR(k∗)<R(0). $$R^\prime (k) = 2\frac{k(1+k)\beta^T \beta - (p\sigma^2 + k^2 \beta^T \beta)}{(1+k)^3}$$ $k$$\lim_{k \rightarrow 0^+} R^\prime (k) = -2p \sigma^2 < 0$$k^*>0$$R(k^*)<R(0)$

Para penulis berkomentar bahwa ortogonalitas adalah yang terbaik yang dapat Anda harapkan dalam hal risiko pada , dan sebagai jumlah kondisi dari$k=0$ meningkat, lim k → 0 + R ' ( k ) pendekatan - ∞ .$X^T X$$\lim_{k \rightarrow 0^+} R^\prime (k)$$- \infty$

Komentar

Tampaknya ada paradoks di sini, dalam hal jika dan X adalah konstan, maka kita hanya memperkirakan rata-rata dari urutan Normal ( β , $p=1$$X$variabel 2 ) , dan kita tahu bahwa estimasi vanilla bias dapat diterima di kasus ini. Ini diselesaikan dengan memperhatikan bahwa di atas penalaran hanya menyediakan bahwa nilai meminimalkan dari k ada untuk tetap β T β . Tetapi untuk setiap k , kita dapat membuat risiko meledak dengan membuat β T β menjadi besar, jadi argumen ini saja tidak menunjukkan penerimaan untuk estimasi punggungan.$(\beta, \sigma^2)$$k$$\beta^T \beta$$k$$\beta^T \beta$

Mengapa regresi ridge biasanya direkomendasikan hanya dalam kasus prediktor yang berkorelasi?

Derivasi risiko H&K menunjukkan bahwa jika kita memikirkannya $\beta ^T \beta$$X^T X$$\beta$$E Y$$X$ dicurigai - matriks kovarians besar adalah gejala dari itu.

Tetapi jika tujuan Anda semata-mata prediksi, kekhawatiran inferensial tidak lagi berlaku, dan Anda memiliki argumen yang kuat untuk menggunakan beberapa jenis estimator penyusutan.