Bukti koefisien menyusut menggunakan regresi ridge melalui "dekomposisi spektral"

Pertanyaannya muncul untuk meminta demonstrasi bahwa Regresi Ridge menyusut estimasi koefisien ke nol, menggunakan dekomposisi spektral. Dekomposisi spektral dapat dipahami sebagai konsekuensi mudah dari Dekomposisi Nilai Singular (SVD). Karenanya, posting ini dimulai dengan SVD. Ini menjelaskannya secara sederhana dan kemudian menggambarkannya dengan aplikasi penting. Kemudian memberikan demonstrasi yang diminta (aljabar). (Aljabar, tentu saja, identik dengan demonstrasi geometrik; ia hanya ditulis dalam bahasa yang berbeda.)

Sumber asli jawaban ini dapat ditemukan di catatan kursus regresi saya . Versi ini memperbaiki beberapa kesalahan kecil.

Apa itu SVD

Setiap $n\times p$ matriks $X$ , dengan $p \le n$ , dapat ditulis

X = U D V^{'}

$X = UDV^\prime$ di mana

$U$ adalahmatriks $n\times p$ .
- Kolom memiliki panjang . $U$ $1$
- Kolom-kolom adalah saling ortogonal. $U$
- Mereka disebut komponen utama dari . $X$
adalah matriks. $V$ $p \times p$
- Kolom memiliki panjang . $V$ $1$
- Kolom-kolom saling ortogonal. $V$
- Merek ini sebuah rotasi dari . $V$ $\mathbb{R}^p$
adalahdiagonal matriks. $D$ $p \times p$
- Elemen-elemen diagonal tidak negatif. Ini adalah nilai-nilai singular dari . $d_{11}, d_{22}, \ldots, d_{pp}$ $X$
- Jika diinginkan, kami dapat memesannya dari yang terbesar hingga yang terkecil.

Kriteria (1) dan (2) menyatakan bahwa dan adalah matriks ortonormal . Mereka dapat diringkas dengan rapi berdasarkan kondisinya $U$ $V$

U^{'} U = 1_{p}, V^{'} V = 1_{p} .

$U^\prime U = 1_p,\ V^\prime V = 1_p.$

Sebagai konsekuensinya (bahwa mewakili rotasi), juga. Ini akan digunakan dalam derivasi Ridge Regression di bawah ini. $V$ $VV^\prime = 1_p$

Apa manfaatnya bagi kita

Itu bisa menyederhanakan formula. Ini berfungsi baik secara aljabar dan konseptual. Berikut ini beberapa contohnya.

Persamaan Normal

Pertimbangkan regresi mana, seperti biasa, terdistribusi secara independen dan identik menurut hukum yang tidak memiliki ekspektasi nol dan varian terbatas . Solusi kuadrat terkecil melalui normal Persamaan adalah Menerapkan SVD dan menyederhanakan kekacauan aljabar yang dihasilkan (yang mudah) memberikan wawasan yang bagus: $y = X\beta + \varepsilon$ $\varepsilon$ $\sigma^2$

\hat{β} = (X^{'} X)^{- 1} X^{'} y .

$\hat\beta = (X^\prime X)^{-1} X^\prime y.$

(X^{'} X)^{- 1} X^{'} = ((U D V^{'})^{'} (U D V^{'}))^{- 1} (U D V^{'})^{'} = (V D U^{'} U D V^{'})^{- 1} (V D U^{'}) = V D^{- 2} V^{'} V D U^{'} = V D^{- 1} U^{'} .

$(X^\prime X)^{-1} X^\prime = ((UDV^\prime)^\prime (UDV^\prime))^{-1} (UDV^\prime)^\prime \\= (VDU^\prime U D V^\prime)^{-1} (VDU^\prime) = VD^{-2}V^\prime VDU^\prime = VD^{-1}U^\prime.$

Satu-satunya perbedaan antara ini dan adalah bahwa kebalikan dari elemen digunakan! Dengan kata lain, "persamaan" diselesaikan dengan "membalikkan" : inversi semu ini mengurungkan rotasi dan (hanya dengan memindahkannya) dan membatalkan perkalian (diwakili oleh $X^\prime = VDU^\prime$ $D$ $y=X\beta$ $X$ $U$ $V^\prime$ $D$ ) secara terpisah di setiap prinsipal arah.

Untuk referensi di masa mendatang, pemberitahuan bahwa "diputar" perkiraan adalah kombinasi linear dari "diputar" tanggapan . Koefisien invers dari (positif) elemen diagonal , sama untuk $V^\prime \hat\beta$ $U^\prime y$ $D$ $d_{ii}^{-1}$ .

Koefisien estimasi koefisien

Ingat bahwa kovarians dari perkiraan adalah Menggunakan SVD, ini menjadi Dengan kata lain, kovarians bertindak seperti itu dari orthogonal variabel, masing-masing dengan varians

Cov (\hat{β}) = σ^{2} (X^{'} X)^{- 1} .

$\text{Cov}(\hat\beta) = \sigma^2(X^\prime X)^{-1}.$

σ^{2} (V D^{2} V^{'})^{- 1} = σ^{2} V D^{- 2} V^{'} .

$\sigma^2(V D^2 V^\prime)^{-1} = \sigma^2 V D^{-2} V^\prime.$

k

$k$

d_{i i}^{2}

$d^2_{ii}$ , Yang telah diputar di

R^{k}

$\mathbb{R}^k$ .

Matriks Hat

Matriks topi adalah Dengan menggunakan hasil sebelumnya kita dapat menulis ulang sebagai

H = X (X^{'} X)^{- 1} X^{'} .

$H = X(X^\prime X)^{-1} X^\prime.$

H = (U D V^{'}) (V D^{- 1} U^{'}) = U U^{'} .

$H = (UDV^\prime)(VD^{-1}U^\prime) = UU^\prime.$ Sederhana!

Analisis eigen (dekomposisi spektral)

X^{'} X = V D U^{'} U D V^{'} = V D^{2} V^{'}

$X^\prime X = VDU^\prime U D V^\prime = VD^2V^\prime$

X X^{'} = U D V^{'} V D U^{'} = U D^{2} U^{'},

$XX^\prime = UDV^\prime VDU^\prime = UD^2U^\prime,$

$X^\prime X$ $XX^\prime$
$V$ $X^\prime X$
$U$ $X X^\prime$

SVD dapat mendiagnosis dan menyelesaikan masalah collinearity.

Mendekati para regresi

$UDV^\prime$ $U$ $y$

Regresi Punggung

$X$ $y$ $X$ $\lambda \gt 0$

\begin{aligned} {\hat{β}}_{R} & = (X^{'} X + λ)^{- 1} X^{'} y \\ = (V D^{2} V^{'} + λ 1_{hal})^{- 1} V D U^{'} y \\ = (V D^{2} V^{'} + λ V V^{'})^{- 1} V D U^{'} y \\ = (V (D^{2} + λ) V^{'})^{- 1} V D U^{'} y \\ = V (D^{2} + λ)^{- 1} V^{'} V D U^{'} y \\ = V (D^{2} + λ)^{- 1} D U^{'} y . \end{aligned}

$\begin{aligned}\hat\beta_R &= (X^\prime X + \lambda)^{-1}X^\prime y \\ &= (VD^2V^\prime + \lambda\,1_p)^{-1}VDU^\prime y \\ &= (VD^2V^\prime + \lambda V V^\prime)^{-1}VDU^\prime y \\ &= (V(D^2 + \lambda)V^\prime)^{-1} VDU^\prime y \\ &= V(D^2+\lambda)^{-1}V^\prime V DU^\prime y \\ &= V(D^2 + \lambda)^{-1} D U^\prime y.\end{aligned}$

$\hat\beta$ $D^{-1} = D^{-2}D$ $(D^2+\lambda)^{-1}D$ $D^2/(D^2+\lambda)$ $\lambda \gt 0$

Hasil ini harus dipahami dalam arti agak halus yang disinggung sebelumnya: diputar $V^\prime\hat\beta_R$ $U^\prime y$ $d_{ii}^{-1}$ $d_{ii}^2/(d_{ii}^2 + \lambda)$ $\lambda$ $\hat\beta_R$

$d_{ii}^{-1}$

whuber
sumber

@ Glen_b Itu poin yang bagus: Saya harus eksplisit tentang fraksi apa yang saya pertimbangkan! Saya akan memperbaikinya.

whuber

U U^{'} = 1_{p}

$UU^\prime=1_p$

U

$U$

1

$1$

. (2)

\sqrt{1} = 1

$\sqrt{1}=1$

V V^{'} = 1_{p}

$VV^\prime=1_p$

V

$V$

V^{- 1}

$V^{-1}$

(V^{- 1})^{'} (V^{- 1}) = 1_{p}

$(V^{-1})^\prime(V^{-1})=1_p$

V^{- 1} = V^{'}

$V^{-1}=V^\prime$

V V^{'} = (V^{'})^{'} V^{'} = 1_{p}

$VV^\prime=(V^\prime)^\prime V^\prime=1_p$

@Vimal Terima kasih atas saran yang bagus. Saya sekarang telah memasukkan penjelasan di bagian "Persamaan Normal" di mana model regresi diperkenalkan.