Bagaimana cara mendapatkan solusi regresi ridge?

40

Saya mengalami beberapa masalah dengan derivasi solusi untuk regresi ridge.

Saya tahu solusi regresi tanpa ketentuan regularisasi:

β = (X^{T} X)^{- 1} X^{T} y .

$\beta = (X^TX)^{-1}X^Ty.$

Tetapi setelah menambahkan istilah L2 ke fungsi biaya, mengapa solusinya menjadi $\lambda\|\beta\|_2^2$

β = (X^{T} X + λ I)^{- 1} X^{T} y .

$\beta = (X^TX + \lambda I)^{-1}X^Ty.$

regression least-squares regularization ridge-regression pengguna34790
sumber

23

Cukuplah untuk memodifikasi fungsi kerugian dengan menambahkan penalti. Dalam istilah matriks, fungsi kehilangan kuadratik awal menjadi

(Y - X β)^{T} (Y - X β) + λ β^{T} β .

$(Y - X\beta)^{T}(Y-X\beta) + \lambda \beta^T\beta.$ Turun sehubungan dengan

β

$\beta$ mengarah ke persamaan normal

X^{T} Y = (X^{T} X + λ I) β

$X^{T}Y = \left(X^{T}X + \lambda I\right)\beta$ yang mengarah ke estimator Ridge.

johnny
sumber

1

Kenapa turunan dari

λ β^{T} β

$\lambda \beta^T \beta$ sama dengan

λ I β

$\lambda I \beta$

user34790

4

@ user34790 Bukan. Itu sama dengan

2 λ β

$2\lambda\beta$ . Tetapi 2 dibatalkan dengan 2s yang sama pada persyaratan lainnya. Tentu saja, faktor

I

$I$ seperti faktor 1 dalam aljabar "biasa", Anda dapat melipatgandakannya di mana pun Anda suka tanpa mengubah apa pun.

Bill

4

@ bill: di sini Anda memerlukan untuk mendapatkan matriks dari dimensi yang benar sehingga penambahan bekerja dengan : hanyalah sebuah skalar

I

$I$

X^{T} X

$X^TX$

λ

$\lambda$

Henry

47

Mari kita membangun apa yang kita ketahui, yaitu setiap matriks model adalah , respons -vektor adalah , dan parameter -vector adalah , fungsi objektif $n\times p$ $X$ $n$ $y$ $p$ $\beta$

f (β) = (y - X β)^{'} (y - X β)

$f(\beta) = (y - X\beta)^\prime(y - X\beta)$

(yang merupakan jumlah kuadrat residu) diminimalkan ketika memecahkan persamaan Normal $\beta$

(X^{'} X) β = X^{'} y .

$(X^\prime X)\beta = X^\prime y.$

Regresi Ridge menambahkan istilah lain ke fungsi objektif (biasanya setelah menstandarisasi semua variabel untuk menempatkan mereka pada pijakan yang sama), meminta untuk meminimalkan

(y - X β)^{'} (y - X β) + λ β^{'} β

$(y - X\beta)^\prime(y - X\beta) + \lambda \beta^\prime \beta$

untuk beberapa konstanta non-negatif . Ini adalah jumlah kuadrat dari residu ditambah kelipatan dari kuadrat dari koefisien itu sendiri (membuatnya jelas bahwa ia memiliki minimum global). Karena , ia memiliki akar kuadrat positif . $\lambda$ $\lambda\ge 0$ $\nu^2 = \lambda$

Pertimbangkan matriks ditambah dengan baris yang sesuai dengan kali matriks identitas : $X$ $\nu$ $p\times p$ $I$

X_{*} = (\begin{matrix} X \\ ν I \end{matrix})

$X_{*} = \pmatrix{X \\ \nu I}$

Ketika vektor diperluas sama dengan nol di akhir , produk matriks dalam fungsi objektif menambahkan syarat tambahan dari formulir ke tujuan semula. Karena itu $y$ $p$ $y_{*}$ $p$ $(0 - \nu \beta_i)^2 = \lambda \beta_i^2$

(y_{*} - X_{*} β)^{'} (y_{*} - X_{*} β) = (y - X β)^{'} (y - X β) + λ β^{'} β .

$(y_{*} - X_{*}\beta)^\prime(y_{*} - X_{*}\beta) = (y - X\beta)^\prime(y - X\beta) + \lambda \beta^\prime \beta.$

Dari bentuk ekspresi tangan kiri, langsung bahwa persamaan Normal adalah

(X_{*}^{'} X_{*}) β = X_{*}^{'} y_{*} .

$(X_{*}^\prime X_{*})\beta = X_{*}^\prime y_{*}.$

Karena kita menyatukan nol ke ujung , sisi kanan sama dengan . Di sisi kiri ditambahkan ke . Oleh karena itu persamaan Normal yang baru disederhanakan menjadi $y$ $X^\prime y$ $\nu^2 I=\lambda I$ $X^\prime X$

(X^{'} X + λ I) β = X^{'} y .

$(X^\prime X + \lambda I)\beta = X^\prime y.$

Selain ekonomis secara konseptual - tidak ada manipulasi baru yang diperlukan untuk memperoleh hasil ini - juga ekonomis secara komputasi: perangkat lunak Anda untuk melakukan kuadrat terkecil biasa juga akan melakukan regresi ridge tanpa perubahan apa pun. (Namun demikian dapat membantu dalam masalah besar untuk menggunakan perangkat lunak yang dirancang untuk tujuan ini, karena itu akan mengeksploitasi struktur khusus untuk memperoleh hasil secara efisien untuk interval spasi yang padat , memungkinkan Anda untuk mengeksplorasi bagaimana jawabannya bervariasi dengan .) $X_{*}$ $\lambda$ $\lambda$

Keindahan lain dari cara memandang hal - hal ini adalah bagaimana hal itu dapat membantu kita memahami regresi ridge. Ketika kita ingin benar-benar memahami regresi, hampir selalu membantu untuk memikirkannya secara geometris: kolom membentuk vektor dalam ruang vektor nyata dari dimensi . Dengan menyatukan ke , dengan demikian memperpanjangnya dari vektor ke vektor, kami menyematkan ke dalam ruang yang lebih besar dengan memasukkan "imajiner", arah yang saling ortogonal. Kolom pertama $X$ $p$ $n$ $\nu I$ $X$ $n$ $n+p$ $\mathbb{R}^n$ $\mathbb{R}^{n+p}$ $p$ $X$ diberi komponen imajiner kecil dengan ukuran , sehingga memanjangnya dan memindahkannya keluar dari ruang yang dihasilkan oleh kolom asli . Kolom kedua, ketiga, ..., sama-sama diperpanjang dan dipindahkan dari ruang asli dengan jumlah yang sama - tetapi semuanya dalam arah baru yang berbeda. Akibatnya, setiap collinearity yang ada di kolom asli akan segera diselesaikan. Selain itu, semakin besar , semakin banyak vektor baru ini mendekati individu $\nu$ $p$ $p^\text{th}$ $\nu$ $\nu$ $p$ arah imajiner: mereka menjadi lebih dan lebih normal. Akibatnya, solusi dari persamaan Normal akan segera menjadi mungkin dan itu akan cepat menjadi stabil secara numerik karena meningkat dari . $\nu$ $0$

Deskripsi proses ini menyarankan beberapa pendekatan baru dan kreatif untuk mengatasi masalah yang dirancang untuk ditangani oleh Ridge Regression. Misalnya, dengan menggunakan segala cara apa pun (seperti dekomposisi varian yang dijelaskan oleh Belsley, Kuh, dan Welsch dalam buku 1980 mereka tentang Regresi Diagnostik , Bab 3), Anda mungkin dapat mengidentifikasi subkelompok kolom hampir collinear , di mana setiap subkelompok hampir ortogonal dengan yang lain. Anda hanya perlu berdampingan dengan banyak baris ke (dan nol ke ) karena ada elemen dalam grup terbesar, yang mendedikasikan satu dimensi "imajiner" baru untuk memindahkan setiap elemen grup dari saudara-saudaranya: Anda tidak perlu imajiner dimensi untuk melakukan ini. $X$ $X$ $y$ $p$

whuber
sumber

2

Penulis buku terakhir adalah Welsch, bukan Welsh.

Mark L. Stone

1

Wah, ini benar-benar membuat saya bingung. Apakah ada diskusi tentang apa yang terjadi ketika ini digeneralisasi di luar model linier, yaitu ke GLM? Hukuman seharusnya tidak sejajar dengan regresi ridge ... tetapi interpretasi ini menyiratkan bahwa itu masih akan menjadi penduga yang berguna!

Cliff AB

2

@ Tebing Itu saran yang sangat menarik. Namun, karena estimasi GLM bergantung pada cara yang lebih rumit pada dan estimator mereka biasanya tidak dapat difaktorkan dalam bentuk sebagaimana untuk OLS (di mana dan ), mungkin sulit untuk membangun hubungan yang bermanfaat antara memaksakan fungsi penalti dan memodifikasi kolom . Secara khusus, tidak jelas bagaimana nilai-nilai dalam perlu ditambah untuk membuat pekerjaan ini.

X

$X$

\hat{β} = g (X) \cdot h (y)

$\hat\beta = g(X)\cdot h(y)$

g (X) = (X^{'} X)^{- 1} X^{'}

$g(X)=(X^\prime X)^{-1}X^\prime$

h (y) = y

$h(y)=y$

X

$X$

y

$y$

Whuber

1

Ya, perlu beberapa pemikiran untuk mencoba menentukan apakah penalti itu, tetapi saya tidak begitu khawatir tentang itu. Ide apa penggunaan umumnya tidak mudah baik ... kecuali mungkin dalam kasus regresi logistik, di mana kita bisa menambahkan dua 's; salah satu dari 0 dan satu dari 1. Augmentasi ini kemudian akan menjadi versi yang lebih umum dari "+2 penaksir binomial" (ada nama yang lebih tepat untuk penaksir ini yang saya kosongkan, yang pada dasarnya ketika Anda memperkirakan dari distribusi binomial menggunakan mean posterior sebagai estimasi dengan seragam sebelum ).

y_{*}

$y_*$

y_{*}

$y_*$

p

$p$

p

$p$

Cliff AB

@ Mark Terima kasih atas koreksinya. Anda bisa tahu saya pergi dari memori ... :-).

Whuber

20

Derivasi termasuk kalkulus matriks, yang bisa sangat membosankan. Kami ingin mengatasi masalah berikut:

min_{β} (Y - β^{T} X)^{T} (Y - β^{T} X) + λ β^{T} β

$\begin{equation} \min_\beta (Y-\beta^T X)^T(Y-\beta^T X)+\lambda \beta^T \beta \end{equation}$

Sekarang perhatikan bahwa dan Bersama-sama kita mencapai kondisi urutan pertama Mengisolasi menghasilkan solusi:

\frac{\partial (Y - β^{T} X)^{T} (Y - β^{T} X)}{\partial β} = - 2 X^{T} (Y - β^{T} X)

$\begin{equation} \frac{\partial (Y-\beta^T X)^T (Y-\beta^T X)}{\partial \beta}=-2X^T(Y-\beta^T X) \end{equation}$

\frac{\partial λ β^{T} β}{\partial β} = 2 λ β .

$\begin{equation} \frac{\partial \lambda \beta^T \beta}{\partial \beta}=2\lambda\beta. \end{equation}$

X^{T} Y = X^{T} X β + λ β .

$\begin{equation} X^TY = X^TX\beta + \lambda\beta. \end{equation}$

β

$\beta$

β = (X^{T} X + λ I)^{- 1} X^{T} Y .

$\begin{equation} \beta = (X^TX+ \lambda I )^{-1}X^T Y. \end{equation}$

pthesling
sumber

9

Saya baru-baru ini menemukan pertanyaan yang sama dalam konteks P-Splines dan karena konsepnya sama, saya ingin memberikan jawaban yang lebih terperinci tentang derivasi penaksir bubungan.

Kita mulai dengan fungsi kriteria hukuman yang berbeda dari fungsi kriteria OLS klasik dengan istilah hukumannya di ringkasan terakhir:

$Criterion_{Ridge} = \sum_{i=1}^{n}(y_i-x_i^T\beta)^2 + \lambda \sum_{j=1}^p\beta_j^2$

dimana

$p=$ jumlah kovariabel yang digunakan dalam model
$x_i^T\beta =$ prediktor linier standar Anda
summand pertama mewakili MSE (kuadrat divergensi dari prediksi dari nilai aktual) yang ingin kita perkecil seperti biasa
sumand kedua mewakili hukuman yang kita terapkan pada koefisien. Di sini kita berada dalam konteks Ridge yang menyiratkan Ukuran Jarak Euclidian dan karenanya derajat 2 dalam istilah hukuman. Dalam kasus Penetrasi Lasso kita akan menerapkan derajat 1 dan menghasilkan penaksir yang sama sekali berbeda.

Kita dapat menulis ulang kriteria ini dalam notasi matriks dan selanjutnya memecahnya:

$Criterion_{Ridge} = (y-X\beta)^T(y-X\beta) + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - y^TX\beta+ \beta^Tx^TX\beta + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - \beta^TX^Ty + \beta^TX^TX\beta + \beta^T\lambda I\beta$ dengan menjadi matriks identitas $I$

$= y^Ty - 2\beta^TX^Ty + \beta^T(X^TX + \lambda I)\beta$

Sekarang kami mencari yang meminimalkan kriteria kami. Di antara yang lainnya, kami menggunakan aturan diferensiasi matriks yang dapat kita gunakan berlaku di sini sebagai : $\beta$ $\frac{\partial x^TAx}{\partial x} = (A+A^T)x \overset{\text{A symmetric}}{=} 2Ax$ $(X^TX + \lambda I) \in \mathbb{R}^{n \times n}$

$\frac{\partial Criterion_{Ridge} }{\partial\beta} = -2X^Ty + 2(X^TX + \lambda I)\beta \overset{!}{=}0$

$(X^TX + \lambda I)\beta = X^Ty$

$\overset{\text{et voilà}}{\Rightarrow} \hat\beta = (X^TX + \lambda I)^{-1} X^Ty$

Jann Goschenhofer
sumber

@Jahn, bisa tolong jelaskan bagaimana menjadi ? Saya pikir Anda baru saja menerapkan transpos di atasnya, kan. Tapi, Anda tidak bisa hanya menerapkan transpos pada satu istilah tanpa menerapkannya pada semua persamaan. Apa yang kulewatkan di sini?

y^{T} X β

$y^TX\beta$

β^{T} X^{T} y

$\beta ^TX^Ty$

theateist

1

@theateist Skalar yang dialihkan adalah skalar yang sama.

Konstantin

2

Ada beberapa hal penting yang hilang dalam jawaban yang diberikan.

Solusi untuk berasal dari kondisi urutan pertama yang diperlukan: yang menghasilkan . Tetapi apakah ini cukup? Artinya, solusinya adalah minimum global hanya jika benar-benar cembung. Ini bisa terbukti benar. $\beta$ $\frac{\partial f_{ridge}(\beta, \lambda)}{\partial \beta} = 0$ $\beta = (X^TX+ \lambda I )^{-1}X^T Y$ $f_{ridge}(\beta, \lambda)$
Cara lain untuk melihat masalahnya adalah dengan melihat kesetaraan antara dan dibatasi menjadi . OLS adalah singkatan dari Ordinary Least Squares. Dari perspektif ini hanyalah fungsi Lagrangian yang digunakan untuk menemukan minimum global fungsi objektif cembung dibatasi dengan fungsi cembung . $f_{ridge}(\beta, \lambda)$ $f_{OLS}(\beta) = (Y-\beta^T X)^T(Y-\beta^T X)$ $||\beta||^2_2 \leq t$ $f_{ridge}(\beta, \lambda)$ $f_{OLS}(\beta)$ $||\beta||^2_2$

Penjelasan yang baik tentang poin-poin ini dan derivasi dapat ditemukan dalam catatan kuliah yang bagus ini: http://math.bu.edu/people/cgineste/classes/ma575/p/w14_1.pdf $\beta$

Davor Josipovic
sumber

Bagaimana cara mendapatkan solusi regresi ridge?

Jawaban: