Menerapkan regresi punggungan untuk sistem persamaan yang tidak ditentukan?

Ketika , masalah kuadrat terkecil yang memaksakan pembatasan bola pada nilai dapat ditulis sebagai untuk sistem yang ditentukan secara berlebihan. \ | \ cdot \ | _2 adalah norma Euclidean dari suatu vektor.$y = X\beta + e$$\delta$$\beta$

$$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$$ $\|\cdot\|_2$

Solusi yang sesuai untuk $\beta$ diberikan oleh

$$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$$ yang dapat diturunkan dari metode pengali Lagrange ( $\lambda$ adalah pengali): $$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$$

Saya mengerti bahwa ada properti yang

$$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$$ Sisi kanan menyerupai pseudo-invers dari matriks regressor $X$ dalam kasus yang tidak ditentukan (dengan parameter regularisasi ditambahkan, $\lambda$ ). Apakah ini berarti bahwa ekspresi yang sama dapat digunakan untuk memperkirakan $\beta$ untuk case yang tidak ditentukan? Apakah ada derivasi terpisah untuk ekspresi terkait dalam kasus yang tidak ditentukan, karena batasan pembatasan bola berlebihan dengan fungsi tujuan (norma minimum $\beta$ ):

$$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$$

Dimulai dengan rumusan masalah regresi ridge sebagai

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

Anda dapat menulis masalahnya sebagai

$\min \| A\beta - b \|_{2}^{2}$

dimana

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

dan

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

Matriks memiliki rank kolom penuh karena bagian. Dengan demikian masalah kuadrat terkecil sebagai solusi yang unik$A$$\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

Menulis ini dalam bentuk dan , dan menyederhanakan banyak 0, kita dapatkan$X$$y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

Tidak ada dalam derivasi ini bergantung pada apakah memiliki lebih banyak baris atau kolom, atau bahkan pada apakah memiliki peringkat penuh. Formula ini berlaku untuk kasus yang tidak ditentukan. $X$$X$

Ini adalah fakta aljabar bahwa untuk ,$\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

Jadi kami juga memiliki opsi untuk menggunakan

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ .

Untuk menjawab pertanyaan spesifik Anda:

1. Ya, kedua rumus berfungsi untuk kasus yang tidak ditentukan serta kasus yang ditentukan lebih lanjut. Mereka juga bekerja jika kurang dari minimum jumlah baris dan kolom dari . Versi kedua dapat lebih efisien untuk masalah yang tidak ditentukan karena lebih kecil dari dalam kasus itu. $\mbox{rank}(X)$$X$$XX^{T}$$X^{T}X$

2. Saya tidak mengetahui adanya penurunan versi alternatif dari rumus yang dimulai dengan beberapa masalah kuadrat terkecil teredam lainnya dan menggunakan persamaan normal. Dalam kasus apa pun Anda dapat menurunkannya secara langsung menggunakan sedikit aljabar.

Mungkin saja Anda memikirkan masalah regresi ridge dalam formulir

$\min \| \beta \|_{2}^{2}$

tunduk pada

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

Namun, versi masalah regresi ridge ini hanya mengarah ke masalah kuadrat terkecil teredam yang sama .$\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$