Membalikkan regresi ridge: diberikan matriks respons dan koefisien regresi, temukan prediktor yang sesuai

Pertimbangkan masalah regresi OLS standar$\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}$: Saya memiliki matriks $\Y$ dan $\X$ dan saya ingin mencari $\B$ untuk meminimalkan

$$L=\|\Y-\X\B\|^2.$$ Solusinya diberikan oleh $$\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y.$$

Saya juga dapat menimbulkan masalah "terbalik": mengingat $\Y$ dan $\B^*$ , cari $\hat\X$ yang akan menghasilkan $\hat\B\approx \B^*$ , yaitu akan meminimalkan $\|\argmin_\B\{L\}-\B^*\|^2$ . Dengan kata lain, saya memiliki matriks respons $\Y$ dan vektor koefisien $\B^*$ dan saya ingin menemukan matriks prediktor yang akan menghasilkan koefisien yang mendekati $\B^*$ . Ini, tentu saja, juga merupakan masalah regresi OLS dengan solusi

$$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \Y\B^\top(\B\B^\top)^{+}.$$

Pembaruan klarifikasi: Seperti yang dijelaskan oleh @ GeoMatt22 dalam jawabannya, jika $\Y$ adalah vektor (yaitu jika hanya ada satu variabel respons), maka $\hat \X$ akan menjadi peringkat satu, dan masalah kebalikannya secara besar-besaran belum ditentukan. Dalam kasus saya, $\Y$ sebenarnya adalah sebuah matriks (yaitu ada banyak variabel respon, ini adalah regresi multivariat ). Jadi $\X$ adalah $n\times p$ , $\Y$ adalah $n\times q$ dan $\B$ adalah $p\times q$ .

---

Saya tertarik untuk memecahkan masalah "terbalik" untuk regresi ridge. Yaitu, fungsi kerugian saya sekarang adalah

$$L=\|\Y-\X\B\|^2+\mu\|\B\|^2$$ dan solusinya adalah $$\hat\B=\argmin_\B\{L\}=(\X^\top \X+\mu\mathbf I)^{-1}\X^\top \Y.$$

Masalah "kebalikan" adalah menemukan

$$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \;?$$

Sekali lagi, saya memiliki matriks respons $\Y$ dan vektor koefisien $\B^*$ dan saya ingin menemukan matriks prediktor yang akan menghasilkan koefisien yang mendekati $\B^*$ .

Sebenarnya ada dua formulasi terkait:

1. Temukan $\hat\X$ diberikan $\Y$ dan $\B^*$ dan $\mu$ .
2. Temukan dan diberikan dan . μ Yβ$\hat\X$$\hat \mu$$\Y$$\B^*$

Apakah keduanya memiliki solusi langsung?

---

Berikut adalah kutipan singkat Matlab untuk menggambarkan masalah:

% generate some data
n = 10; % number of samples
p = 20; % number of predictors
q = 30; % number of responses
Y = rand(n,q);
X = rand(n,p);
mu = 0;
I = eye(p);

% solve the forward problem: find beta given y,X,mu
betahat = pinv(X'*X + mu*I) * X'*Y;

% backward problem: find X given y,beta,mu
% this formula works correctly only when mu=0
Xhat =  Y*betahat'*pinv(betahat*betahat');

% verify if Xhat indeed yields betahat
betahathat = pinv(Xhat'*Xhat + mu*I)*Xhat'*Y;
max(abs(betahathat(:) - betahat(:)))

Kode ini menghasilkan nol jika mu=0tetapi tidak sebaliknya.

Sekarang pertanyaannya telah menyatu pada rumusan masalah bunga yang lebih tepat, saya telah menemukan solusi untuk kasus 1 (parameter ridge dikenal). Ini juga harus membantu untuk kasus 2 (bukan solusi analitis tepat, tetapi formula sederhana dan beberapa kendala).

Ringkasan: Tak satu pun dari dua formulasi masalah terbalik memiliki jawaban yang unik. Dalam kasus 2 , di mana parameter ridge tidak diketahui, ada banyak solusi X ω , untuk ω ∈ [ $\mu\equiv\omega^2$$X_\omega$ . Dalam kasus 1, di mana ω diberikan, ada sejumlah solusi terbatas untuk X ω , karena ambiguitas dalam spektrum nilai singular.$\omega\in[0,\omega_\max]$$\omega$$X_\omega$

(Derivasinya agak panjang, jadi TL, DR: ada kode Matlab yang berfungsi di akhir.)

---

Kasus yang Tidak Ditentukan ("OLS")

Masalah ke depan adalah mana X ∈ R n × p , B ∈ R p

$$\min_B\|XB-Y\|^2$$ $X\in\mathbb{R}^{n\times p}$ , danY∈ R n × $B\in\mathbb{R}^{p\times q}$$Y\in\mathbb{R}^{n\times q}$ .

Berdasarkan pertanyaan diperbarui, kami akan menganggap , sehingga B berada di bawah ditentukan diberikan X dan Y . Seperti dalam pertanyaan, kita akan mengasumsikan solusi "default" (minimum L 2 -norm) B = X + Y di mana X + adalah pseudoinverse dari $n<p<q$$B$$X$$Y$$L_2$

$$B=X^+Y$$ $X^+$$X$ .

Dari dekomposisi nilai singular ( SVD ) , diberikan oleh * X = U S V T = U S 0 V T 0 pseudoinverse dapat dihitung sebagai ** X + = V S + U T = V 0 S - 1 0 U T (* Ekspresi pertama menggunakan SVD lengkap, sedangkan ekspresi kedua menggunakan SVD tereduksi. ** Untuk kesederhanaan saya menganggap X memiliki peringkat penuh, yaitu S - 1 0 ada.)$X$

$$X=USV^T=US_0V_0^T$$ $$X^+=VS^+U^T=V_0S_0^{-1}U^T$$ $X$$S_0^{-1}$

Jadi masalah ke depan memiliki solusi Untuk referensi di masa mendatang, saya perhatikan bahwa S 0 = d i a g

$$B\equiv X^+Y=\left(V_0S_0^{-1}U^T\right)Y$$ , di mana σ 0 > 0 adalah vektor nilai-nilai singular.$S_0=\mathrm{diag}(\sigma_0)$$\sigma_0>0$

Dalam masalah terbalik, kita diberi dan $Y$$B$ . Kita tahu bahwa berasal dari proses di atas, tapi kita tidak tahu X . Tugasnya adalah menentukan X yang sesuai .$B$$X$$X$

Seperti dicatat dalam pertanyaan yang diperbarui, dalam hal ini kita dapat memulihkan menggunakan dasarnya pendekatan yang sama, yaitu $X$ sekarang menggunakan pseudoinverse dari B .

$$X_0=YB^+$$ $B$

---

Over-ditentukan Case (Penaksir Ridge)

Dalam kasus "OLS", masalah yang belum ditentukan diselesaikan dengan memilih solusi norma minimum , yaitu solusi "unik" kami diatur secara implisit .

Daripada memilih solusi norma minimum , di sini kami memperkenalkan parameter untuk mengontrol "seberapa kecil" norma tersebut, yaitu kami menggunakan regresi ridge .$\omega$

Dalam hal ini, kami memiliki serangkaian masalah ke depan untuk , k = 1 , ... , q , yang diberikan oleh min β ‖ X β - y k ‖ 2 + ω 2 ‖ β ‖ 2 Mengumpulkan kiri dan kanan yang berbeda vektor sisi tangan ke B ω = [ β 1 , … , β k$\beta_k$$k=1,\ldots,q$

$$\min_\beta\|X\beta-y_k\|^2+\omega^2\|\beta\|^2$$ koleksi ini masalah dapat dikurangi dengan "OLS" berikut masalah min B ‖ X ω B - Y ‖ 2 di mana kami telah memperkenalkan matriks augmented X ω = [ X ω $$B_{\omega}=[\beta_1,\ldots,\beta_k] \quad,\quad Y=[y_1,\ldots,y_k]$$ $$\min_B\|\mathsf{X}_\omega B-\mathsf{Y}\|^2$$ $$\mathsf{X}_\omega=\begin{bmatrix}X \\ \omega I\end{bmatrix} \quad , \quad \mathsf{Y}=\begin{bmatrix}Y \\ 0 \end{bmatrix}$$

Dalam kasus yang ditentukan berlebihan ini, solusinya masih diberikan oleh pseudo-invers tetapi pseudo-invers sekarang berubah, menghasilkan * B ω = ( V 0 S - 2 ω U T ) Y di mana matriks "singularitas spektrum" yang baru memiliki (terbalik) diagonal ** σ 2 ω = σ 2

$$B_\omega = \mathsf{X}^+\mathsf{Y}$$ $$B_\omega = \left(V_0S_\omega^{-2}U^T\right) Y$$ (* Perhitungan agak terlibat yang diperlukan untuk menurunkan ini telah dihilangkan demi singkatnya. Ini mirip dengan penjelasan disiniuntuk kasusp≤n. ** Di sini entri darivektorσωdiekspresikan dalam bentuk yangσ $$\sigma_\omega^2 = \frac{\sigma_0^2+\omega^2}{\sigma_0}$$ $p\leq n$$\sigma_\omega$$\sigma_0$ vektor, di mana semua operasi entry-bijaksana.)

Sekarang dalam masalah ini kita masih dapat secara resmi memulihkan "solusi dasar" seperti

$$X_\omega=YB_\omega^+$$ tetapi ini bukan solusi yang benar lagi.

Namun, analoginya masih berpendapat bahwa "solusi" ini memiliki SVD dengan nilai singular σ 2

$$X_\omega=US_\omega^2V_0^T$$ $\sigma_\omega^2$ diberikan di atas.

$\sigma_0$$\sigma_\omega^2$$\omega$

$$\sigma_0=\bar{\sigma} \pm \Delta\sigma \quad , \quad \bar{\sigma} = \tfrac{1}{2}\sigma_\omega^2 \quad , \quad \Delta\sigma = \sqrt{\left(\bar{\sigma}+\omega\right)\left(\bar{\sigma}-\omega\right)}$$

---

$X$$\bar{\sigma}\pm\Delta\sigma$sgn$+$$-$$\omega=0$$+$$\omega$$\omega$$-$

% Matlab demo of "Reverse Ridge Regression"
n = 3; p = 5; q = 8; w = 1*sqrt(1e+1); sgn = -1;
Y = rand(n,q); X = rand(n,p);
I = eye(p); Z = zeros(p,q);
err = @(a,b)norm(a(:)-b(:),Inf);

B = pinv([X;w*I])*[Y;Z];
Xhat0 = Y*pinv(B);
dBres0 = err( pinv([Xhat0;w*I])*[Y;Z] , B )

[Uw,Sw2,Vw0] = svd(Xhat0, 'econ');

sw2 = diag(Sw2); s0mid = sw2/2;
ds0 = sqrt(max( 0 , s0mid.^2 - w^2 ));
s0 = s0mid + sgn * ds0;
Xhat = Uw*diag(s0)*Vw0';

dBres = err( pinv([Xhat;w*I])*[Y;Z] , B )
dXerr = err( Xhat , X )
sigX = svd(X)', sigHat = [s0mid+ds0,s0mid-ds0]' % all there, but which sign?

$B$$p$$n$

$\omega$$\omega$

$$\omega \leq \omega_{\max} = \bar{\sigma}_n = \min[\tfrac{1}{2}\sigma_\omega^2]$$

---

$\hat{X}$$B$$\sigma_0$$\mathrm{SVD}[X]$

Xrnd=Uw*diag(s0mid+sign(randn(n,1)).*ds0)*Vw0'; % random signs
dBrnd=err(pinv([Xrnd;w*I])*[Y;Z],B) % B is always consistent ...
dXrnd=err(Xrnd,X) % ... even when X is not