Apakah ada serangkaian kondisi yang jelas di mana jalur larutan laso, punggungan, atau jaring elastis adalah monoton?

Pertanyaan Apa yang harus disimpulkan dari plot laso ini (glmnet) menunjukkan jalur solusi untuk estimator laso yang tidak monoton. Artinya, beberapa kopi tumbuh dalam nilai absolut sebelum menyusut.

Saya telah menerapkan model ini pada beberapa jenis kumpulan data yang berbeda dan tidak pernah melihat perilaku ini "di alam liar," dan sampai hari ini mengasumsikan bahwa mereka selalu monoton.

Apakah ada serangkaian kondisi di mana jalur solusi dijamin monoton? Apakah itu memengaruhi interpretasi hasil jika jalurnya berubah arah?

lasso ridge-regression elastic-net shadowtalker
sumber

Monoton dalam arti apa? Sepertinya tidak terlalu berarti bagi saya jika Anda ingin memperlakukannya sebagai grafik beberapa fungsi.

Henry.L

@ Henry.L Pertanyaannya dapat diulangi sebagai: kapan benar berikut: untuk , kita memilikinya untuk semua , di mana . Artinya, laso secara seragam menyusut secara komponen. Bisakah Anda menjelaskan apa yang Anda ragukan bermakna?

λ_{1} \geq λ_{2}

$\lambda_1 \ge \lambda_2$

({\hat{β}}_{λ_{2}})_{j} \geq ({\hat{β}}_{λ_{1}})_{j}

$(\hat\beta_{\lambda_2})_j \ge (\hat\beta_{\lambda_1})_j$

j

$j$

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\hat\beta_\lambda = \arg\min_\beta \frac{1}{2n}\|y-X\beta\|_2^2 + \lambda \|\beta\|_1$

user795305

catatan: memahami cara di mana lasso menyusut koefisien adalah topik dari kedua pertanyaan ini dan stats.stackexchange.com/questions/145299/…

user795305

Saya tidak tahu bagaimana saya melewatkan ini sebelumnya, pertanyaan dijawab untuk laso pada respon OP untuk pertanyaannya sendiri dalam pertanyaan di atas.

user795305

Jawaban:

Saya bisa memberi Anda cukup syarat untuk jalan menjadi monoton: desain ortonormal dari $X$ .

Misalkan matriks desain ortonormal, yaitu, dengan variabel dalam , kita memiliki . Dengan desain ortonormal, koefisien regresi OLS hanyalah . $p$ $X$ $\frac{X'X}{n} = I_p$ $\hat{\beta}^{ols} = \frac{X'y}{n}$

Kondisi Karush-Khun-Tucker untuk LASSO dengan demikian mempermudah untuk:

\frac{X^{'} y}{n} = {\hat{β}}^{l Sebuah s s Hai} + λ s ⟹ {\hat{β}}^{Hai l s} = {\hat{β}}^{l Sebuah s s Hai} + λ s

$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$

Di mana adalah gradien sub. Karenanya, untuk setiap kita memiliki , dan kami memiliki solusi formulir tertutup untuk perkiraan laso: $s$ $j\in \{1, \dots, p\}$ $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$

{\hat{β}}_{j}^{l Sebuah s s Hai} = s saya g n ({\hat{β}}_{j}^{Hai l s}) {(| {\hat{β}}_{j}^{Hai l s} | - λ)}_{+}

$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$

Yang monoton di . Meskipun ini bukan kondisi yang diperlukan, kita melihat bahwa non-monotonicity harus berasal dari korelasi dari kovariat di . $\lambda$ $X$

Carlos Cinelli
sumber