Bisakah meningkat ketika

11

Jika $\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1$ , dapat $\|\beta^*\|_2$ meningkat saat $\lambda$ meningkat?

Saya pikir ini mungkin. Meskipun $\|\beta^*\|_1$ tidak meningkat ketika $\lambda$ meningkat ( bukti saya ), $\|\beta^*\|_2$ dapat meningkat. Gambar di bawah ini menunjukkan kemungkinan. Ketika $\lambda$ meningkat, jika $\beta^*$ bergerak (linear) dari $P$ ke $Q$ , maka $\|\beta^*\|_2$ meningkat sementara $\|\beta^*\|_1$ berkurang. Tapi saya tidak tahu bagaimana membangun contoh konkret (yaitu, untuk membangun $X$ dan $y$ ), sehingga profil $\beta^*$ menunjukkan perilaku ini. Ada ide? Terima kasih.

masukkan deskripsi gambar di sini

lasso ziyuang
sumber

10

Jawabannya adalah ya, dan Anda memiliki bukti grafis di di sana. $\ell_2$

Cari definisi kesetaraan norma vektor. Anda akan menemukan bahwa mana adalah dimensi vektor . Oleh karena itu, ada beberapa ruang gerak untuk norma , dibandingkan dengan norma .

‖ x ‖_{2} \leq ‖ x ‖_{1} \leq \sqrt{n} ‖ x ‖_{2},

$\|x\|_2 \leq \|x\|_1 \leq \sqrt{n}\|x\|_2,$

n

$n$

x

$x$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

Faktanya, masalah yang ingin Anda selesaikan dapat dinyatakan sebagai:

Temukan sedemikian rupa sehingga pada saat yang bersamaan $d$

‖ x + d ‖_{2} > ‖ x ‖_{2}

$\|x + d\|_2 > \|x\|_2$

‖ x + d ‖_{1} < ‖ x ‖_{1} .

$\|x + d\|_1 < \|x\|_1.$

ketimpangan pertama, perluas dan lihat bahwa dan itu, dengan mengasumsikan bahwa dan , kita memperoleh dari ketidaksetaraan kedua bahwa kita harus memiliki Setiap yang memenuhi batasan ini akan meningkatkan norma sambil menurunkan norma .

2 \sum_{i} x_{i} d_{i} > - \sum_{i} d_{i}^{2}

$2\sum_i x_id_i > -\sum_i d_i^2$

x_{i} \geq 0

$x_i\geq0$

x_{i} + d_{i} \geq 0

$x_i+d_i\geq0$

\sum_{i} d_{i} < 0.

$\sum_i d_i < 0.$

d

$d$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

Dalam contoh Anda, , , dan dan $d\approx[-0.4, 0.3]^T$ $x:=P\approx[0.5, 0.6]^T$

\sum_{i} d_{i} \approx - 0.1 < 0,

$\sum_i d_i\approx-0.1<0,$

2 \sum_{i} P_{i} d_{i} \approx - 0.04 > - 0.25 \approx - \sum_{i} d_{i}^{2} .

$2\sum_i P_id_i\approx-0.04 > -0.25 \approx -\sum_i d_i^2.$

Tommy L
sumber

Tapi bagaimana hubungannya dengan konstruksi dan ?

X

$X$

y

$y$

ziyuang

3

Terima kasih atas jawaban @ TommyL, tetapi jawabannya tidak langsung pada konstruksi dan . Saya entah bagaimana "memecahkan" ini sendiri. Pertama, ketika meningkat, tidak akan meningkat ketika setiap berkurang secara monoton. Ini terjadi ketika adalah ortonormal, di mana kita miliki $X$ $y$ $\lambda$ $\|\beta^*\|_2$ $\beta^*_i$ $X$

β_{i}^{*} = s i g n (β_{i}^{L S}) (β_{i}^{L S} - λ)_{+}

$\beta^*_i=\mathrm{sign}(\beta_i^{\mathrm{LS}})(\beta_i^{\mathrm{LS}}-\lambda)_+$

Secara geometris, dalam situasi ini bergerak tegak lurus dengan kontur norma , sehingga tidak dapat meningkat. $\beta^*$ $\ell_1$ $\|\beta^*\|_2$

Sebenarnya, Hastie et al. disebutkan dalam makalah Maju regresi stagewise dan monoton laso , kondisi yang diperlukan dan cukup dari monotonitas jalur profil:

masukkan deskripsi gambar di sini

Dalam Bagian 6 dari makalah mereka membangun set data buatan berdasarkan fungsi dasar piecewise-linear yang melanggar kondisi di atas, menunjukkan non-monotonicity. Tetapi jika kita beruntung, kita juga dapat membuat set data acak yang menunjukkan perilaku yang sama tetapi dengan cara yang lebih sederhana. Ini kode R saya:

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

Saya sengaja membiarkan kolom sangat berkorelasi (jauh dari kasus orthonormal), dan true memiliki entri positif dan negatif yang besar. Ini profil (tidak mengherankan hanya 5 variabel yang diaktifkan): $X$ $\beta$ $\beta^*$

masukkan deskripsi gambar di sini

dan hubungan antara dan : $\lambda$ $\|\beta^*\|_2$

masukkan deskripsi gambar di sini

Jadi kita dapat melihat bahwa untuk beberapa interval , meningkat seiring meningkat. $\lambda$ $\|\beta^*\|_2$ $\lambda$

ziyuang
sumber

Bisakah meningkat ketika

Jawaban: