Kelompok jaring elastis

Laso dan jaring elastis tidak mampu menangani variabel dengan lebih dari dua kategori dan oleh karena itu pemisahan variabel kategorikal menjadi boneka diperlukan untuk penerapan metode ini. Ini dapat mengakibatkan beberapa masalah dan oleh karena itu ada ekstensi untuk laso ke laso kelompok atau laso kelompok jarang .

Namun, saya bertanya-tanya apakah ekstensi tersebut juga ada untuk jaring elastis. Sayangnya, saya tidak dapat menemukan literatur statistik tentang topik tersebut.

Pertanyaan: Apakah ada jaring elastis kelompok?

machine-learning categorical-data feature-selection lasso elastic-net JSP
sumber

Lihatlah paket glmnet R ...

kjetil b halvorsen

Ya, saya pikir itu benar.

kjetil b halvorsen

Dalam arti yang sangat nyata, "jaring elastis grup" ini hanyalah versi "laso grup" tempat grup diizinkan untuk tumpang tindih. Misalnya, jika

G

$\mathcal{G}$ adalah kumpulan grup Anda, lalu jalankan laso grup

G \cup {{1, \dots, p}}

$\mathcal{G} \cup \{ \{1, \dots, p\} \}$ , di mana kami menganggap ada

p

$p$ fitur. Ini akan setara dengan jaring elastis grup hingga reparameterisasi dari pengontrol parameter tuning

{1, \dots, p}

$\{1, \dots, p\}$ .

user795305

Set

G \cup {{1, \dots, p}}

$\mathcal{G} \cup \{\{1, \dots, p\}\}$ tidak lagi menjadi partisi, tidak seperti

G

$\mathcal{G}$ diri. (Ini adalah komentar yang tumpang tindih.) Bagian tentang parameterisasi yang berbeda hanya berkaitan dengan fungsi tujuan yang saya diskusikan sebagai reparameterisasi dari yang mungkin Anda diskusikan. Komentar ini sebagian besar dapat diabaikan begitu saja. Juga, prosedur yang disarankan @kjetilbhalvorsen tampaknya tidak benar. Pengelompokan yang dibahas ada ketika ada tanggapan multivariat. Itu berbeda. Namun, Anda dapat, misalnya, menggunakan gglassopaket untuk melakukan ini.

user795305

(Catatan: Jangan beri spasi setelah "@", jika tidak pengguna tidak akan diberi tahu.)

user795305

Membiarkan $\mathcal{G}$ jadilah kelompok yang Anda minati; itu, biarkan $\mathcal{G}$ menjadi partisi $\{1, \dots, p\}$ , di mana kami menganggap ada $p$ fitur. Dengan tanggapan $y \in \mathbb{R}^n$ dan matriks desain $X \in \mathbb{R}^{n \times p}$ , penaksir laso grup adalah

\arg min_{β \in R^{p}} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} .

$\arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2.$ Menerapkan penalti kuadrat lain untuk menginduksi penyusutan keseluruhan, kami akan mendapatkan estimatorKita mungkin menyebutnya "jaring elastis kelompok". Dengan dualitas Lagrangian, kita dapat menulis

ℓ_{2}

$\ell_2$

\arg min_{β \in R^{p}} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} + μ ‖ β ‖_{2}^{2} .

$\arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \mu \|\beta\|_2^2.$

\begin{aligned} \arg min_{β \in R^{p}} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} + μ ‖ β ‖_{2}^{2} \\ = \arg min_{β \in R^{p} : ‖ β ‖_{2}^{2} \leq C} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} \\ = \arg min_{β \in R^{p} : ‖ β ‖_{2} \leq \sqrt{C}} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} \\ = \arg min_{β \in R^{p}} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} + \tilde{μ} ‖ β ‖_{2} \\ = \arg min_{β \in R^{p}} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + (λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} + {\tilde{μ}}^{'} p^{1 / 2} ‖ β ‖_{2}), \end{aligned}

$\begin{align*} \arg\min_{\beta \in \mathbb{R}^p} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \mu \|\beta\|_2^2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p \, : \, \|\beta\|_2^2 \leq C} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p \, : \, \|\beta\|_2 \leq \sqrt{C}} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \tilde\mu \|\beta\|_2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p} & \frac{1}{2n} \|y - X \beta \|_2^2 + \left( \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \tilde\mu' p^{1/2} \|\beta\|_2 \right), \end{align*}$ di mana adalah variabel ganda yang sesuai dan . Seperti yang dapat kita lihat, ungkapan terakhir ini adalah grup laso dengan grup "tumpang tindih", karena tidak lagi menjadi partisi. Lebih lanjut, grup memiliki variabel ganda (atau variabel penyetelan) yang berbeda dari variabel ganda untuk grup lain.

\tilde{μ}

$\tilde\mu$

{\tilde{μ}}^{'} = p^{- 1 / 2} \tilde{μ}

$\tilde\mu' = p^{-1/2} \tilde\mu$

G \cup {1, \dots, p}

$\mathcal{G} \cup \{1, \dots, p\}$

{1, \dots, p}

$\{1, \dots, p\}$

\tilde{μ}

$\tilde\mu$

λ

$\lambda$

Ini bisa jadi masalah optimisasi bisa diselesaikan dengan menggunakan paket gglasso. Membaca bagian pada halaman 9 dari dokumentasi di sini akan memberi tahu Anda tentang gglassofungsi yang harus digunakan. Perhatikan bahwa argumen pmaxharus diberikan secara manual dengan komponen terakhir yang akan berfungsi sebagai parameter tuning.

pengguna795305
sumber

Kelompok jaring elastis

Jawaban: