Regulatorisasi yang menginduksi sparsitas untuk matriks stokastik

10

Sudah diketahui umum (misalnya dalam bidang penginderaan tekan) bahwa norma adalah "penginduksian sparsitas," dalam arti bahwa jika kita meminimalkan fungsional (untuk matriks tetap dan vektor ) untuk ukuran yang cukup besar , kami cenderung untuk banyak pilihan , , dan untuk memiliki banyak entri yang persis nol dalam hasil . $L_1$ $A$ $\vec{b}$

f_{A, \vec{b}} (\vec{x}) = ‖ A \vec{x} - \vec{b} ‖_{2}^{2} + λ ‖ \vec{x} ‖_{1}

$f_{A,\vec{b}}(\vec{x})=\|A\vec{x}-\vec{b}\|_2^2+\lambda\|\vec{x}\|_1$

λ > 0

$\lambda>0$

A

$A$

\vec{b}

$\vec{b}$

λ

$\lambda$

\vec{x}

$\vec{x}$

Tetapi jika kita meminimalkan $f_{A,\vec{b}}$ dengan syarat bahwa entri $\vec{x}$ positif dan jumlah ke $1$ , maka istilah $L_1$ tidak memiliki efek apa pun (karena $\|\vec{x}\|_1=1$ oleh fiat). Apakah ada regulator tipe- analog $L_1$ yang berfungsi dalam kasus ini untuk mendorong bahwa yang dihasilkan $\vec{x}$ jarang?

regression matrix normalization regularization sparse Justin Solomon
sumber

Bisakah Anda menguraikan "maka istilah

L_{1}

$L_1$ tidak memiliki efek apa pun (karena

| | x | |_{1} = 1

$||x||_1 = 1$ oleh fiat)"?

Cam.Davidson.Pilon

2

@ Cam.Davidson.Pilon:

x_{i} \geq 0

$x_i \geq 0$ dan

\sum_{i} x_{i} = 1

$\sum_i x_i = 1$ menyiratkan

‖ x ‖_{1} = 1

$\|x\|_1 = 1$ . :)

kardinal

1

Justin: Beberapa perincian lagi mungkin memberi peluang yang lebih baik pada jawaban yang bermanfaat. Berikut adalah beberapa pertanyaan yang segera muncul setelah membaca deskripsi Anda: ( 1 ) Di mana "matriks stokastik" dalam semua ini? Anda sepertinya hanya menggambarkan situasi yang melibatkan vektor stokastik . Ini bisa saja berupa baris individual dari matriks stokastik Anda, atau struktur lain mungkin menjadi jelas setelah lebih banyak detail hadir. ( 2 ) Anda ingin probabilitas itu sendiri jarang, atau mungkin, jarang dalam dasar yang tepat? Jika dulu, mengapa? (Apakah ini beberapa jalan acak pada grafik berbobot (jarang)?)

kardinal

Mengapa Anda mengharuskan entri dari yang positif ? Haruskah Anda malah meminta mereka tidak negatif ? Juga, sudahkah Anda mempertimbangkan re-parameterisasi untuk menghilangkan kendala (dengan asumsi maksud Anda non-negatif)? Dengan kata lain, coba

\vec{x}

$\vec x$

x_{i} = \frac{\exp (w_{i})}{\sum_{j} \exp (w_{j})}

$x_i = \frac{\exp(w_i)}{\sum_j \exp(w_j)}$

jrennie

1

@rennie: Mengingat konteksnya, Justin yang positif pastilah berarti tidak negatif .

kardinal

2

Metode umum untuk membuat solusi jarang adalah melalui estimasi MAP dengan nol rata-rata normal sebelum dengan varian yang tidak diketahui.

p (x_{i} | σ_{i}^{2}) \sim N (0, σ_{i}^{2})

$p(x_i|\sigma_i^2)\sim N(0,\sigma_i^2)$

Jika Anda kemudian menetapkan sebelum ke yang memiliki mode nol, maka mode posterior biasanya jarang. The muncul dari pendekatan ini dengan mengambil distribusi pencampuran eksponensial. $\sigma_i^2$ $L_1$

p (σ_{i}^{2} | λ) \sim E x p o (\frac{λ^{2}}{2})

$p(\sigma_i^2|\lambda)\sim Expo\left(\frac{\lambda^2}{2}\right)$

Lalu kamu dapatkan

\log [p (x_{i} | λ)] = - λ | x_{i} | + \log [\frac{λ}{2}]

$\log[p(x_i|\lambda)]=-\lambda | x_i|+\log\left[\frac{\lambda}{2}\right]$

Beberapa alternatif adalah pareto ganda umum, setengah cauchy, beta terbalik. Dalam beberapa hal ini lebih baik daripada laso karena mereka tidak menyusut nilai-nilai besar. Bahkan saya cukup yakin pareto ganda umum dapat ditulis sebagai campuran eksponensial. Kita menulis dan kemudian menempatkan gamma prior . Kita mendapatkan: $\lambda=\lambda_i$ $p(\lambda_i|\alpha\beta)$

p (x_{i} | α β) = \frac{α}{2 β} {(1 + \frac{| x_{i} |}{β})}^{- (α + 1)}

$p(x_i|\alpha\beta)=\frac{\alpha}{2\beta}\left(1+\frac{|x_i|}{\beta}\right)^{-(\alpha+1)}$

Perhatikan bahwa saya telah memasukkan konstanta normalisasi, karena konstanta membantu memilih parameter global yang baik. Sekarang jika kita menerapkan batasan rentang maka kita memiliki masalah yang lebih rumit, karena kita perlu mengganti normal atas simpleks.

Fitur generik lain dari sparsity yang menginduksi hukuman adalah bahwa mereka tidak dapat dibedakan dengan nol. Biasanya ini karena batas kiri dan kanan bertanda berlawanan.

Ini didasarkan pada karya brilian oleh Nicolas Polson dan James Scott pada representasi varians rata-rata yang mereka gunakan untuk mengembangkan TIRLS - perpanjangan besar kuadrat terkecil ke kelas yang sangat besar dari kombinasi penalti kalah.

Sebagai alternatif, Anda bisa menggunakan prior yang didefinisikan pada simplex, tetapi memiliki mode dalam distribusi marginal nol. Salah satu contoh adalah distribusi dirichlet dengan semua parameter antara 0 dan 1. Hukuman tersirat akan terlihat seperti:

- \sum_{i = 1}^{n - 1} (a_{i} - 1) \log (x_{i}) - (a_{n} - 1) \log (1 - \sum_{i = 1}^{n - 1} x_{i})

$-\sum_{i=1}^{n-1}(a_i-1)\log(x_i) - (a_n-1)\log(1-\sum_{i=1}^{n-1}x_i)$

Di mana . Namun Anda harus berhati-hati dalam mengoptimalkan secara numerik karena penalti memiliki singularitas. Proses estimasi yang lebih kuat adalah dengan menggunakan mean posterior. Meskipun Anda kehilangan kesederhanaan yang tepat Anda akan mendapatkan banyak sarana posterior yang dekat dengan nol $0<a_i<1$

probabilityislogic
sumber

Ini sepertinya ide yang sangat menarik, meskipun kami tidak cukup memahami rinciannya! Jika saya mengerti dengan benar, idenya adalah bahwa sebelumnya berasal dari asumsi bahwa variabel mengikuti distribusi eksponensial sekitar 0. Jadi, kita membutuhkan distribusi yang berpusat pada 0 yang bekerja lebih baik untuk variabel kita. Tapi, tidak ada pemenang yang jelas, bukan? Apakah ada distribusi di atas "variabel positif yang berjumlah 1"? Terima kasih atas bantuan Anda!

L_{1}

$L_1$

Justin Solomon

Untuk mendapatkan sparsity, Anda memerlukan distribusi dengan mode di nol. Dan distribusi dirichlet lebih dari simpleks, yang tepatnya adalah distribusi yang berjumlah 1. Kelas umum lain adalah logistik-normal atau logistik t di mana Anda memiliki distribusi normal / t untuk

\log [\frac{x_{i}}{x_{n}}]

$\log\left[\frac{x_i}{x_n}\right]$

probabilityislogic

Ah, Dirichlet tampaknya cukup menarik karena ada di simpleks yang kami minati, seperti yang Anda sebutkan! Tampaknya dua lainnya yang Anda sebutkan mungkin memperkenalkan beberapa asimetri pada , kan? Kolaborator saya dan saya akan bekerja melalui fungsi energi yang tersirat oleh Dirichlet besok dan akan melaporkan kembali! Terima kasih banyak atas bantuan pasien Anda sejauh ini - ini jauh dari bidang yang biasa kami lakukan, tetapi jika kami dapat mengatasinya, hasilnya dapat memberikan langkah maju dalam pemrosesan geometri! [Dan tentu saja kami akan memberi Anda kredit jatuh tempo!]

x_{n}

$x_n$

Justin Solomon

1

Dua pilihan:

Gunakan penalti pada . Kelemahan yang jelas adalah bahwa ini nonconvex dan karenanya sulit untuk dioptimalkan. $L_0$ $\vec x$
Reparameterize, dan gunakan penalti pada vektor parameter baru (alami),. Ini akan mendorong kejadian menjadi sama kemungkinan kecuali ada alasan yang baik bagi mereka untuk tidak melakukannya. $x_i = \frac{\exp(w_i)}{\sum_j \exp(w_j)}$ $\|\vec w\|$

Jeannie
sumber

Bisakah Anda menjelaskan bagaimana reparametrization Anda mendorong sparsity? Tampaknya agak menjamin sebaliknya.

kardinal

Ini mendorong sparsity dalam yang sesuai dengan mendorong entri yang berbeda dari untuk memiliki nilai yang sama.

\vec{w}

$\vec w$

\vec{x}

$\vec x$

jrennie

Ya aku mengerti itu. Namun, nilai-nilai itu tidak akan menjadi nol. Jika kita menggunakan OP secara harfiah, ini tidak akan membantu dan akan benar-benar "sakit" (dalam arti tertentu). Tapi, ada kemungkinan OP tertarik pada sparsity sehubungan dengan beberapa dasar lain, dalam hal ini, ini akan menjadi salah satunya. :)

kardinal

Itu sebabnya saya memberikan dua opsi dalam jawaban saya --- Saya pikir hukuman nonkonversi diperlukan untuk mendorong angka nol di . Seperti yang Anda catat, Justin kemungkinan tidak berarti secara harfiah apa yang dikatakannya.

\vec{x}

$\vec x$

jrennie

Ya, sayangnya kita perlu sparsity dalam basis identitas. Jadi dalam hal ini kami ingin sebanyak mungkin sama dengan .

w_{i}

$w_i$

- \infty

$-\infty$

Justin Solomon

1

Premis dari pertanyaan ini hanya sebagian yang benar. Meskipun memang benar bahwa -norm hanya konstan di bawah kendala, masalah optimisasi kendala mungkin memiliki solusi yang jarang. $L_1$

Namun, solusinya tidak terpengaruh oleh pilihan , jadi ada solusi yang jarang atau tidak. Pertanyaan lain adalah bagaimana cara menemukan solusinya. Pengoptimal kuadratik standar di bawah batasan linear tentu saja dapat digunakan, tetapi algoritma penurunan koordinat populer tidak dapat digunakan di luar kotak. $\lambda$

Satu saran bisa saja dioptimalkan di bawah batasan positif saja, untuk berbeda , dan kemudian renormalkan solusi untuk memiliki -norm 1. Algoritma penurunan koordinat harus, saya percaya, mudah dimodifikasi untuk menghitung solusi di bawah positif. paksaan. $\lambda$ $L_1$

NRH
sumber

0

Saya dapat memikirkan tiga metode.

Metode Bayesian: memperkenalkan distribusi nol-rata-rata sebelumnya dan menggunakan kemungkinan tipe II untuk memperkirakan parameter dan parameter hiper.
Gunakan sebagai regularisasi sebagai gantinya. Ini tidak bisa dibedakan sekalipun. Anda dapat menggunakan norma tingkat tinggi untuk memperkirakannya. $\Vert\cdot\Vert_{\infty}$
Gunakan . $-\sum_{i=1}\log x_i$

Sebenarnya, metode pertama dan ketiga adalah sama.

Han Zhang
sumber

Regulatorisasi yang menginduksi sparsitas untuk matriks stokastik

Jawaban: