Saya hanya ingin tahu mengapa biasanya hanya ada regularisasi norma dan . Apakah ada bukti mengapa ini lebih baik?L 2
lasso
regularization
ridge-regression
pengguna10024395
sumber
sumber
Jawaban:
Selain komentar @ whuber (*).
Buku karya Hastie et al. Pembelajaran statistik dengan Sparsity membahas hal ini. Mereka juga menggunakan apa yang disebut "norma" (tanda kutip karena ini bukan norma dalam arti matematis yang ketat (**)), yang hanya menghitung jumlah komponen bukan nol dari suatu vektor.L0
Dalam hal itu norma digunakan untuk pemilihan variabel, tetapi bersama-sama dengan norma dengan tidak cembung, sehingga sulit untuk dioptimalkan. Mereka berpendapat (argumen yang saya pikir berasal dari Donohoe dalam penginderaan terkompresi) bahwa norma , yaitu, laso, adalah terbaik dari "norma" ("relaksasi cembung terdekat dari pemilihan subset terbaik"). Buku itu juga merujuk beberapa penggunaan norma lainnya . Bola unit di -norm dengan terlihat seperti inil q q < 1 L 1 L 0 L q l q q < 1L0 lq q<1 L1 L0 Lq lq q<1
(gambar dari wikipedia) sementara penjelasan gambar mengapa laso dapat memberikan pemilihan variabel
Gambar ini dari buku referensi di atas. Anda dapat melihat bahwa dalam kasing laso (bola satuan yang digambar sebagai intan), kemungkinan besar kontur ellipsoidal (jumlah kuadrat) pertama-tama akan menyentuh berlian di salah satu sudut. Dalam kasus non-cembung (angka bola unit pertama) bahkan lebih mungkin bahwa sentuhan pertama antara ellipsoid dan bola unit akan berada di salah satu sudut, sehingga kasing akan menekankan pemilihan variabel lebih dari laso.
Jika Anda mencoba "laso dengan penalti non-cembung" di google ini, Anda akan mendapatkan banyak makalah yang melakukan masalah seperti laso dengan penalti non-cembung seperti dengan . q < 1lq q<1
(*) Untuk kelengkapan saya salin dalam komentar whuber di sini:
(**) The - "norma" tidak memiliki homogenitas, yang merupakan salah satu aksioma untuk norma. Homogenitas berarti untuk bahwa. α ≥ 0 ‖ α x ‖ = α ‖ x ‖l0 α≥0 ∥αx∥=α∥x∥
sumber
Saya pikir jawaban untuk pertanyaan sangat tergantung pada bagaimana Anda mendefinisikan "lebih baik." Jika saya menafsirkan dengan benar, Anda ingin tahu mengapa norma-norma ini muncul begitu sering dibandingkan dengan opsi lain. Dalam hal ini, jawabannya adalah kesederhanaan. Intuisi di balik regularisasi adalah bahwa saya memiliki beberapa vektor, dan saya ingin vektor itu menjadi "kecil" dalam arti tertentu. Bagaimana Anda menggambarkan ukuran vektor? Anda punya pilihan:
Anda dapat menggunakan norma-norma alternatif seperti , tetapi mereka tidak memiliki interpretasi fisik yang ramah seperti yang di atas.L3
Dalam daftar ini, norma memiliki solusi analitik bentuk tertutup yang bagus untuk hal-hal seperti masalah kuadrat terkecil. Sebelum Anda memiliki kekuatan komputasi yang tidak terbatas, orang tidak akan bisa membuat banyak kemajuan sebaliknya. Saya berspekulasi bahwa visual "panjang panah" juga lebih menarik bagi orang daripada ukuran ukuran lainnya. Walaupun norma yang Anda pilih untuk dampak regularisasi pada jenis residu yang Anda dapatkan dengan solusi optimal, saya tidak berpikir kebanyakan orang a) menyadarinya, atau b) mempertimbangkannya secara mendalam ketika merumuskan masalah mereka. Pada titik ini, saya berharap kebanyakan orang tetap menggunakan karena ini adalah "apa yang dilakukan semua orang."L 2L2 L2
Analogi akan menjadi fungsi eksponensial, - ini muncul secara harfiah di mana-mana dalam fisika, ekonomi, statistik, pembelajaran mesin, atau bidang lain yang digerakkan secara matematis. Saya bertanya-tanya selamanya mengapa segala sesuatu dalam kehidupan tampaknya digambarkan oleh eksponensial, sampai saya menyadari bahwa kita manusia tidak memiliki banyak trik di lengan kita. Eksponensial memiliki sifat yang sangat berguna untuk melakukan aljabar dan kalkulus, dan akhirnya menjadi fungsi nomor 1 di kotak alat matematika mana pun ketika mencoba memodelkan sesuatu di dunia nyata. Bisa jadi hal-hal seperti waktu dekoherensi "lebih baik" dijelaskan oleh polinomial tingkat tinggi, tetapi itu relatif lebih sulit untuk dilakukan aljabar, dan pada akhirnya yang penting adalah perusahaan Anda menghasilkan uang - eksponensial adalah lebih sederhana dan cukup baik.ex
Jika tidak, pilihan norma memiliki efek yang sangat subyektif, dan terserah Anda sebagai orang yang menyatakan masalah untuk menentukan apa yang Anda sukai dalam solusi optimal. Apakah Anda lebih peduli bahwa semua komponen dalam vektor solusi Anda sama besarnya, atau bahwa ukuran komponen terbesar sekecil mungkin? Pilihan itu akan tergantung pada masalah spesifik yang Anda selesaikan.
sumber
Alasan utama untuk melihat sebagian besar norma dan adalah bahwa mereka mencakup sebagian besar aplikasi saat ini. Sebagai contoh, norma juga disebut norma taksi , suatu norma penghubung kisi bujursangkar, termasuk norma nilai absolut . L 2 L 1L1 L2 L1
n ‖ A x - b ‖ 2 + ‖ Γ x ‖ 2 L 2L2 Norma adalah, selain kuadrat terkecil, jarak Euclidean dalam -spacen serta norma variabel kompleks . Selain itu, regularisasi Tikhonov dan regresi ridge , yaitu, aplikasi meminimalkan , sering dianggap sebagai norma .∥Ax−b∥2+∥Γx∥2 L2
Wikipedia memberikan informasi tentang ini dan norma - norma lainnya . Layak disebutkan adalah . Norma umum , norma juga disebut norma seragam .L0 L ∞Lp L∞
sumber