Ada banyak metode untuk melakukan regularisasi - , , dan regularisasi berbasis misalnya. Menurut Friedman Hastie & Tibsharani , pembuat peraturan terbaik tergantung pada masalah: yaitu sifat fungsi target yang sebenarnya, dasar tertentu yang digunakan, rasio sinyal terhadap kebisingan, dan ukuran sampel.L 1 L 2
Adakah penelitian empiris yang membandingkan metode dan kinerja berbagai metode regularisasi?
r
regression
machine-learning
regularization
Ram Ahluwalia
sumber
sumber
Jawaban:
Biarkan mempertimbangkan model linier dihukum.
The penalti tidak sangat digunakan dan sering digantikan oleh norma yang secara matematis lebih fleksibel.L 1L0 L1
Peraturan memiliki properti untuk membuat model yang jarang. Ini berarti bahwa hanya beberapa variabel yang akan memiliki koefisien regresi nol. Ini terutama digunakan jika Anda berasumsi bahwa hanya beberapa variabel yang memiliki dampak nyata pada variabel keluaran. Jika ada variabel yang sangat berkorelasi hanya satu dari ini yang akan dipilih dengan koefisien tidak 0.L1
The penalti seperti jika Anda menambahkan nilai pada diagonal dari matriks masukan. Ini dapat digunakan misalnya dalam situasi di mana jumlah variabel lebih besar dari jumlah sampel. Untuk mendapatkan matriks persegi. Dengan hukuman norma semua variabel memiliki koefisien regresi nol. λ L 2L2 λ L2
sumber
Beberapa tambahan untuk jawaban @ Donbeo
1) Norma L0 bukan norma dalam arti sebenarnya. Ini adalah jumlah entri bukan nol dalam vektor. Norma ini jelas bukan norma cembung dan bukan norma dalam arti sebenarnya. Karenanya, Anda mungkin melihat istilah seperti 'norma' L0. Ini menjadi masalah kombinatorial dan karenanya NP sulit.
2) Norma L1 memberikan solusi yang jarang (lihat LASSO). Ada hasil mani oleh Candes, Donoho dll. Yang menunjukkan bahwa jika solusi yang benar-benar jarang, metode hukuman L1 akan memulihkannya. Jika solusi yang mendasarinya tidak jarang, Anda tidak akan mendapatkan solusi yang mendasarinya dalam kasus-kasus ketika p >> n. Ada hasil bagus yang menunjukkan bahwa Lasso konsisten.
3) Ada metode seperti jaring elastis oleh Zhou dan Hastie yang menggabungkan solusi penalti L2 dan L1.
sumber