Saya mencari definisi non-teknis dari laso dan apa yang digunakan untuk itu.
regression
lasso
regularization
shrinkage
Paul Vogt
sumber
sumber
Jawaban:
LASSO (Penyusutan Mutlak Mutlak dan Penyeleksi Seleksi) adalah metode regresi yang melibatkan penghukuman ukuran absolut dari koefisien regresi.
Dengan menghukum (atau membatasi jumlah nilai absolut dari perkiraan) secara ekuivalen, Anda berakhir dalam situasi di mana beberapa estimasi parameter mungkin persis nol. Semakin besar penalti yang diterapkan, estimasi lebih lanjut menyusut ke nol.
Ini nyaman ketika kita menginginkan beberapa fitur / pemilihan variabel otomatis, atau ketika berhadapan dengan prediktor yang sangat berkorelasi, di mana regresi standar biasanya akan memiliki koefisien regresi yang 'terlalu besar'.
https://web.stanford.edu/~hastie/ElemStatLearn/ (Unduhan gratis) memiliki deskripsi yang baik tentang LASSO dan metode terkait.
sumber
Regresi LASSO adalah jenis analisis regresi di mana pemilihan variabel dan regulasi terjadi secara bersamaan. Metode ini menggunakan penalti yang memengaruhi nilai koefisien regresi. Sebagai penalti meningkatkan lebih banyak koefisien menjadi nol dan sebaliknya. Ini menggunakan teknik normalisasi L1 di mana parameter tuning digunakan sebagai jumlah penyusutan. Ketika parameter tuning meningkat maka bias meningkat dan sebagaimana berkurang maka varians meningkat. Jika konstan maka tidak ada koefisien nol dan seperti yang cenderung tak terbatas maka semua koefisien akan menjadi nol.
sumber
Dalam regresi "normal" (OLS) tujuannya adalah untuk meminimalkan jumlah residu kuadrat (RSS) untuk memperkirakan koefisien
Dalam hal regresi LASSO Anda memperkirakan koefisien dengan pendekatan yang sedikit berbeda:
Bagian baru disorot dengan warna merah, yang merupakan jumlah dari nilai koefisien absolut yang dihukum oleh , jadi mengontrol jumlah regulasi (L1).λ λ
Perhatikan bahwa jika , itu akan menghasilkan koefisien yang sama dengan Regresi Linier Sederhana. Rumus menunjukkan bahwa dalam kasus LASSO membutuhkan keduanya, RSS dan L1 regulazation (bagian merah baru) menjadi minimal. Jika , penalti L1 merah membatasi ukuran koefisien sehingga koefisien hanya dapat meningkat jika ini mengarah pada jumlah penurunan RSS yang sama. Lebih umum, satu-satunya cara koefisien dapat meningkat adalah jika kita mengalami penurunan jumlah residu kuadrat (RSS) yang sebanding. Dengan demikian, semakin tinggi Anda mengaturλ=0 argmin λ=1 λ semakin banyak penalti diterapkan pada koefisien dan semakin kecil akan koefisien, beberapa mungkin menjadi nol. Itu berarti LASSO dapat menghasilkan model pelit dengan melakukan pemilihan fitur dan mencegah model overfitting. Yang mengatakan, Anda dapat menggunakan LASSO jika Anda memiliki banyak fitur dan tujuan Anda bukan untuk memprediksi data daripada menafsirkan koefisien model Anda.
sumber