Apakah regresi dengan regularisasi L1 sama dengan Lasso, dan dengan regularisasi L2 sama dengan regresi ridge? Dan bagaimana cara menulis "Lasso"?

33

Saya seorang insinyur pembelajaran perangkat lunak mesin pembelajaran, terutama melalui kursus pembelajaran mesin Andrew Ng . Saat mempelajari regresi linier dengan regularisasi , saya menemukan istilah yang membingungkan:

  • Regresi dengan regularisasi L1 atau regularisasi L2
  • LASO
  • Regresi punggungan

Jadi pertanyaan saya:

  1. Apakah regresi dengan regularisasi L1 persis sama dengan LASSO?

  2. Apakah regresi dengan regularisasi L2 persis sama dengan Regresi Ridge?

  3. Bagaimana "LASSO" digunakan dalam penulisan? Haruskah itu "regresi LASSO"? Saya telah melihat penggunaan seperti " laso lebih tepat ".

Jika jawabannya "ya" untuk 1 dan 2 di atas, lalu mengapa ada nama yang berbeda untuk kedua istilah ini? Apakah "L1" dan "L2" berasal dari ilmu komputer / matematika, dan "LASSO" dan "Ridge" dari statistik?

Penggunaan istilah ini membingungkan ketika saya melihat posting seperti:

" Apa perbedaan antara regularisasi L1 dan L2? " (Quora.com)

" Kapan saya harus menggunakan laso vs ridge? " (Stats.stackexchange.com)

regression terminology lasso regularization ridge-regression stackoverflowuser2010
sumber
Meskipun saya terlambat membalas. Panduan pemula yang komprehensif ini untuk Linear, Ridge, dan Lasso Regression akan membantu para pemula untuk memahami istilah-istilah ini dengan jelas. Lihat di sini
Pelajar

Jawaban:

34

  1. Iya nih.

  2. Iya nih.

  3. LASSO sebenarnya adalah akronim (paling tidak penyusutan mutlak dan operator seleksi), jadi harus ditulis dengan huruf besar, tetapi tulisan modern adalah padanan leksikal dari Mad Max . Di sisi lain, Amuba menulis bahwa bahkan para ahli statistik yang menciptakan istilah LASSO sekarang menggunakan rendering huruf kecil (Hastie, Tibshirani dan Wainwright, Pembelajaran Statistik dengan Sparsity ). Orang hanya dapat berspekulasi tentang motivasi untuk beralih. Jika Anda menulis untuk pers akademis, mereka biasanya memiliki panduan gaya untuk hal semacam ini. Jika Anda menulis di forum ini, baik-baik saja, dan saya ragu ada orang yang benar-benar peduli.

The notasi adalah referensi ke norma Minkowski dan L p spasi. Ini hanya generalisasi gagasan taksi dan Euclidean jarak ke p > 0 dalam ekspresi berikut: ‖ x ‖ p = ( | x 1 | p + | x 2 | p + . . . + | X n | p ) 1L.L.halhal>0 penting, hanyap≥1mendefinisikan jarak metrik; 0<p<1tidak memenuhi ketimpangan segitiga, jadi itu bukan jarak oleh sebagian besar definisi.

‖x‖hal=(|x1|hal+|x2|hal+...+|xn|hal)1hal
hal≥10<hal<1

Saya tidak yakin kapan koneksi antara ridge dan LASSO terwujud.

c

Sycorax berkata Reinstate Monica
sumber
6
+1. Dalam buku Pelajaran Statistik dengan Sparsity yang terbaru , Hastie, Tibshirani, dan Wainwright menggunakan huruf "laso" yang sangat kecil di mana - mana dan juga menulis yang berikut (catatan kaki di halaman 8): "Sebuah laso adalah tali panjang dengan tali di satu tali. akhirnya, digunakan untuk menangkap kuda dan ternak .Dalam arti kiasan, metode "lassos" koefisien model.Dalam kertas laso asli (Tibshirani 1996), nama "laso" juga diperkenalkan sebagai akronim untuk "Least Absolute Operator Seleksi dan Penyusutan. "" (CC ke @ stackoverflowuser2010.)
amoeba berkata Reinstate Monica
3
Dan mereka melanjutkan: "Pengucapan: di AS" laso "cenderung diucapkan" lass-oh "(oh seperti di kambing), sedangkan di Inggris" lass-oo. "Dalam OED (edisi ke-2, 1965):" laso diucapkan lasoo oleh mereka yang menggunakannya, dan oleh sebagian besar orang Inggris juga. "" :-)
amoeba berkata Reinstate Monica
4
(+1) Sebagai akronim yang tepat (singkatan-singkatan yang diucapkan sebagai kata-kata) mendapatkan mata uang kapitalisasi mereka cenderung pergi dengan papan. Sudah lama sejak saya melihat 'RADAR' atau 'LASER'.
Scortchi
2
@Scortchi SCUBA juga. Sementara itu, ada orang yang menulis STATA dan MATLAB seolah-olah mereka adalah akronim.
shadowtalker
2
@ssdecontrol: Haruskah "ANOVA" menjadi "AnOVa"?
Scortchi