Adakah kerugian jaring elastis dibanding laso?

8

Apa kerugian menggunakan jaring elastis dibandingkan dengan laso. Saya tahu bahwa jaring elastis dapat memilih kelompok variabel ketika mereka sangat berkorelasi.

  1. Itu tidak memiliki masalah memilih lebih dari prediktor ketika . Sedangkan laso jenuh ketika .np≫np≫n

  2. Ketika ada prediktor yang sangat berkorelasi, laso cenderung hanya mengambil satu prediktor keluar dari grup.

  3. Ketika dan prediktor berkorelasi, kinerja prediksi laso lebih kecil dari ridge.n≫p

Semua kekurangan laso ini diatasi dengan jaring elasic.

Apa yang saya tidak mengerti adalah kapan seharusnya laso digunakan? Apakah ada alasan untuk menggunakannya ketika jaring elastis berkinerja lebih baik daripada laso? Apa kelemahan menggunakan jaring elastis dalam beberapa kasus? Dalam kasus apa laso akan menjadi pilihan yang lebih baik?

lasso elastic-net Ville
sumber

Jawaban:

8

Salah satu kelemahannya adalah biaya komputasi. Anda perlu memvalidasi silang bobot relatif penalti L1 vs L2, , dan yang meningkatkan biaya komputasi dengan jumlah nilai dalam kisi .αα

Kerugian lain (tetapi pada saat yang sama keuntungan) adalah fleksibilitas estimator. Dengan fleksibilitas yang lebih besar muncul kemungkinan peningkatan overfitting. Mungkin optimal untuk populasi dan untuk ukuran sampel yang diberikan adalah , mengubah jaring elastis menjadi laso, tetapi Anda kebetulan memilih nilai yang berbeda karena kebetulan (karena nilai itu memberikan kinerja yang lebih baik ketika melakukan validasi silang dalam sampel tertentu).α0

Richard Hardy
sumber
1
Komentar minor berkaitan dengan poin kedua Anda: laso dan jaring elastis adalah penaksir untuk model yang sama . Dengan demikian, tidak ada perbedaan dalam fleksibilitas model.
hejseb
2
@hejseb: Dengan LASSO, ada satu parameter yang dioptimalkan selama cross-validation: . Di elastic-net, Anda dapat mengoptimalkan lebih dari dan , yang berarti lebih banyak kesempatan untuk overfitting selama proses seleksi cross-validasi. Di sisi lain, hanya menggunakan nilai default cenderung berkinerja sangat baik, sehingga seringkali hanya yang dioptimalkan. Jadi saya tidak setuju dengan pernyataan Anda, karena saya menganggap dan bagian dari model (walaupun saya mengerti ambiguitas). λαλαλαλ
Cliff AB
3
@ Hejseb, poin bagus! Sekarang dikoreksi. Cliff AB, saya pikir definisi model tidak perlu menyertakan parameter penyetelan estimator (laso, jaring elastis, ...) - yang dan - jadi bagi saya komentar hejseb sangat masuk akal. Saya pikir sepanjang garis mendefinisikan model untuk populasi (model linier dalam kasus ini) dan memperkirakan parameternya (yang termasuk s tetapi tidak atau ) oleh beberapa estimator. αλβαλ
Richard Hardy