Kebingungan terkait jaring elastis

10

Saya sedang membaca artikel ini terkait dengan jaring elastis. Mereka mengatakan bahwa mereka menggunakan jaring elastis karena jika kita hanya menggunakan Lasso itu cenderung memilih hanya satu prediktor di antara para prediktor yang sangat berkorelasi. Tapi bukankah ini yang kita inginkan. Maksud saya itu menyelamatkan kita dari masalah multikolinearitas bukan.

Ada saran / klarifikasi?

pengguna31820
sumber

Jawaban:

11

Misalkan dua prediktor memiliki efek yang kuat pada respons tetapi sangat berkorelasi dalam sampel dari mana Anda membangun model Anda. Jika Anda menjatuhkan satu dari model itu tidak akan memprediksi dengan baik untuk sampel dari populasi serupa di mana prediktor tidak sangat berkorelasi.

Jika Anda ingin meningkatkan ketepatan estimasi koefisien Anda di hadapan multikolinieritas Anda harus memperkenalkan sedikit bias, off-setting dengan pengurangan variasi yang lebih besar. Salah satu caranya adalah dengan menghapus prediktor sepenuhnya — dengan LASSO, atau, di masa lalu, metode bertahap —, yang menetapkan estimasi koefisiennya menjadi nol. Yang lain adalah dengan membiaskan semua perkiraan sedikit — dengan regresi ridge, atau, di masa lalu, mundur pada beberapa komponen utama pertama. Kelemahan dari yang pertama adalah bahwa itu sangat tidak aman jika model akan digunakan untuk memprediksi tanggapan untuk pola prediktor jauh dari yang terjadi pada sampel asli, karena prediktor cenderung dikecualikan hanya karena mereka tidak banyak digunakan bersama dengan yang lain, hampir collinear, prediktor. (Bukan berarti ekstrapolasi benar-benar aman.) Jaring elastis adalah campuran dari keduanya, seperti yang dijelaskan oleh @ user12436, & cenderung menjaga kelompok prediktor yang berkorelasi dalam model.

Scortchi - Reinstate Monica
sumber
Mengapa tidak diprediksi dengan baik dalam sampel baru ini?
user31820
1
Karena model itu kehilangan prediktor penting.
Scortchi
2
Jika dua prediktor dikorelasikan dalam satu sampel representatif dari suatu populasi, bukankah mereka harus dikorelasikan dalam sampel lain? jika Anda menggunakan model pada data yang "jauh dari yang ada dalam sampel asli", bukankah batas penggunaan model apa pun tidak sesuai?
Matthew Drury
@MatthewDrury: Ya, jika model "benar" - jika tidak ada pembaur yang tidak teramati yang perlu dipikirkan, & jika bentuk fungsionalnya dapat diekstrapolasikan - maka distribusi prediktor dalam sampel tidak masalah (meskipun tentu saja menentukan ketepatan perkiraan & prediksi). Jadi pada satu titik Anda mungkin memiliki model mekanistik yang dibangun di atas data dari studi eksperimental yang terkontrol dengan baik pada faktor-faktor penyebab; di sisi lain model empiris dibangun berdasarkan data yang dikumpulkan dari studi observasional pada sekelompok variabel yang hanya mudah diukur.
Scortchi
Ungkapan: " di masa lalu, metode bertahap membuat saya tersenyum.: D (Jelas +1, ini adalah jawaban yang bagus)
usεr11852
4

Tapi bukankah ini yang kita inginkan. Maksud saya itu menyelamatkan kita dari masalah multikolinieritas bukan.

Iya! dan tidak. Jaring elastis adalah kombinasi dari dua teknik regularisasi, regularisasi L2 (digunakan dalam regresi ridge) dan regularisasi L1 (digunakan dalam LASSO).

Lasso menghasilkan model jarang alami, yaitu sebagian besar koefisien variabel akan menyusut menjadi 0 dan secara efektif dikeluarkan dari model. Jadi variabel yang paling tidak signifikan menyusut, sebelum menyusut yang lain, tidak seperti dengan punggungan, di mana semua variabel menyusut, sementara tidak satupun dari mereka benar-benar menyusut ke 0.

Jaring elastis menggunakan kombinasi linear dari kedua pendekatan ini. Kasus spesifik yang disebutkan oleh Hastie ketika membahas metode ini dalam kasus p besar, kecil n. Yang berarti: data dimensi tinggi dengan, pengamatan relatif sedikit. Dalam hal ini LASSO akan (menurut laporan) hanya akan memilih paling banyak n variabel, sambil menghilangkan yang lainnya, lihat kertas oleh Hastie .

Itu akan selalu tergantung pada dataset aktual, tetapi Anda dapat membayangkan bahwa Anda tidak selalu ingin memiliki batas atas pada jumlah variabel dalam model Anda yang sama, atau lebih rendah dari jumlah pengamatan Anda.

berarti-untuk-makna
sumber
Tapi bagaimana dengan multikolinearitas. Jaring elastis memang memungkinkan untuk memilih fitur multi collinear yang tidak bagus bukan?
user31820
Saya tidak berpikir bahwa banyak dataset nyata memiliki variabel multicollinear sempurna. Variabel yang sangat berkorelasi mungkin hampir linier, yang masih merupakan masalah, tetapi yang mungkin bersedia Anda terima, jika keduanya penting bagi model Anda.
means-to-meaning
Tautan yang ditambahkan di atas mengarah ke yahoo.com. Juga, [makalah] ( onlinelibrary.wiley.com/doi/10.1111/j.1467-9868.2005.00503.x/… ) oleh Zou dan Hastie (salah satunya jaring elastis).
KarthikS
2

Baik Lasso dan Elastic Net adalah metode yang efisien untuk melakukan pemilihan variabel atau fitur dalam pengaturan data dimensi tinggi (lebih banyak variabel daripada pasien atau sampel; misalnya, 20.000 gen dan 500 sampel tumor).

Telah ditunjukkan (oleh Hastie dkk.) Bahwa Elastic Net dapat mengungguli Lasso ketika data sangat berkorelasi. Lasso mungkin hanya memilih salah satu variabel yang berkorelasi dan tidak peduli mana yang dipilih. Ini bisa menjadi masalah ketika seseorang ingin memvalidasi variabel yang dipilih dalam dataset independen. Variabel yang dipilih oleh Lasso mungkin bukan prediktor terbaik di antara semua variabel yang berkorelasi. Elastic Net memecahkan masalah ini dengan rata-rata variabel yang sangat berkorelasi.

Milan
sumber