Saya telah bertanya-tanya, mengapa metode pemilihan model LASSO dan LARS begitu populer walaupun pada dasarnya mereka hanyalah variasi dari seleksi langkah-ke depan (dan karenanya menderita ketergantungan jalur)?
Demikian pula, mengapa metode General to Specific (GETS) untuk pemilihan model sebagian besar diabaikan, meskipun mereka melakukan lebih baik daripada LARS / LASSO karena mereka tidak menderita masalah regresi bertahap? (referensi dasar untuk GETS: http://www.federalreserve.gov/pubs/ifdp/2005/838/ifdp838.pdf - algoritma baru dalam ini dimulai dengan model luas dan pencarian pohon yang menghindari ketergantungan jalur, dan telah ditunjukkan kepada sering lebih baik daripada LASSO / LARS).
Rasanya aneh, LARS / LASSO tampaknya mendapatkan paparan dan kutipan jauh lebih banyak daripada General to Specific (GETS), ada yang punya pikiran?
Tidak mencoba memulai perdebatan sengit, lebih mencari penjelasan rasional mengapa literatur tampaknya berfokus pada LASSO / LARS daripada GETS dan hanya sedikit orang yang benar-benar menunjukkan kekurangan LASSO / LARS.
Jawaban:
Penafian: Saya hanya akrab dengan pekerjaan pada pemilihan model oleh David F. Hendry antara lain. Saya tahu, bagaimanapun, dari rekan-rekan yang terhormat bahwa Hendry telah melakukan kemajuan yang sangat menarik pada masalah pemilihan model dalam ekonometrik. Untuk menilai apakah literatur statistik tidak cukup memperhatikan pekerjaannya dalam pemilihan model akan memerlukan lebih banyak pekerjaan untuk bagian saya.
Namun, menarik untuk mencoba memahami mengapa satu metode atau ide menghasilkan lebih banyak aktivitas daripada yang lain. Tidak diragukan lagi bahwa ada aspek mode dalam sains juga. Seperti yang saya lihat, laso (dan teman-teman) memiliki satu keuntungan besar sebagai solusi dari masalah optimasi yang sangat mudah diungkapkan. Ini adalah kunci untuk pemahaman teoritis terperinci dari solusi dan algoritma efisien yang dikembangkan. Buku terbaru, Statistik untuk Data Dimensi Tinggi oleh Bühlmann dan Van De Geer, menggambarkan seberapa banyak yang sudah diketahui tentang laso.
Anda dapat melakukan studi simulasi tanpa akhir dan Anda tentu saja dapat menerapkan metode yang Anda anggap paling relevan dan cocok untuk aplikasi tertentu, tetapi untuk bagian literatur statistik, hasil teoritis yang substansial juga harus diperoleh. Lasso yang telah menghasilkan banyak kegiatan mencerminkan bahwa ada pertanyaan teoritis yang benar-benar dapat didekati dan mereka memiliki solusi yang menarik.
Hal lain adalah bahwa lasso atau variasi yang tampil baik dalam banyak kasus. Saya sama sekali tidak yakin bahwa benar bahwa laso sangat mudah dikalahkan oleh metode lain seperti yang disarankan OP. Mungkin dalam hal pemilihan model (buatan) tetapi tidak dalam hal kinerja prediktif. Tidak ada referensi yang disebutkan yang benar-benar membandingkan Gets dan laso.
sumber
Ada perbedaan antara pemilihan subset LASSO dan (GETS): LASSO menyusutkan koefisien menuju nol dengan cara yang bergantung pada data sedangkan pemilihan subset (GETS) tidak. Ini tampaknya menjadi keuntungan dari pemilihan subset LASSO over (GETS), bahkan jika kadang-kadang gagal (perlu parameter tuning, yang biasanya dilakukan melalui validasi silang, dan kadang-kadang kita mungkin tidak menyetel dengan buruk).
Kinerja GETS tampaknya memiliki kualitas yang sebanding dengan LASSO ketika dilakukan oleh para peneliti (?) Yang tidak memihak (walaupun tidak selalu demikian di koran-koran di mana versi baru GETS diusulkan - tetapi itulah yang Anda harapkan); lihat beberapa referensi di utas ini .
Mungkin Sir Hendry & Co mendapatkan hasil yang baik menggunakan GETS karena spesifikasinya aplikasi mereka (kebanyakan pemodelan time series makroekonomi)? Tetapi mengapa itu bisa terjadi? Ini pertanyaan terpisah .
sumber