Keuntungan utama dari regresi bertahap adalah bahwa ini efisien secara komputasi. Namun, kinerjanya umumnya lebih buruk daripada metode alternatif. Masalahnya adalah terlalu serakah. Dengan membuat pilihan sulit pada regresi berikutnya dan 'membekukan' berat, itu membuat pilihan yang optimal secara lokal di setiap langkah, tetapi secara umum kurang optimal. Dan, tidak bisa kembali untuk merevisi pilihan masa lalunya.
Sejauh yang saya tahu, regresi bertahap umumnya jatuh dari nikmat dibandingkan dengan l1 regresi regularized (Lasso), yang cenderung untuk menghasilkan solusi yang lebih baik.
Tibshirani (1996) . Penyusutan dan Pemilihan Regresi melalui Lasso
LASSO menghukum norma dari bobot, yang menginduksi sparsity dalam larutan (banyak bobot dipaksa ke nol). Ini melakukan pemilihan variabel (variabel 'relevan' diizinkan memiliki bobot bukan nol). Tingkat sparsity dikendalikan oleh istilah hukuman, dan beberapa prosedur harus digunakan untuk memilihnya (validasi silang adalah pilihan umum). LASSO lebih intensif secara komputasi daripada regresi bertahap, tetapi ada sejumlah algoritma yang efisien. Beberapa contoh adalah regresi sudut terkecil ( LARS ), dan pendekatan berdasarkan keturunan koordinat .l1
Pendekatan serupa dengan apa yang Anda sarankan dalam (2) disebut pengejaran pencocokan orthogonal. Ini adalah generalisasi dari pencocokan yang cocok, yang merupakan nama untuk regresi bertahap dalam literatur pemrosesan sinyal.
Pati et al. (1993) . Pengejaran pencocokan orthogonal: aproksimasi fungsi rekursif dengan aplikasi dekomposisi wavelet
Pada setiap iterasi, regressor terbaik berikutnya ditambahkan ke set aktif. Kemudian, bobot untuk semua regressor di set aktif dihitung ulang. Karena langkah reweighting, pendekatan ini kurang serakah (dan memiliki kinerja yang lebih baik) daripada pengejaran pencocokan biasa / regresi bertahap. Tapi, masih menggunakan heuristik pencarian serakah.
Semua pendekatan ini (regresi bertahap, LASSO, dan pengejaran orthogonal) dapat dianggap sebagai perkiraan dari masalah berikut:
minw∥ y- Xw ∥22st ∥ w ∥0≤ c
Dalam konteks regresi, kolom sesuai dengan variabel independen dan dengan variabel dependen. Dalam pemrosesan sinyal, kolom berhubungan dengan fungsi basis dan adalah sinyal untuk perkiraan. Tujuannya adalah untuk menemukan satu set jarang bobot yang memberikan yang terbaik (kuadrat terkecil) perkiraan . The norma hanya menghitung jumlah non-nol entri dalam . Sayangnya, masalah ini NP-hard, jadi algoritma aproksimasi harus digunakan dalam praktik. Regresi bertahap dan upaya pencocokan orthogonal untuk memecahkan masalah menggunakan strategi pencarian serakah. LASSO merumuskan kembali masalah menggunakan relaksasiXyXywyl0wl0norma norma . Di sini, masalah pengoptimalan menjadi cembung (dan karenanya dapat ditelusuri). Dan, meskipun masalahnya tidak lagi identik, solusinya mirip. Jika saya ingat dengan benar, baik LASSO dan pengejaran orthogonal telah terbukti memulihkan solusi yang tepat dalam kondisi tertentu.l1
Saya baru saja melakukan pencarian google untuk apa itu Stepwise regression. Saya tidak yakin apakah saya benar-benar memahaminya, tetapi inilah pikiran pertama saya
sumber