Pertanyaan pemula di sini. Saat ini saya sedang melakukan regresi nonparametrik menggunakan paket np di R. Saya memiliki 7 fitur dan menggunakan pendekatan brute force saya mengidentifikasi yang terbaik 3. Tapi, segera saya akan memiliki lebih dari 7 fitur!
Pertanyaan saya adalah apa metode terbaik saat ini untuk pemilihan fitur untuk regresi nonparametrik. Dan yang jika ada paket menerapkan metode. Terima kasih.
Jawaban:
Kecuali jika identifikasi variabel yang paling relevan adalah tujuan utama dari analisis, seringkali lebih baik untuk tidak melakukan pemilihan fitur sama sekali dan menggunakan regularisasi untuk mencegah pemasangan yang berlebihan. Pemilihan fitur adalah prosedur yang rumit dan terlalu mudah untuk menyesuaikan kriteria pemilihan fitur karena ada banyak derajat kebebasan. LASSO dan jaring elastis adalah kompromi yang baik, pencapaian sparsity melalui regularisasi daripada melalui pemilihan fitur langsung, sehingga mereka kurang rentan terhadap bentuk over-fitting tertentu.
sumber
Lasso memang bagus. Hal-hal sederhana seperti memulai dengan tidak ada, dan menambahkannya satu per satu diurutkan berdasarkan 'kegunaan' (melalui cross-validation) juga berfungsi dengan baik dalam praktiknya. Ini kadang-kadang disebut seleksi feedstward stagewise.
Perhatikan bahwa masalah pemilihan subset cukup independen pada jenis klasifikasi / regresi. Hanya saja metode nonparametrik bisa lambat dan karenanya membutuhkan metode seleksi yang lebih cerdas.
Buku 'Unsur-unsur pembelajaran statistik' dari T. Hastie memberikan gambaran yang bagus.
sumber