Saya ingin membuat hutan acak menggunakan proses berikut:
- Bangun pohon pada sampel data dan fitur acak menggunakan penguatan informasi untuk menentukan pemisahan
- Hentikan simpul daun jika melebihi kedalaman yang telah ditentukan ATAU perpecahan apa pun akan menghasilkan jumlah daun kurang dari minimum yang telah ditentukan
- Daripada menetapkan label kelas untuk setiap pohon, tetapkan proporsi kelas dalam simpul daun
- Hentikan membangun pohon setelah nomor yang telah ditentukan telah dibangun
Ini menghasilkan proses hutan acak tradisional dalam dua cara. Pertama, ia menggunakan pohon yang dipangkas yang memberikan proporsi alih-alih label kelas. Dan kedua, kriteria berhenti adalah jumlah pohon yang ditentukan sebelumnya dan bukan beberapa perkiraan kesalahan out-of-bag.
Pertanyaan saya adalah ini:
Untuk proses di atas yang menghasilkan N pohon, dapatkah saya mencocokkan model menggunakan regresi logistik dengan pilihan LASSO? Apakah ada yang punya pengalaman pas pengelompokan Hutan Acak dan pasca-pengolahan dengan LASSO logistik?
Kerangka ISLE menyebutkan menggunakan LASSO sebagai langkah pasca-pemrosesan untuk masalah regresi tetapi tidak masalah klasifikasi. Selain itu, saya tidak mendapatkan hasil yang membantu ketika googling "Random forest laso".
sumber
Jawaban:
Ini terdengar seperti meningkatkan pohon gradien. Ide meningkatkan adalah untuk menemukan kombinasi linear terbaik dari kelas model. Jika kami memasukkan pohon ke data, kami berusaha menemukan pohon yang paling menjelaskan variabel hasil. Jika sebaliknya, kami menggunakan boosting, kami mencoba menemukan kombinasi linear terbaik dari pohon.
Namun, dengan meningkatkan kami sedikit lebih efisien karena kami tidak memiliki koleksi pohon acak, tetapi kami mencoba membangun pohon baru yang bekerja pada contoh yang belum dapat kami prediksi dengan baik.
Untuk lebih lanjut tentang ini, saya sarankan membaca bab 10 dari Elemen Pembelajaran Statistik: http://statweb.stanford.edu/~tibs/ElemStatLearn/
Meskipun ini bukan jawaban lengkap dari pertanyaan Anda, saya harap ini membantu.
sumber