apakah akan mengubah indikator / biner / prediktor tiruan untuk LASSO

Untuk LASSO (dan prosedur pemilihan model lainnya), sangat penting untuk mengubah skala prediktor. The umum Rekomendasi saya tindak hanya menggunakan 0 berarti, 1 standar deviasi normalisasi untuk variabel kontinyu. Tapi apa yang harus dilakukan dengan boneka?

Misalnya beberapa contoh terapan dari sekolah musim panas yang sama (luar biasa) yang saya tautkan dengan menskala ulang variabel kontinu menjadi antara 0 dan 1 (meskipun tidak hebat dengan outlier), mungkin sebanding dengan boneka. Tetapi bahkan itu tidak menjamin bahwa koefisien harus urutan besarnya sama, dan dengan demikian dihukum sama, alasan utama untuk penyelamatan, bukan?

Menurut Tibshirani ( METODE LASSO UNTUK PEMILIHAN VARIABEL DALAM MODEL COX, Statistics in Medicine, VOL. 16, 385-395 (1997) ), yang secara harfiah menulis buku tentang metode regularisasi, Anda harus menstandarisasi boneka. Namun, Anda kemudian kehilangan interpretasi langsung dari koefisien Anda. Jika tidak, variabel Anda tidak berada di lapangan yang sama. Anda pada dasarnya memberikan skala yang mendukung variabel kontinu Anda (kemungkinan besar). Jadi, jika tujuan utama Anda adalah pemilihan model maka ini adalah kesalahan yang mengerikan. Namun, jika Anda lebih tertarik pada interpretasi maka mungkin ini bukan ide terbaik.

Rekomendasi ada di halaman 394:

Metode laso membutuhkan standarisasi awal dari regressor, sehingga skema hukuman adil bagi semua regressor. Untuk regressor kategoris, satu kode regressor dengan variabel dummy dan kemudian membakukan variabel dummy. Akan tetapi, sebagaimana ditunjukkan oleh seorang wasit, penskalaan relatif antara variabel kontinu dan kategoris dalam skema ini bisa agak arbitrer.

Posting blog Andrew Gelman, Kapan untuk membakukan input regresi dan kapan meninggalkannya sendirian , juga patut dilihat. Bagian ini khususnya relevan:

Untuk membandingkan koefisien untuk prediktor yang berbeda dalam suatu model, standardisasi mendapat anggukan. (Meskipun saya tidak membakukan input biner. Saya mengkodekannya sebagai 0/1, dan kemudian saya membakukan semua input numerik lainnya dengan membaginya dengan dua standar deviasi, sehingga menempatkannya pada skala yang kira-kira sama dengan variabel 0/1.)

Ini lebih dari komentar, tetapi terlalu lama. Salah satu perangkat lunak yang paling sering digunakan untuk laso (dan teman) adalah R's glmnet. Dari halaman bantuan, dicetak oleh ?glmnet:

standarisasi: Bendera logis untuk x standardisasi variabel, sebelum menyesuaikan urutan model. Koefisien selalu dikembalikan pada skala asli. Default adalah 'standardize = TRUE'. Jika variabel sudah berada di unit yang sama, Anda mungkin tidak ingin membakukan. Lihat detail di bawah ini untuk standardisasi dengan 'family = "gaussian"'.

$X$