Tes permutasi acak untuk pemilihan fitur

9

Saya bingung tentang analisis permutasi untuk pemilihan fitur dalam konteks regresi logistik.
Bisakah Anda memberikan penjelasan yang jelas tentang tes permutasi acak dan bagaimana hal itu berlaku untuk pemilihan fitur? Mungkin dengan algoritma dan contoh yang tepat.

Akhirnya, Bagaimana perbandingannya dengan metode penyusutan lain seperti Lasso atau LAR?

regression logistic feature-selection permutation-test shrinkage Ugo
sumber
5
Apakah Anda bermaksud sesuatu seperti, misalnya, di mana entri satu kolom dari matriks desain diijinkan, menahan respons dan kovariat lainnya tetap? Jika Anda memiliki referensi tertentu yang Anda gunakan, mungkin ada baiknya untuk mendaftar.
kardinal
Saya pikir tautan ini citeseerx.ist.psu.edu/viewdoc/… mengacu pada teknik yang tepat. Saat ini saya mencoba untuk menghubungi kembali dosen yang memberi tahu saya tentang metode ini ...
Ugo
Tidak berhasil menghubungi kembali (Donald Geman)
Ugo
2
ada beberapa poin yang tidak jelas dalam pertanyaan Anda yang mungkin ingin Anda klarifikasi. Dalam makalah yang ditautkan ada deskripsi yang cukup jelas tentang algoritma. Apakah Anda ingin menanyakan sesuatu yang spesifik tentang algoritma ini? Apakah itu ide untuk melakukan seleksi fitur dengan menghitung marginal -values bahwa Anda ingin penjelasan? Selain itu, Anda harus mempertanyakan Definisi 2 di koran. Ini adalah klaim yang tidak didukung, yang mungkin asumsi kerja, tapi kecil marjinal p -values tidak secara umum menyiratkan relevansi. LAR, omong-omong, melakukan regresi linier dan tidak benar-benar untuk respons biner. pp
NRH

Jawaban:

10

(Tidak punya banyak waktu sekarang jadi saya akan menjawab secara singkat dan kemudian berkembang kemudian)

mnθmnθppmn

θpθ

Proses ini diulangi di atas semua fitur, dan kemudian subset fitur yang digunakan untuk klasifikasi dapat dipilih dalam dua cara:

  • N
  • <ϵ
Benhamner
sumber