Saya memiliki data dengan beberapa ribu fitur dan saya ingin melakukan pemilihan fitur rekursif (RFE) untuk menghapus yang tidak informatif. Saya melakukan ini dengan tanda sisipan dan RFE. Namun, saya mulai berpikir, jika saya ingin mendapatkan kecocokan regresi terbaik (hutan acak, misalnya),...
Saya memiliki data dengan sejumlah fitur minimum yang tidak berubah, dan beberapa fitur tambahan yang dapat berubah dan berdampak besar pada hasilnya. Kumpulan data saya terlihat seperti ini: Fitur-fiturnya adalah A, B, C (selalu ada), dan D, E, F, G, H (kadang-kadang ada) A = 10, B = 10, C = 10...
Ada beberapa posting tentang cara memilih fitur. Salah satu metode menggambarkan pentingnya fitur berdasarkan t-statistik. Dalam R varImp(model)diterapkan pada model linier dengan fitur standar , nilai absolut t-statistik untuk setiap parameter model digunakan. Jadi, pada dasarnya kita memilih...
Saya mencoba mendapatkan intuisi mengapa peningkatan jumlah fitur dapat mengurangi kinerja. Saat ini saya menggunakan classifier LDA yang berkinerja lebih baik secara bivariat di antara fitur-fitur tertentu tetapi lebih buruk ketika melihat lebih banyak fitur. Akurasi klasifikasi saya dilakukan...
Terkunci . Pertanyaan ini dan jawabannya dikunci karena pertanyaannya di luar topik tetapi memiliki signifikansi historis. Saat ini tidak menerima jawaban atau interaksi baru. Saya sangat baru di R. Saya belajar pembelajaran mesin sekarang. Maaf, jika pertanyaan ini
Dalam penginderaan terkompresi, ada jaminan teorema bahwa memiliki solusi jarang yang unik c (Lihat lampiran untuk detail lebih lanjut).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Apakah ada teorema yang serupa untuk laso? Jika...
Saya punya dataset yang mewakili 1000 dokumen dan semua kata yang muncul di dalamnya. Jadi baris mewakili dokumen dan kolom mewakili kata-kata. Jadi misalnya, nilai dalam sel berarti waktu kata j muncul dalam dokumen i . Sekarang, saya harus menemukan 'bobot' dari kata-kata itu, menggunakan metode...
Jadi saya mengerti bahwa pemilihan variabel adalah bagian dari pemilihan model. Tapi apa sebenarnya yang terdiri dari pemilihan model? Apakah lebih dari yang berikut: 1) pilih distribusi untuk model Anda 2) pilih variabel penjelas,? Saya bertanya ini karena saya membaca artikel Burnham &...
Dalam pembelajaran penguatan, pendekatan fungsi linear sering digunakan ketika ruang keadaan besar hadir. (Ketika mencari tabel menjadi tidak layak.) Bentuk nilai dengan pendekatan fungsi linear diberikan olehQ−Q-Q- Q(s,a)=w1f1(s,a)+w2f2(s,a)+⋯,Q(s,Sebuah)=w1f1(s,Sebuah)+w2f2(s,Sebuah)+⋯,Q(s,a) =...
Saya mencoba untuk meringkas apa yang saya mengerti sejauh ini dalam analisis multivariat yang dihukum dengan set data dimensi tinggi, dan saya masih berjuang melalui mendapatkan definisi yang tepat dari hukuman lunak thresholding vs Lasso (atau ).L1L1L_1 Lebih tepatnya, saya menggunakan regresi...
The mgcvpaket untuk Rmemiliki dua fungsi untuk pas interaksi produk tensor: te()dan ti(). Saya memahami pembagian kerja dasar antara keduanya (menyesuaikan interaksi non-linear vs menguraikan interaksi ini menjadi efek utama dan interaksi). Yang tidak saya mengerti adalah mengapa te(x1, x2)dan...
Apa cara terbaik untuk memilih fitur secara otomatis untuk deteksi anomali? Saya biasanya memperlakukan Deteksi Anomali sebagai algoritme di mana fitur dipilih oleh para ahli manusia: yang penting adalah kisaran output (seperti pada "input abnormal - output abnormal") sehingga bahkan dengan banyak...
Apakah penaksir Bayes kebal terhadap bias seleksi? Sebagian besar makalah yang membahas estimasi dalam dimensi tinggi, misalnya, seluruh data sekuens genom, akan sering menimbulkan masalah bias seleksi. Bias seleksi muncul dari fakta bahwa, meskipun kami memiliki ribuan calon prediktor, hanya...
Contoh ukuran pemisahan kelas yang baik pada pembelajar diskriminan linier adalah rasio diskriminan linear Fisher. Apakah ada metrik berguna lainnya untuk menentukan apakah set fitur menyediakan pemisahan kelas yang baik antara variabel target? Secara khusus, saya tertarik untuk menemukan atribut...
Semuanya ada dalam judul, apakah masuk akal untuk menggunakan pemilihan fitur sebelum menggunakan hutan
Saya menjalankan model regresi baik dengan Lasso dan Ridge (untuk memprediksi variabel hasil diskrit mulai dari 0-5). Sebelum menjalankan model, saya menggunakan SelectKBestmetode scikit-learnuntuk mengurangi set fitur dari 250 menjadi 25 . Tanpa pemilihan fitur awal, Lasso dan Ridge menghasilkan...
Saya membaca slide Steven Scott tentang paket BSTS R (Anda dapat menemukannya di sini: slide ). Pada titik tertentu, ketika berbicara tentang memasukkan banyak regressor dalam model deret waktu struktural ia memperkenalkan spike dan slab prior dari koefisien regresi dan mengatakan bahwa mereka...
Di sini saya bertanya tentang apa yang biasanya dilakukan orang lain untuk menggunakan uji kuadrat untuk hasil pemilihan fitur dalam pembelajaran terawasi. Jika saya mengerti dengan benar, apakah mereka menguji independensi antara setiap fitur dan hasil, dan membandingkan nilai p antara tes untuk...
Saya belajar tentang pemilihan fitur. Saya bisa melihat mengapa itu penting dan bermanfaat, untuk pembuatan model. Tetapi mari kita fokus pada tugas-tugas pembelajaran (klasifikasi) yang diawasi. Mengapa pemilihan fitur penting, untuk tugas klasifikasi? Saya melihat banyak literatur yang ditulis...
Saya sudah punya ide tentang pro dan kontra regresi ridge dan LASSO. Untuk LASSO, istilah penalti L1 akan menghasilkan vektor koefisien jarang, yang dapat dilihat sebagai metode pemilihan fitur. Namun, ada beberapa batasan untuk LASSO. Jika fitur memiliki korelasi tinggi, LASSO hanya akan memilih...