Bagaimana memilih fitur untuk jaringan saraf?

16

Saya tahu bahwa tidak ada jawaban yang jelas untuk pertanyaan ini, tetapi anggaplah saya memiliki jaringan saraf besar, dengan banyak data dan saya ingin menambahkan fitur baru dalam input. Cara "terbaik" adalah menguji jaringan dengan fitur baru dan melihat hasilnya, tetapi apakah ada metode untuk menguji apakah fitur tersebut SANGAT membantu? Suka tindakan korelasi ( http://www3.nd.edu/~mclark19/learn/CorrelationComparison.pdf ) dll?

machine-learning neural-network feature-selection feature-extraction marcodena
sumber
1
Korelasi non-acak mungkin menjadi indikator bahwa fitur tersebut bermanfaat. Tapi saya tidak begitu yakin tentang tes pra-pelatihan yang bisa menyingkirkan ide. Makalah yang Anda tautkan memperjelas bahwa korelasi non-linear tidak terdeteksi dengan baik oleh tes yang tersedia, tetapi jaring saraf memiliki peluang untuk menemukan dan menggunakannya.
Neil Slater

Jawaban:

16

Korelasi yang sangat kuat antara fitur baru dan fitur yang ada adalah pertanda yang cukup baik bahwa fitur baru hanya memberikan sedikit informasi baru. Korelasi yang rendah antara fitur baru dan fitur yang ada kemungkinan lebih disukai.

Korelasi linear yang kuat antara fitur baru dan variabel yang diprediksi adalah pertanda baik bahwa fitur baru akan bernilai, tetapi tidak adanya korelasi yang tinggi tidak diperlukan tanda fitur yang buruk, karena jaringan saraf tidak terbatas pada kombinasi linier. variabel.

Jika fitur baru dibuat secara manual dari kombinasi fitur yang ada, pertimbangkan untuk tidak menggunakannya. Keindahan jaringan saraf adalah sedikit fitur rekayasa dan preprocessing diperlukan - fitur dipelajari oleh lapisan perantara. Kapan saja memungkinkan, lebih suka fitur pembelajaran daripada rekayasa mereka.

Madison May
sumber
Saya selalu berpikir untuk membandingkan nilai untuk diprediksi dengan fitur, Anda berbicara tentang korelasi antara fitur. Apakah jawaban Anda berlaku juga untuk kasus saya? dalam teori saya harus menambahkan hanya fitur-fitur baru yang berkorelasi dengan nilai untuk diprediksi, bukan?
marcodena
Itu juga metrik yang berharga - baru saja memperbarui jawaban saya untuk mengatasinya juga.
Madison
Singkatnya, korelasi kuat dengan nilai untuk diprediksi adalah pertanda baik, tetapi korelasi lemah dengan nilai untuk diprediksi tidak selalu merupakan pertanda buruk.
Madison
Terima kasih. Saya sedang menulis laporan dan saya ingin menunjukkan korelasi linear / non-linear untuk membenarkan fitur (bahkan sebelum hasilnya). Apakah itu masuk akal? Dari jawaban Anda, saya bisa membuat matriks korelasi tetapi mungkin itu
nosense
1
Saya akan menggunakan korelasi non-linear, tapi terima kasih
marcodena
0

Jika Anda menggunakan sklearn, ada fungsi bagus yang tersedia bernama model.feature_importances_. Cobalah dengan model / fitur baru Anda dan lihat apakah itu membantu. Lihat juga di sini dan di sini untuk contoh.

Aniket
sumber