Di mana saya harus meletakkan layer dropout di jaringan saraf?
Apakah ada pedoman umum tentang di mana menempatkan lapisan dropout di jaringan
65
Apakah ada pedoman umum tentang di mana menempatkan lapisan dropout di jaringan
Saya membuat jaringan saraf convolutional (CNN), di mana saya memiliki lapisan convolutional diikuti oleh lapisan penyatuan dan saya ingin menerapkan dropout untuk mengurangi overfitting. Saya memiliki perasaan bahwa lapisan dropout harus diterapkan setelah lapisan penggabungan, tetapi saya tidak...
Apa perbedaan antara dropout dan drop connect? AFAIK, dropout drop secara acak node tersembunyi selama pelatihan tetapi tetap mereka dalam pengujian, dan drop koneksi koneksi drop. Tetapi bukankah menjatuhkan koneksi sama dengan menjatuhkan node yang tersembunyi? Bukankah node (atau koneksi)...
Nah baru-baru ini saya bekerja pada belajar algoritma meningkatkan, seperti AdaBoost, meningkatkan gradien, dan saya tahu fakta bahwa yang paling umum digunakan lemah-pelajar adalah pohon. Saya benar-benar ingin tahu apakah ada beberapa contoh sukses baru-baru ini (maksud saya beberapa makalah atau...
Jika Anda memiliki setengah halaman untuk menjelaskan putus sekolah , bagaimana Anda akan melanjutkan? Yang merupakan alasan di balik teknik
Ini dengan merujuk pada kertas Pelokalan Objek Efisien Menggunakan Jaringan Konvolusional , dan dari apa yang saya pahami dropout diimplementasikan dalam 2D. Setelah membaca kode dari Keras tentang bagaimana Dropout 2D Spasial diimplementasikan, pada dasarnya bentuk biner acak [batch_size, 1, 1,...
Ketika menerapkan dropout di jaringan saraf tiruan, kita perlu mengimbangi kenyataan bahwa pada waktu pelatihan sebagian neuron dinonaktifkan. Untuk melakukannya, ada dua strategi umum: scaling aktivasi pada waktu ujian membalikkan dropout selama fase pelatihan Dua strategi dirangkum dalam...
Ada begitu banyak teknik regularisasi, tidak praktis untuk mencoba semua kombinasi: l1 / l2 norma maks keluar berhenti lebih awal ... Tampaknya sebagian besar orang senang dengan kombinasi putus sekolah + berhenti dini: apakah ada kasus di mana menggunakan teknik lain masuk akal? Misalnya,...
Saya memiliki pengaturan berikut untuk proyek penelitian Keuangan / Pembelajaran Mesin di universitas saya: Saya menerapkan Jaringan Saraf (Jauh) (MLP) dengan struktur berikut di Keras / Theano untuk membedakan saham berkinerja lebih baik (label 1) dari saham berkinerja buruk ( label 0)....