Pertanyaan yang diberi tag neural-network

15
Mengapa fungsi aktivasi harus monoton?

Saat ini saya sedang mempersiapkan ujian pada jaringan saraf. Dalam beberapa protokol dari ujian sebelumnya saya membaca bahwa fungsi aktivasi neuron (dalam multilayer perceptrons) harus monotonik. Saya mengerti bahwa fungsi aktivasi harus dapat dibedakan, memiliki turunan yang bukan 0 pada...

15
Bagaimana Saya Belajar Jaringan Saraf Tiruan?

Saya seorang mahasiswa baru sarjana (menyebutkan ini sehingga Anda dapat memaafkan ketidaktahuan saya) yang saat ini sedang melakukan penelitian menggunakan jaringan saraf. Saya telah mengkodekan jaringan saraf tiga simpul (yang berfungsi) berdasarkan bimbingan profesor saya. Namun, saya ingin...

13
Bagaimana seharusnya bias diinisialisasi dan diatur?

Saya telah membaca beberapa makalah tentang inisialisasi kernel dan banyak makalah yang menyebutkan bahwa mereka menggunakan L2 regularisasi kernel (seringkali dengan ).λ=0.0001λ=0.0001\lambda = 0.0001 Adakah yang melakukan sesuatu yang berbeda dari menginisialisasi bias dengan nol konstan dan...

13
Lupakan Lapisan dalam Jaringan Syaraf Berulang (RNN) -

Saya mencoba mencari tahu dimensi masing-masing variabel dalam RNN di lapisan lupa, namun, saya tidak yakin apakah saya berada di jalur yang benar. Gambar dan persamaan selanjutnya adalah dari posting blog Colah "Memahami Jaringan LSTM" : dimana: m ∗ 1xtxtx_t adalah input ukuran...